컴퓨팅의 병목은 칩이 아니다 — Google TPU v8과 네트워킹 혁명

TPU 역사 맥락: TPU v1은 추론 전용, v2~v4는 학습·서빙 겸용, v6·v7은 다시 단일 칩(v7은 추론 마케팅). v8에서 처음으로 완전히 별도 시스템이 탄생함. Austin은 "하나가 모든 걸 한다 → 각자 다른 칩 → 각자 다른 네트워크"로의 전환이 핵심이라고 정리.

Axion CPU 헤드 노드: 두 칩 모두 Google의 Arm 기반 커스텀 CPU인 Axion을 호스트 CPU로 채택. 발표 블로그 인용: "데이터 전처리 지연으로 인한 호스트 병목을 제거했다. Axion은 복잡한 전처리와 오케스트레이션을 담당해 TPU가 계속 피드를 받고 멈추지 않게 한다." — x86 대비 Arm의 경쟁력이 엔터프라이즈 AI 인프라에서도 명확히 증명되는 국면.

"Never let a GPU stay idle. That's what it all comes down to."

앞으로의 질문: 학습과 추론 두 아키텍처가 영구히 고정될까, 아니면 에이전틱 워크로드·월드 모델 등 새 카테고리가 세 번째 SKU를 요구할까? 두 사람 모두 "아마 또 분기할 것"이라는 전망을 내놓음.

무슨 얘기였나: Vic은 Groq의 LPU가 사실상 SRAM 덩어리인 구조를 언급하며, 384MB SRAM이라는 수치가 "빠른 디코딩을 원한다면 최대한 많은 SRAM을 때려 박는다"는 업계 트렌드의 Google 버전이라고 설명. Nvidia가 메모리 계층 발표 때 SRAM을 Tier 0으로 명시하지 않았던 것과 대비해 Google이 명시적으로 이 계층을 최대화한 점을 강조.

왜 학습칩에는 HBM이 더 적나: 학습은 칩을 많이 붙여 클러스터 전체 메모리를 늘리는 방식으로 스케일하기 때문에, 칩 한 장당 비싼 HBM을 극대화할 인센티브가 낮음. "범용 GPU 한 장에 학습·추론 다 하려면 HBM을 과잉 탑재해야 하는데, Google은 그 비용을 아낀 셈"이라고 Austin은 지적.

Rainer Pope 연결점: Austin은 Matrox의 Rainer Pope 인터뷰에서 "가중치는 SRAM, KV 캐시는 HBM"이라는 아키텍처 결정을 언급한 것과 정확히 같은 방향임을 짚음.

Jupiter 네트워크 한계: 2015년 출시된 Jupiter는 당시 업계 최초 페타비트급 네트워크였음. Clos 토폴로지는 리프(leaf) → 스파인(spine) → 슈퍼스파인(super-spine) 다단계 홉 구조라 GPU→GPU 통신 시 상하로 여러 번 올라갔다 내려와야 함. 인터넷 트래픽(비동기, 다양한 소소스)에는 잘 맞지만 동기식 집합 통신을 요구하는 AI 학습에는 테일 레이턴시가 치명적. "가장 느린 노드가 전체 버스를 멈춘다"는 스트래글러(straggler) 문제.

Virgo 3계층 구조: 스케일업(pod 내 TPU 간) → 스케일아웃/백엔드(rack·pod 간, Virgo 패브릭 핵심) → 프런트엔드(스토리지·인터넷 연결, Jupiter 계속 사용 가능). Vic은 "재발명이 필요한 부분만 재발명했다"고 평가.

OCS가 핵심 기반: Virgo 백엔드는 실리콘 패킷 스위칭을 없애고 전면 광회로 스위칭(OCS)으로 2계층만 유지. Lumentum OCS 스위치 기준 300×300 포트, 미래 로드맵은 2,000×1,000까지 확장 가능. 포트 수(switch radix)가 늘어날수록 계층을 더 줄일 수 있음. Coherent도 OCS 공급사 후보로 언급.

TPU Direct(RDMA): 별도 혁신은 아니지만, 기존 CPU를 경유하던 TPU 간 메모리 접근을 네트워크 인터페이스 직접 연결로 교체. Nvidia의 GPU Direct와 동일 개념을 TPU에 적용. "중간 관리자(CPU)를 없애 핸드셰이크 오버헤드를 제거".

"The constraint is no longer compute. It is instead the networking that underlies all of compute today."

3D 토러스 구조 — "루빅스 큐브로 생각하라": 각 칩이 X·Y·Z 세 방향으로 이웃과 구리 직결, 같은 행·열의 맞은편 끝은 광케이블로 연결해 순환(torus) 형성. 가장 먼 노드는 엣지가 아닌 큐브의 정중앙(각 차원 절반씩 이동해야 도달). 8T 기준 8×8×16 구성 = 최대 4+4+8 = 16홉.

보드플라이 구조: ① 4개 TPU가 PCB 구리로 1장의 보드 구성 → ② 8개 보드가 AEC(Active Electrical Cable)로 1개 그룹(=랙) 구성 → ③ 36개 그룹이 OCS로 1개 Pod 구성(1,152 TPU). 그룹 간 점프는 OCS 1홉, 그룹 내 이동은 2~3홉, 총 6~7홉 수준.

왜 MoE에는 3D 토러스가 나쁜가: 학습에서는 모든 파라미터가 모든 칩에서 동시에 업데이트되므로 이웃 통신이 압도적. 하지만 MoE 추론에서는 토큰마다 다른 전문가가 활성화되어 통신 패턴이 비결정적·장거리화. 3D 토러스의 비활성 노드를 거쳐 다수 홉을 반복해야 해서 레이턴시 페널티가 큼.

드래곤플라이 기원 (역사 트리비아): Austin이 발굴한 내용 — 드래곤플라이 네트워크는 2008년 논문에서 최초 제안됨. 저자 중 Northwestern의 John Kim, Stanford의 William Dally(현 Nvidia 리서치 수장), Cray의 Steve Scott, Google 소속의 Dennis Abts(이후 Groq 초기 멤버 → Nvidia 이직)가 포함. "Nvidia 네트워킹 계보의 who's who가 한 논문에"라는 표현이 나올 만큼 화려한 저자진. Groq도 개별 LPU를 드래곤플라이 구성으로 연결하는 방식을 채택.

"보드플라이(Board Fly)라는 이름인 건, GPU 단위가 아닌 'TPU 4장 올린 보드' 단위로 드래곤플라이를 구성하기 때문이다."

왜 OCS가 가능해졌나: 스위치 래딕스 문제. 기존 실리콘 스위치(Broadcom Tomahawk 계열 등)는 포트 수에 한계가 있어 Clos 다단 계층이 불가피했음. OCS는 300×300 포트(Lumentum 기준)를 실현하고, 미래 로드맵은 2,000×1,000까지 확장 가능. 포트 수가 많으면 계층이 줄고 홉이 줄고 레이턴시가 준다.

Virgo 내 OCS 적용 범위: 백엔드(스케일아웃) 네트워크 전체 + 스케일업 그룹(랙)-to-그룹 연결. 이 두 영역이 AI 워크로드 성능에서 가장 민감한 부분. 스케일업 내 보드 간 로컬 연결(AEC)과 보드 내 PCB 구리는 여전히 사용.

OCS의 역할 변화: Vic은 "2022년 Jupiter 업그레이드 때 OCS가 처음 도입됐을 때는 선택적(optional)이었지만, Virgo에서는 필수 구성요소(integral part)가 됐다"고 강조. 이는 AI 데이터센터 투자 사이클에서 광학 네트워킹 인프라 기업의 위상이 근본적으로 달라짐을 의미.

무슨 얘기였나: 영상에서 충분히 다루지 못했다고 두 사람이 인정한 미완의 주제. Austin이 간략히 설명한 바에 따르면 CAE는 분산 학습·추론에서 빈번히 발생하는 집합 통신 패턴을 CPU·TPU 텐서 코어가 아닌 전용 실리콘으로 처리. "GPU는 행렬 곱만 하게 두고, 통신은 통신 전담 칩이 한다"는 방향성의 연장선.

왜 중요한가: 집합 통신은 대규모 학습에서 GPU 유효 활용률(goodput)을 갉아먹는 주요 원인 중 하나. 이를 오프로드하면 텐서 코어 가동률이 높아짐. 같은 이유로 Nvidia SHARP, Meta의 MSCCLANG 같은 네트워크 인텔리전트 레이어가 주목받아 왔음.