Investor Dialogue Notes No. 047 · Invest Like the Best
Gavin Baker × Patrick O'Shaughnessy

Orbital Compute, TSMC,
and Frontier Models

AI는 자본주의 역사상 본 적 없는 성장 이벤트다.
병목은 전력이 아니라 TSMC 웨이퍼이고, 돈은 여전히 프론티어로 흐른다.

SOURCE — Invest Like the Best FORMAT — 대담형 정리 ▶ Watch original
3줄 요약
  1. 가빈은 지금 AI를 "자본주의 역사상 본 적 없는 성장 이벤트"로 봄. Anthropic이 한 달에 Palantir+Snowflake+Databricks급 ARR을 붙인 게 핵심 증거.
  2. 전력은 자본주의가 풀지만, 진짜 병목은 TSMC 웨이퍼. TSMC가 너무 빨리 증설하면 AI 버블, 너무 늦으면 Intel/Samsung이 뚫고 들어옴.
  3. 앱 레이어는 아직 돈 못 먹고, 돈은 전력·DC·칩·메모리·프론티어 모델 쪽으로 감. 다만 프론티어 토큰 프리미엄이 깨지면 앱 레이어 폭발 가능.
한 줄 설명 AI판은 지금 "앱 만드는 애들"보다 "GPU·전기·메모리·TSMC·프론티어 모델 들고 있는 애들"이 돈 먹는 장이다.
CHAPTER 01

3~4월 시장 하락은 "틀려서 맞은 게 아니라, 알파가 쌓인 구간"

Patrick

이번이 여섯 번째 출연이다. 3~4월은 경제·기술·시장 모두에서 정말 특이한 시기였는데, 너는 어떻게 봤나?

Gavin

드로다운에는 두 종류가 있다. 하나는 내가 틀린 드로다운 — 기업을 잘못 봤고, 가설이 깨졌고, 그냥 손실 인정해야 하는 구간. 다른 하나는 내가 너무 잘 아는 기업들이 빠지는데, 나는 가격 움직임에 전혀 동의하지 않는 드로다운이다.

이럴 땐 손실을 확정하는 게 아니라, 오히려 미래 알파를 쌓는 구간이 된다. 3월이 후자였다. 나스닥은 팔리고 있었는데, AI에서는 자본주의 역사상 가장 말도 안 되는 일이 벌어지고 있었다.

Anthropic이 ARR 110억 달러를 추가했다. Palantir, Snowflake, Databricks가 10년 걸려 쌓은 비즈니스를 Anthropic은 한 달 만에 붙였다.

— Gavin Baker
유레카 포인트

가격 하락 ≠ 알파 손실. 잘 아는 기업이 이유 없이 빠질 때 = 미래 알파 적립 구간이라는 프레임. 3~4월의 AI 매도세는 펀더멘털과 정반대 방향이었다는 게 가빈의 진단이다.

CHAPTER 02

DeepSeek 때 시장은 완전히 반대로 봤다

Gavin

DeepSeek 때도 비슷했다. 논문이 나오고 AI 주식이 크게 빠졌는데, 사실 DeepSeek Monday가 됐을 때는 이미 정반대 신호가 보였다.

AWS 아시아 가용존 GPU 가격이 뛰고 있었고, GPU availability는 줄고 있었고, DRAM 가격도 수직 상승하고 있었다.

시장은 "AI 모델이 싸졌다 → compute 수요 줄어든다"로 봤는데, 실제로는 reasoning model이 inference에서 non-reasoning model보다 훨씬 compute를 많이 먹는다는 게 드러난 것. DeepSeek은 AI capex bearish 이벤트가 아니라, "compute demand에 역사상 가장 긍정적인 이벤트"였다.

투자 함의

모델 효율화 = compute 수요 감소라는 직관은 틀렸다. 효율화가 일어날 때마다 reasoning 깊이가 늘어나 compute 수요가 오히려 증가한다. Jevons paradox의 AI 버전이며, neocloud·DRAM·전력 thesis의 근간 논리.

CHAPTER 03

호르무즈·에너지 충격은 미국에 상대 우위가 된다

Patrick

그런데 당시 매크로도 복잡했다. 호르무즈 해협 같은 리스크도 있었다.

Gavin

나는 오히려 호르무즈 해협이 닫히는 게 미국에는 상대적으로 좋을 수 있다고 봤다. 이유는 간단하다 — AI와 제조업의 핵심 input은 전기고, 미국 전기 가격의 핵심 input은 천연가스다.

미국 천연가스는 빠졌는데, 아시아·유럽 천연가스는 2~3배 뛰었다. 그러면 미국의 상대적 제조 경쟁력이 하루아침에 좋아진다.

1970년대 오일쇼크 기억 때문에 사람들이 겁먹지만, 지금 미국은 그때와 다르다. 에너지 집약도도 낮아졌고, 미국은 세계 최대 oil & gas 생산국이자 수출국이다.

CHAPTER 04

Anthropic vs OpenAI: 같은 AI 회사가 아니라 ROIC 구조가 다르다

Patrick

Anthropic과 OpenAI 밸류에이션은 어떻게 보나? 매출 멀티플만 보면 Snowflake, Databricks 고점 때보다 그렇게 미친 수준도 아닌 것 같다.

Gavin

OpenAI와 Anthropic은 capital efficiency가 완전히 다르다. Anthropic은 OpenAI보다 token cost가 훨씬 낮고, 비슷한 revenue scale까지 가는 데 태운 돈도 훨씬 적다 — 80% 정도 적게 태웠을 수 있다. 구조적 ROIC가 다르다는 것.

OpenAI는 aggressive하게 compute를 많이 확보했고, 그게 실제로 먹혔다. 다만 Anthropic은 compute가 부족해서 revenue가 제약된 상태다. Anthropic이 compute를 충분히 갖고 있었다면 지금 ARR이 1,000억~1,500억, 심하면 2,000억 달러도 가능했을 거다.

즉 현재 valuation 9,000억 달러라고 해도, "unconstrained run-rate revenue" 기준으로 보면 5배 매출 정도일 수 있다.

유레카 포인트

Claude가 최근 같은 질문에 70% 적은 토큰을 생성한다는 분석. 가빈은 토큰 수가 답변 품질과 사고 깊이에 연결된다고 보며, Anthropic이 일부러 모델 출력을 줄여 compute를 아끼고 있는 것처럼 느낀다고 말함. → 즉 보이는 ARR은 capacity-constrained된 수치이며, 진짜 demand는 훨씬 크다는 시그널.

CHAPTER 05

왜 더 비싸게 안 받나? "Elon식 투자자 신뢰 자본"

Patrick

그 정도면 왜 Anthropic이 3조 달러 valuation에 1,000억 달러를 안 받나? 모두가 투자하고 싶어 하지 않나?

Gavin

미래는 불확실하다. AI는 여전히 자본집약적 게임이고, compute 접근성이 중요하다. 지정학 리스크도 크다 — 우크라이나, 러시아, 이란, 대만. 그래서 계속 자본시장 접근성을 유지하는 게 중요하다.

예로 든 건 Elon이다. Elon은 투자자에게 돈을 벌게 해주는 걸 거의 "성스러운 계약"처럼 대했고, 그래서 20년 동안 투자자들이 돈을 벌었다. 그 결과 Elon은 원할 때 거의 무한대로 돈을 조달할 수 있는 슈퍼파워를 얻었다. SpaceX도 valuation을 욕심내서 끌어올리지 않고, 투자자와 직원 사이에서 fair balance를 맞추려 했다.

Anthropic도 이런 식으로 가는 게 현명하다. 단기 valuation 극대화보다 장기 자본조달 능력이 훨씬 크다.

CHAPTER 06

Watts & Wafers — 전력은 풀리지만, 웨이퍼는 TSMC가 쥐고 있다

Gavin

전력 부족은 자본주의가 풀 것이다. 단, zoning/approval 같은 규제·정치적 반발은 리스크다. 이제는 zoning과 approval이 에너지와 칩보다 더 큰 병목이라는 얘기도 나온다.

터빈 회사들도 증설을 발표하고 있고, 대형 터빈 블레이드 주조 장비 같은 건 서구에서 80년간 새로 만든 적이 없다는 어려움도 있지만, 이런 산업 엔지니어링 문제는 시간이 지나면 자본주의가 풀어낸다. 전력 부족은 2027~2028년부터 완화될 수 있다.

하지만 wafers는 다르다. 그건 대만 TSMC가 쥐고 있다. TSMC 사람들은 "대만에서 가장 중요한 사람들"이다. 대만 GDP, 물 사용량, 전기 사용량에서 압도적 비중을 차지하고, Silicon Shield의 중심이며, Morris Chang의 유산을 이어받았다고 느끼는 집단이다.

CHAPTER 07

Orbital Compute: 우주 데이터센터가 아니라 우주에 띄운 랙

Patrick

Orbital compute 얘기를 해보자. 사람들은 우주 데이터센터라고 하면 거대한 건물을 떠올린다.

Gavin

그게 아니다. 우주 데이터센터는 펜타곤만 한 건물이 우주에 떠 있는 게 아니다. "랙이 우주에 있는 것"이다.

Blackwell rack 하나는 대략 3,000파운드, 높이 8피트, 깊이 4피트, 폭 3피트다. SpaceX가 보여준 그림도 결국 rack이 satellite가 되는 구조다. 태양동기궤도에 띄우고, 양쪽에는 500피트 정도의 태양광 날개가 있고, 뒤에는 수백 피트짜리 radiator가 붙는다.

Patrick

비판자들은 냉각과 수리 문제를 말한다.

Gavin

냉각은 SpaceX 엔지니어들이 자신 있다고 한다. 지구에서 가장 뛰어난 엔지니어 집단이고, 이미 Starlink 위성을 냉각하고 있다.

수리는 당장은 어렵다 — 떠다니는 Optimus 같은 게 생기기 전에는. 하지만 Starship이 우주 경제를 바꿀 것이다. 특히 지상 데이터센터가 규제에 막히면, orbital compute는 만들 수 있는 만큼 다 팔릴 수 있다.

랙끼리는 vacuum 속 laser로 연결한다. Starlink 위성에는 이미 laser link가 있다. SpaceX는 세계 최대 위성 fleet을 운영하고 있고, Starlink V3는 20kW급이 될 수 있다. Blackwell rack은 100kW. 처음에는 60kW로 시작해서 100~120kW까지 갈 수 있다.

Orbital compute는 우주에 떠 있는 거대한 데이터센터가 아니라, laser로 연결된 우주 랙들의 virtual data center다.

— Gavin Baker
CHAPTER 08

Orbital compute가 지상 데이터센터를 죽이나? 아니다

Gavin

우리는 compute를 가능한 만큼 다 소비할 것이다. 미국이 모든 에너지원을 빨아들이듯, compute도 가능한 만큼 다 빨아들일 것이다.

Orbital compute는 inference에는 꽤 말이 된다. 하지만 training은 오랫동안 지구에서 할 것이다. 그래서 지상 데이터센터에 매우 bearish하진 않다. 지상 DC는 내 평생 가치 있을 거다.

투자 함의

다만 power production·cooling 생태계에 있는 회사들이 대규모 증설을 하고 있다면, orbital compute가 진짜라는 걸 시장이 깨닫는 시점과 capacity ramp가 겹치는 리스크는 조심해야 한다. → 지상 DC 인프라 long thesis의 tail risk로 메모.

CHAPTER 09

AI 버블을 막는 건 TSMC다

Gavin

기술 역사상 foundational technology가 나오면 대체로 버블이 생겼다. 철도, 운하, 인터넷 모두. 버블은 나쁘지만, 동시에 새로운 인프라를 깔게 해주는 역할도 한다. 문제는 supply가 demand를 앞질러 crash가 온다는 것 — 특히 부채로 지은 버블이면 2000년처럼 더 심하다.

현재 AI buildout은 2000년과 다르다:

① 아직 대부분 operating cash flow로 funding되고 있다.
② 2000년 fiber는 99%가 안 쓰였지만, 지금 GPU는 100% utilization이다.
③ valuation도 아직 일부 고품질주는 과열이 아니다.

지금까지 AI 버블을 막는 핵심은 TSMC의 웨이퍼 부족이다. 만약 TSMC가 Jensen이 원하는 만큼 증설했다면, Nvidia는 2026~2027년에 GPU를 2조~3조 달러어치 팔 수도 있었을 것. 그러면 소비자가 너무 많이 consume해서 결국 overbuild가 났을 수 있다.

만약 AI 버블이 안 온다면, TSMC가 단독으로 버블을 막은 셈이니 파티를 열어줘야 한다.

— Gavin Baker
CHAPTER 10

TSMC의 Goldilocks zone

Patrick

TSMC가 계속 초과수요 상태면 어떻게 되나?

Gavin

Intel이나 Samsung 중 하나는 결국 discipline을 깨고 들어올 것이다. 하나가 깨지면 다른 쪽도 따라 깨질 수 있다. 핵심은 TSMC가 Intel/Samsung 대비 기술 리드를 얼마나 유지하느냐다. 지금 리드는 대략 9~15개월.

AI 버블 여부를 이해하려면 딱 하나를 봐야 한다 — TSMC의 capacity decision.

Goldilocks 공식

너무 적게 증설하면 → Intel/Samsung 기회 (30%+ 점유 second source 부상)
너무 많이 증설하면 → AI 버블 (overbuild)
딱 중간 → 웨이퍼 constraint 유지하며 second source 차단

가빈은 AI 사이클 전체의 속도조절자가 TSMC라고 명시.

CHAPTER 11

Terafab: Elon이 미국에 세계 최대 fab을 만들 수 있나?

Gavin

Terafab은 SpaceX와 아마 Tesla도 관련된, 미국에 세계 최대 fab을 짓는 조인트벤처로 본다. Intel과의 파트너십이 중요하다 — Intel의 50년 institutional knowledge를 얻을 수 있기 때문. 물론 최첨단에서 몇 분기, 9~15개월 뒤처져 있을 수 있다. 그래도 그건 장점이 된다.

또 semicap 장비사들의 A-team이 붙을 수 있다. TSMC가 Intel을 따라잡은 이유 중 하나도 ASML, KLA, Lam, Applied Materials 같은 장비사들이 TSMC가 따라잡기를 원했기 때문이다. 장비사들은 monopsony를 싫어한다. Elon의 hardware engineering reputation 때문에 장비사 A-team이 미국 Terafab에 붙을 수 있다.

Elon은 중국·대만·한국·일본에서 거의 "living deity"처럼 보인다. Terafab 주변에 Taiwan town, Japan town, Korea town을 만들 사람이다 — 좋아하는 식당과 직원까지 텍사스로 옮길 사람. Intel/Samsung식 관료적 사고가 아니라, 최고 엔지니어를 끌어오기 위해 생활환경까지 설계하는 방식.

CHAPTER 12

DeepSeek 이후에도 프론티어 토큰이 돈을 먹는 이유

Patrick

DeepSeek 이후 사람들은 중국 오픈소스 모델이 95% 성능을 훨씬 싸게 제공할 거라고 봤다. 그런데 현실은 다른 것 같다. 왜 그런가?

Gavin

가장 흥미로운 건 AI 모델 레이어의 경제적 수익 대부분이 여전히 frontier에 있다는 점이다. 이건 나도 놀랍다. 투자자로서 가장 중요한 질문은 이거다 — "프론티어 토큰이 앞으로도 모델 레이어 경제가치 대부분을 가져갈까?"

Gemini 3.1 Pro가 나왔을 때는 너무 좋아서 충격적이었다. 그런데 지금은 못 쓸 정도다. 프론티어가 너무 빠르게 이동하고 있다는 것. 기업들은 prototype은 frontier로 하고 production에서는 Vertex나 open-source를 쓰는 경우도 있지만, 현재 경제적 수익은 frontier token에 압도적으로 몰려 있다.

CHAPTER 13

Pareto frontier: Google의 cost leadership 상실

Gavin

AI lab을 볼 때 제일 중요한 건 intelligence vs cost의 Pareto frontier다.

9개월 전에는 Google이 이걸 지배했다. OpenAI, xAI, Anthropic은 Google 안쪽에 있었다. 하지만 지금은 Anthropic과 OpenAI가 Pareto frontier를 지배하고, Grok 4.3도 frontier 위에 있다. Gemini 3.1은 간신히 붙어 있는 수준.

Google이 TPU V8에서 너무 보수적인 설계를 해서 per-token cost leadership을 잃었다. Nvidia는 계속 공격적인 선택을 했고, 그 결과 Google의 우위가 사라졌다.

유레카 포인트

TPU의 신화는 9개월 만에 무너졌다. "Google이 자체 chip으로 cost advantage를 영구히 가진다"는 thesis는 이미 stale. Nvidia의 공격적 설계 vs Google TPU 보수적 설계의 차이가 모델 레이어 Pareto frontier 점유로 직결됨.

CHAPTER 14

Bitter Lesson을 깨는 게 AI trade의 최대 리스크

Gavin

AI trade의 가장 큰 리스크는 Richard Sutton의 Bitter Lesson이 깨지는 것이다. 대충 말하면 "인간의 알고리즘적 영리함보다 compute와 data scaling이 결국 이긴다"는 관점.

DeepSeek보다 더 멍청한 버전으로 TurboQuant라는 것도 있었다. Google의 memory optimization paper가 X에서 퍼지면서 "DRAM 끝났다" 같은 반응이 나왔는데, 지구상 AI 엔지니어 중 TurboQuant가 DRAM 수요를 의미 있게 줄일 거라고 믿는 사람을 한 명도 못 찾았다.

하지만 진짜 리스크는 인간 ingenuity가 아니라 ASI다. 300 IQ, 400 IQ, 500 IQ 모델이 나오면 자기 자신을 더 효율적으로 만들려 할 것이다. 그러면 일시적으로 Bitter Lesson이 깨질 수 있다. 인간이 compute를 이기는 게 아니라, AI/ASI가 compute 효율을 폭발적으로 개선해서 compute 수요 곡선을 바꿀 수 있다는 리스크.

CHAPTER 15

Memory, harness, continual learning

Patrick

모델 혁신 중 memory와 continual learning은 어떻게 보나?

Gavin

Memory는 이미 harness를 통해 많이 발전했다. Harness는 모델이 작동하는 runtime 같은 것 — 어떤 tool을 쓸지 알고, context, memory, state를 만들고, 특정 instruction을 관리한다. 모델 자체만큼 중요하진 않지만, 굉장히 중요하다. 그리고 모델과 harness는 점점 공동개발되고 있다.

예전에는 투자자라면 월 250달러짜리 frontier AI 플랜 정도는 써봐야 한다고 말했는데, 이제는 그것만으로 frontier AI를 이해할 수 없다. Claude Code나 Codex, enterprise plan, usage-based plan이 있어야 한다. 월 250~300달러 플랜은 심하게 rate limit되고 "lobotomized version"을 쓰는 것에 가깝다.

투자자 실무 함의

Claude가 70% 적은 토큰을 내는 것도 이 맥락. 좋은 답을 위해 모델과 harness가 필요하다고 판단하는 토큰을 다 쓰려면 usage-based plan이 필요. → 투자 프로세스에 AI를 통합하려면 fixed-fee plan으로는 부족하다는 직접 신호.

CHAPTER 16

Usage-based pricing은 AI에 초강세 요인

Gavin

과거 통신산업을 보면, cellular가 좋았던 시절은 기본요금 + 초과사용량 과금이 있던 시기였다. 성장이 멈춘 건 모두가 무제한 요금제로 갔을 때다.

AI는 지금 반대로 가고 있다 — 무제한에서 pay-by-the-drink로. 사람들은 AI를 정말 많이 쓰고 싶어 한다. 특히 이제 한 사람이 100개의 agent를 돌릴 수 있다.

그래서 usage-based enterprise model은 OpenAI와 Anthropic이 올해 ARR 2,000억 달러 이상으로 갈 수 있는 이유다. 더 많은 compute가 온라인으로 오고, frontier token pricing도 밀어붙일 수 있기 때문.

단, 사회적으로는 어두운 면이 있다 — 돈이 없으면 frontier에 접근할 수 없다는 뜻.

CHAPTER 17

Continual learning이 뚫리면 takeoff가 빨라진다

Gavin

인간은 샘플 효율이 엄청나다. 불에 한 번 손을 대면 다시 안 댄다. 하지만 현재 AI는 불에 손을 백만 번 넣고, 다음 training run이나 RL gym에 그 경험을 반영해야 배운다.

Continual learning은 모델이 실시간으로 weights를 조정하거나, 어떤 방식으로든 동적으로 자기 상태를 업데이트하는 것이다. 검증 가능한 영역에서는 이미 crude version이 있다 (mid-training 중 RL 등). 하지만 진짜 continual learning이 되면 매우 빠른 takeoff가 가능하다. 사람들이 continual learning이 생각보다 가까이 있다고 자신하는 듯하다.

세 가지 핵심 질문

ASI나 human ingenuity가 Bitter Lesson을 깰 것인가?
Frontier token은 계속 프리미엄을 받을 것인가?
Continual learning은 언제 오는가?

이 세 가지가 AI 인프라 long thesis의 핵심 분기점.

CHAPTER 18

새로운 AI chip 회사들: "better GPU 만들지 마라"

Gavin

경쟁은 좋은 것이다. Jensen에게도 좋다. 하지만 chip design은 탱크 설계와 같다 — 공격력, 방어력, 기동성의 iron triangle. 하나를 올리면 다른 하나를 희생해야 한다. 칩도 TSMC design rule과 물리법칙 안에서 trade-off를 해야 한다.

TPU, Trainium, AMD는 모두 본질적으로 "더 나은 GPU"가 되려고 한다. 현재는 Trainium이 그나마 제일 잘하고 있다. 그래도 Nvidia보다 나은 GPU는 없다.

Trainium 3는 switch scale-up network가 있어야 하고, 그래야 inference를 경제적으로 할 수 있다 — Google/AMD의 torus architecture와 비교되는 지점.

스타트업은 "다르게" 해야 하고, 그게 "어려워야" 한다. 1% 시장점유율이 1,000억 달러 가치가 될 수 있다. 1~3%만 먹어도 엄청난 벤처 성과다. 하지만 뭔가 조금 다르게 해서 성공하면 Nvidia가 그 칩을 만들 수 있다. 다를 뿐 아니라, Nvidia가 쉽게 따라 하기 어려울 만큼 어려워야 한다.

CHAPTER 19

Prefill과 decode 분리가 chip startup에 기회를 준다

Patrick

Prefill과 decode를 설명해달라.

Gavin

동료 Andrew Fox의 비유 — 18세기 영국 해군 함선을 떠올려라. Prefill은 대포를 장전하는 것이고, decode는 대포를 발사하는 것이다.

Prefill은 모델이 질문과 context를 이해하고 자기 생각을 추적하는 과정 — memory capacity bound 문제.
Decode는 새로운 token을 생성하는 과정 — memory bandwidth constraint 문제.

이 분리가 생기면서 chip designer는 훨씬 넓은 canvas를 갖게 됐다. Prefill용 또는 decode용으로 과감한 trade-off를 할 수 있다. 하지만 그 trade-off가 어렵지 않으면 Nvidia도 똑같이 한다 — TSMC 가격도 더 좋고, 모든 모델 회사와 같이 최적화한다.

VC가 "우리는 TSMC 특수 공정 접근권이 있어서 advantage가 있다"고 말하는 chip startup에 투자하려 한다면 조심해야 한다. Jensen은 그 공정이 TSMC 눈빛 속 반짝임으로 존재할 때부터 이미 봤을 것.

CHAPTER 20

Cerebras는 "다르고 어렵다"의 좋은 예

Gavin

우리 펌은 Cerebras에 venture investor였다. Cerebras는 wafer-scale computing이라는 완전히 다른 방식을 택했다. 정말 어렵고, 아무나 따라 할 수 없는 architecture다.

물론 trade-off가 있다. 여러 칩을 붙이고 scale-up/scale-out 네트워크를 만들려면 IO가 중요한데, IO는 chip shoreline (칩 가장자리 면적)에 제한된다. Cerebras는 on-chip compute/memory 대비 shoreline IO 비율이 압도적으로 특이하다. 그래서 optical wafer를 위에 얹거나 DRAM hybrid bonding 같은 걸 검토할 수 있다.

Cerebras machine은 이론적으로 어떤 크기 모델도 돌릴 수 있지만, 특정 모델 크기에서는 훨씬 더 잘 맞는 구간이 있다. 핵심은 정말 다른 걸 했고, 정말 어려운 걸 했다는 것.

그리고 그들도 3세대 칩이 되어서야 제대로 됐다. 첫 칩 실패? 그럴 수 있다. 두 번째 칩을 만들 수 있는 grit과 resilience가 있느냐가 중요하다.

CHAPTER 21

GPU useful life가 10~15년으로 늘 수 있다

Gavin

Prefill/decode 분리는 GPU useful life에 엄청 좋다. 심하면 private credit을 살릴 수도 있다. 기존 skeptic들은 GPU 수명이 1~2년뿐이라고 말한다. 하지만 반대다.

Prefill/decode가 분리되면 오래된 Hopper나 Ampere를 prefill용으로 계속 쓸 수 있다. 앞단에 Cerebras system이나 Groq LPU 같은 decode/특화 시스템을 붙이고, 기존 GPU는 prefill용으로 돌리는 식. 그러면 GPU는 10~15년 수명을 가질 수 있다.

금융 함의 — 이게 진짜 큰 포인트

GPU financing을 3~4년이 아니라 더 긴 useful life로 underwriting할 수 있으면, 금리가 낮아진다. CoreWeave가 low 7%로 조달했다면, 앞으로 5~6%로 financing 가능해질 수도 있고, 이건 AI 인프라 비용 구조를 바꾼다. → neocloud unit economics 재평가 트리거.

또 hyperscaler들은 shortage buyer로만 보이지만, 사실 giant installed base of shortage를 갖고 있는 쪽이기도 하다. 특히 agentic world에서는 CPU도 orchestration·tool calls 때문에 더 중요해진다.

CHAPTER 22

AI 앱 레이어: 아직 돈 못 먹는다

Patrick

인프라 밖에서 AI-native founder들은 어떻게 보이나?

Gavin

벤처에서 가장 중요한 질문은 늘 같다 — 이 아이디어가 세상 모두에게 너무 빨리 obvious해질 것인가? 그 전에 회사가 scale을 만들 수 있는가? 아니면 obvious하지 않고, 다르고, 정말 어려운가?

Jensen의 AI five-layer cake에서 이익은 energy, data center, chips, models에는 붙고 있는데, applications에는 별로 안 붙고 있다.

Cursor와 Cognition은 예외다. 이들은 coding에 집중했고, 그게 맞았다. Coding은 ASI와 useful AI로 가는 가장 짧은 경로일 수 있기 때문 — 코드를 잘 쓰면 자기 자신이 필요한 모든 걸 만들 수 있다.

하지만 많은 AI app founder들은 niche vertical에서 data moat를 만들 수 있을지 고민 중이다. 모델 회사가 들어오기 전에 niche를 장악하거나, 모델 회사가 직접 하기엔 너무 작은 시장이어야 한다.

CHAPTER 23

Token path: 그 안에 있어야 한다

Gavin

Altimeter의 Jamin Ball이 말한 개념인데, 소프트웨어 회사든 AI 회사든 token path 안에 있어야 한다. Databricks는 token path 안에 있다. Confluent 같은 회사도. Token path 밖에 있고 아주 특수한 niche도 아니라면 인생이 어려워질 수 있다.

Vertical niche도 조심해야 한다. 그 niche의 data는 결국 인간이 만들어낸 데이터다. 그걸로 frontier lab보다 싸고 좋은 모델을 만들 수 있다는 베팅인데, 가능할 수도 있지만 매우 조심해야 한다.

다만 프론티어 토큰의 상대적 수익률이 내려오면 application layer에서 value creation이 폭발할 수 있다.

CHAPTER 24

Nvidia도 원하면 frontier model에 가까이 갈 수 있다

Gavin

Jensen은 원하면 자기 모델로 frontier에 꽤 가까이 갈 수 있다. Nvidia는 NeMoTron 같은 것들을 하고 있고, 이건 logical counter move다.

OpenAI와 Anthropic은 사실 Nvidia를 commoditize하려 하지만 아직 성공하지 못하고 있다. 그렇다면 Nvidia가 반대로 모델을 commoditize하는 것도 논리적 대응이다. 다만 Jensen이 당장 그걸 원한다고 보진 않는다.

CHAPTER 25

중국 오픈소스와 distillation 게임

Gavin

현재 open-source frontier는 상당 부분 중국 모델이고, 이들은 미국 token을 훔쳐서 학습한 측면이 있다. DeepSeek 최신 모델 또는 초기 모델이 15만 개 reasoning trace만으로 가능했다는 얘기도 들었다. 중국 회사는 여러 API를 때리면서 distillation을 어렵게 추적하게 만들 수 있다. 미국 lab들은 anti-distillation 기술을 열심히 만들고 있다.

그래서 frontier model 공개 여부가 새로운 prisoner's dilemma가 된다.

Prisoner's Dilemma 구조

모든 frontier 회사가 API 공개를 안 하면 → 중국 open source는 금방 뒤처짐.
하지만 한 회사가 defect해서 API를 열면 → 그 회사는 최고의 모델과 매출·cash flow를 얻고, resources = intelligence이기 때문에 더 앞서감.
→ 다른 회사들도 따라 열 수밖에 없음.

이건 TSMC/Samsung/Intel foundry game과 비슷. Nvidia나 AMD가 다른 foundry를 진짜로 쓰기 시작하면, 그 foundry는 빠르게 좋아진다.

CHAPTER 26

Cybersecurity: 가족·회사 safe word를 만들어라

Gavin

사이버보안에 과투자하고 있다. 모두 safe word를 가져야 한다 — 가족 safe word, 회사 safe word. 디지털 기기 없이 바닷가 같은 데 가서 정해야 한다. 사회공학적으로 유추될 수 없는 단어여야 한다.

앞으로는 아들, 딸, 부모, 조부모처럼 보이는 완벽한 Facetime 시뮬레이션이 전화해서 "100만 달러 송금해줘"라고 할 수 있다. 그들은 그 사람이 했던 말과 할 법한 말까지 다 알고 있다.

CHAPTER 27

투자자는 AI라는 "기관총"의 주인이 되어야 한다

Patrick

방어 말고, 분석 측면에서 인간은 뭘 할 수 있나?

Gavin

The Last Samurai를 봤다. 거기서 사무라이는 결국 기관총을 든 농민에게 학살당한다. 기관총이 등장했다. 우리가 기관총의 주인이 되지 않으면, 기관총에게 지배당한다.

나는 이미 agent를 항상 돌리고 있다. 가장 유용한 agent는 팟캐스트 요약 agent다. OpenAI, xAI, Google, Cursor, Fireworks, Jensen, Elon, Dalio 등 봐야 할 영상이 하루 6시간씩 쌓이는데, 다 볼 수 없으니 자기에게 흥미로운 포인트를 뽑아주는 agent가 엄청 유용하다.

proxy에서 PSU/RSU 보상 구조를 뽑고, 경영진이 무엇에 인센티브를 받는지 비교하는 일도 AI가 잘한다. 노동집약적이고 시그널이 있는 작업이라 투자 프로세스에 매우 유용하다.

CHAPTER 28

Diversity breakdown: 모두가 DRAM bullish한 게 무섭다

Gavin

나 같은 사람 중 DRAM에 bullish하지 않은 사람을 모른다. 그게 조금 무섭다.

지금 AI 안에서도 cross-sectional valuation이 말이 안 된다. Semicap 장비사는 다음 분기 연율화 earnings 기준 40배에 거래되는데, DRAM 회사는 mid-single digit multiple에 거래된다. 과거 peak cycle 때도 5배 vs 12배 정도였는데, 지금은 3배 vs 45배 같은 식의 gap이 생긴다.

Semicap business model이 memory보다 좋아진 건 맞다 (parts/maintenance recurring). 하지만 1,000% multiple gap을 정당화할 정도는 아니다.

현재 shortage 환경에서는 low-quality 회사들이 제일 잘 간다 — 원자재 bull market에서 high-cost producer가 가장 많이 오르는 것과 같다. 망하기 직전에서 cash gusher가 되기 때문. hyperscaler들이 싫어하는 low-quality supplier들, 비용 높고 unreliable한 회사들이 sold out되고 가격을 올린다. X/Reddit에서 뜨면서 미친 듯이 오른다.

반면 high-quality expression은 오히려 underperform한 경우도 있다. 그래서 lower quality speculative small cap 쪽은 무섭지만, high-quality AI names는 valuation이 아직 extended하지 않아 위안이 된다.

CHAPTER 29

AI trade의 basket이 깨졌다

Gavin

2024~2025년에는 AI trade가 같이 움직였다. GPU compute, scale-up networking, optical scale-across를 long하고 power를 short하는 식의 trade가 risk management 측면에서 먹혔다.

그런데 2026년 1월부터 이게 깨졌다. Scale-up networking은 오르는데 scale-out은 빠지고, DRAM은 NAND/HDD 대비 크게 underperform하는 식. AI 내부의 cross-sectional correlation이 붕괴했다. 이제 memory를 semicap이나 NAND로 hedge할 수 없다.

왜? AI가 너무 좋아져서 사람들이 각 subsector를 빠르게 공부하고, trading basket을 만들기 쉬워졌기 때문일 수 있다. 그 결과 miscategorization이 기회가 됨.

유레카 포인트 — Astera 사례

Astera는 copper loser basket에 들어갔는데, 가빈은 이걸 틀렸다고 봄. Astera의 가장 큰 제품은 switch가 될 것이고, switch는 accelerator와 연결되는 반대편이다. Switch/accelerator 회사는 definitionally copper loser가 될 수 없다는 논리. → miscategorized 종목 찾는 게 2026년 AI trade의 알파 원천.

CHAPTER 30

Big Tech 평가: Google, Meta, Amazon, Microsoft

Gavin

Google. 작년에 TPU advantage가 대단했지만 지금은 사라졌다. 그래도 compute installed base가 가장 크기 때문에 여전히 좋은 위치. YouTube data는 robotics 세계에서 진짜 가치 있고, search business도 있다. Google은 절대 나쁜 위치가 될 수 없다. GCP도 미친 듯이 성장 중. 다만 Google I/O에서 OpenAI나 Claude를 조금이라도 leapfrog하지 못하면 흥미로운 신호다 — Nvidia effect가 생각보다 더 강하다는 뜻일 수 있다.

Meta. Zuckerberg에게 엄청난 credit. 대형 인터넷 기업 중 내부적으로 AI-first company로 전환한 거의 유일한 CEO. Talent에 수십억 달러 계약을 주며 과감히 투자한 것도 높이 평가. Muse 모델도 첫 MSL 모델치고 매우 인상적. Google만큼 절대적 위치는 아니지만, rate of change가 좋다.

Amazon. Trainium 때문에 강한 포지션. 향후 18개월 안에 retail business에서 robotics로 P&L efficiency가 실제로 보일 수 있다. Nova 모델도 Muse 수준은 아니지만 시장이 주는 평가보다는 낫다.

Microsoft. 복잡하다. Satya는 뛰어난 CEO지만, 투자자 대화에서 예전만큼 추앙받지는 않는다. OpenAI coup 당시 Satya가 Sam이 아니라 Ilya/Mira 쪽을 지원했어야 했는지 속으로 후회할까 궁금하다. Microsoft는 2025년 초 capex에서 잠깐 flinch했고, 이 때문에 allocation position을 잃었다.

하지만 지금 Satya가 하는 결정은 용기 있다. Microsoft는 GPU를 OpenAI/Anthropic capacity serving에 팔아 Azure 성장을 키우는 대신, 자체 제품과 자체 모델 개선에 쓰려 한다. 시장은 벌을 줬지만, 장기적으로는 맞는 결정일 수 있다. GPU를 OpenAI/Anthropic에만 팔았다면 주가가 800달러였을 수도 있다. 하지만 frontier model이 더 이상 API accessible하지 않은 세상에 대비하려면 내부 compute를 자기 제품에 써야 한다는 판단.

CHAPTER 31

스타트업과의 engagement: Nvidia/Amazon이 압도적

Gavin

AI 대형사들이 startup과 얼마나 outward-facing하게 연결되는지도 중요하다.

스타트업과 가장 깊이 engage하는 회사는 Nvidia와 Amazon이다. 그다음이 Google. Broadcom은 다른 방식으로 중요하다 — 스타트업이 2세대 칩에서 Broadcom과 일하면 level-up으로 보이고, 1세대부터 Broadcom이 붙으면 하늘에서 manna가 떨어진 것처럼 여겨진다.

반대로 AMD, Microsoft, Meta는 startup engagement가 거의 없다. 이건 이상한 결정일 수 있다. 최고의 팀들이 이제는 대형 public company가 아니라 스타트업에 있기 때문이다. Nvidia, Amazon, Google의 외부 스타트업 접점은 장기적으로 큰 우위가 될 수 있다.

CHAPTER 32

AI는 앱 레이어에서 순가치를 파괴했다

Gavin

앱 레이어는 value accrual이 없는 정도가 아니라, value destruction이 있었다. Cursor와 Cognition 같은 성공적인 AI-native를 포함해도, AI는 애플리케이션 레이어에서 수조 달러의 가치를 파괴했다.

현재 value가 가장 늘어나는 회사들은 "활용 중인 GPU per human" 비율이 가장 높은 회사들이다. 즉 사람 한 명당 얼마나 많은 GPU를 실질적으로 굴리느냐가 경제가치 창출의 핵심 지표처럼 보인다.

CHAPTER 33

Personal safety와 지정학 리스크

Gavin

조금 어두운 얘기지만, 개인 안전이 점점 걱정된다. AI가 정치화되면서, AI 리더들에게 정치적 폭력이 향할 수 있다. Sam Altman 집에 화염병이 던져진 사건 같은 것도 끔찍하다.

AI 때문에 우리는 더 높은 variance, 더 높은 beta, 더 높은 risk의 세계로 들어가고 있다.

지정학적으로도 마찬가지. 우크라이나가 전장에서 이기기 시작한 이유는 드론도 있지만, battlefield AI가 미국·이스라엘 다음 수준으로 좋기 때문이다. 미국의 AI 우위는 미국에는 좋지만, 나머지 세계에는 destabilizing할 수 있다. 경쟁국들이 이걸 어떻게 받아들일지가 문제.

CHAPTER 34

그래도 그는 AI 낙관론자다

Gavin

그럼에도 나는 AI maximalist optimist다.

희귀 유전질환에 걸린 딸을 둔 사람이, AI agent와 lab compute를 활용해 이미 시장에 있는 약 중 딸의 질병에 영향을 줄 수 있는 약을 찾아냈고, 회사를 세워 치료를 추진하는 사례를 들었다. 그 아이의 삶은 이미 AI 때문에 완전히 달라졌다.

AI는 엄청난 선을 만들 수 있다. 하지만 동시에 event horizon이다. 사회적으로 discontinuity가 올 것이다. Luddite들은 틀릴 가능성이 높지만, 그들의 우려를 진지하게 다뤄야 한다. 최고의 AI가 돈 많은 사람에게만 제공되는 건 디스토피아적이다. 이 문제는 풀어야 한다.

AI는 세계를 좋게 만들 수 있다. 하지만 겸손해야 하고, 불확실성을 인정해야 하며, 모두에게 좋은 방향으로 설계해야 한다.

— Gavin Baker, closing
최종 투자자용 압축

AI는 버블인가가 아니다.
병목이 어디서 풀리고 어디서 안 풀리느냐다.

01 — POWER

전력은 풀린다. 자본주의가 터빈·엔진·원전·orbital compute까지 다 동원해 해결할 가능성이 큼. 2027~2028년 완화.

02 — WAFERS

웨이퍼는 다르다. TSMC가 AI 사이클의 속도조절자. 너무 빨리 증설하면 버블, 너무 느리면 Intel/Samsung second source 부상. Goldilocks zone이 좁다.

03 — MODELS

프론티어 모델은 아직 돈을 먹는다. Open-source/저가 모델이 잡아먹는다는 논리는 아직 현실과 안 맞음. 다만 깨지는 시점이 application layer 폭발의 트리거.

04 — APPS

Application layer는 아직 죽어 있다. Cursor/Cognition 같은 coding 예외 빼면, AI는 앱 레이어에 가치를 붙인 게 아니라 기존 소프트웨어 가치를 파괴한 쪽에 가까움.

05 — MEMORY

모두가 DRAM에 bullish해서 무섭지만, valuation gap은 여전히 말이 안 됨 (semicap 40배 vs DRAM mid-single digit). Diversity breakdown 리스크와 mispricing이 공존.

06 — NVIDIA

Nvidia는 아직 중심. "더 나은 GPU" 만들겠다는 스타트업은 거의 가망 낮고, 살아남으려면 Cerebras처럼 다르고 어려워야 함.

07 — ASTERA

Astera는 copper loser가 아니라 miscategorized switch/connectivity winner. Switch는 accelerator의 반대편이므로 definitionally copper loser가 될 수 없음.

08 — BIG TECH

Google compute / Meta 변화율 / Amazon Trainium / Microsoft 내부 compute 전략이 각각 핵심. Microsoft가 GPU를 외부 판매 대신 자체 제품에 쓰는 결정은 단기 벌점, 장기 옳은 베팅 가능성.

09 — DURATION

Prefill/Decode 분리로 GPU 수명 10~15년 가능성. GPU financing 금리 인하 → neocloud unit economics 재평가 트리거.

10 — VERDICT

가빈은 AI를 투자 기회로는 극단적으로 bullish하게 보지만, 사회적으로는 진지하게 위험한 event horizon으로 봄. 기관총의 주인이 되든, 지배당하든.