원문은 시작부터 꽤 세게 말한다. HBM이 메모리 대역폭 문제를 ‘해결’한 게 아니라, 기존 병목을 다른 방식으로 ‘우회’했다는 것. 그리고 그 병목은 DRAM 자체가 아니라 chip edge, 즉 칩 가장자리에서 데이터가 들어오고 나가는 물리적 출입구라는 주장이다.
보통 우리는 AI 메모리 병목을 “HBM이 부족하다”, “DRAM 대역폭이 부족하다”, “메모리 용량이 부족하다” 정도로 말한다. 그런데 이 글은 문제 정의를 바꾼다. 메모리 자체가 문제가 아니라, 메모리를 칩에 붙이는 방식과 칩 가장자리의 데이터 통로가 문제라는 식이다.
원문이 가장 먼저 꺼내는 숫자는 이거다.
여기서 원문의 포인트는 “HBM4가 느리다”가 아니다. 같은 데이터센터, 같은 연도, 같은 실리콘 시대에 한쪽 인터페이스는 8~11Gbps에서 고생하고 있는데, 짧은 거리 SerDes 링크는 이미 32~64Gbps를 찍고 있다는 점이다.
그러니까 저자가 보기에 진짜 이상한 그림은 이거다. DRAM이 문제라면 모든 연결부가 비슷하게 느려야 하는데, 실제로는 HBM 방식의 연결만 유독 답답하다. 그래서 문제는 DRAM이 아니라 HBM을 물리적으로 붙이는 방식, 즉 shoreline이라고 보는 것이다.
원문에서 가장 직관적인 비유가 이거다. 칩은 요리사가 바글바글한 주방이고, 메모리는 식재료가 쌓여 있는 창고다.
HBM은 이 창고를 주방 바로 옆에 붙이는 방식이다. 덕분에 빠르긴 빠르다. 그런데 이 창고는 층층이 쌓여 있고, 그 사이를 TSV와 micro-bump가 관통한다. 원문은 이걸 창고 선반 사이에 굵은 기둥과 작은 납땜 접점들이 잔뜩 들어간 구조로 비유한다.
이 TSV와 micro-bump는 그냥 부품 이름이 아니라, 실제로는 전기적 drag를 만든다. 원문 표현으로는 parasitic capacitance, 즉 기생 커패시턴스가 붙고, 이게 핀당 속도를 제한한다. 쉽게 말하면 길이 좁고 복잡해서 아무리 창고에 재료가 많아도 주방으로 한 번에 쫙쫙 못 들어온다는 얘기다.
게다가 HBM은 GPU 바로 옆에 붙어 있다. 그래서 열도 같이 쌓인다. 원문은 “all that stacked mass traps heat right next to the stove”라고 한다. 식재료 창고를 뜨거운 스토브 바로 옆에 붙여둔 꼴이라, GPU도 결국 열 때문에 속도를 조절해야 한다는 그림이다.
여기서 원문이 던지는 재정의가 중요하다.
이게 “shoreline”이라는 표현의 의미다. 섬이 있고 바다가 있다면, 물자가 들어오고 나가는 항구는 해안선에 붙는다. 해안선이 좁으면 항구를 아무리 잘 지어도 한계가 있다. 칩도 똑같다는 것이다.
HBM은 이 좁은 해안선에 고층 창고를 바짝 붙인 해결책이다. 단기적으로는 엄청난 해법이지만, 구조적으로 보면 해안선 자체를 넓힌 건 아니다. 그래서 저자는 HBM을 “solution”이라기보다 “workaround”라고 부른다.
Irrational Analysis가 제시한 대안은 더 과격하다. HBM처럼 비싼 창고를 주방 벽에 붙이지 말고, 식재료 창고를 복도 끝이나 다른 곳에 두고, 광섬유 컨베이어벨트로 연결하자는 것이다.
이 방식이 매력적인 이유는 명확하다.
원문은 이걸 “same DRAM, two shorelines”라고 설명한다. 같은 DRAM이어도, 하나는 GPU 벽에 붙이고, 하나는 광링크로 멀리서 끌어오는 구조다. 병목은 DRAM이 아니라 연결 방식이라는 논리가 여기서 다시 강화된다.
저자는 Irrational Analysis의 아이디어를 꽤 긍정적으로 보지만, 동시에 기술적 난이도도 그대로 적는다. 데이터를 fiber 위에 깨끗하게 올리는 건 원문 표현 그대로 “pain and suffering”이고, 몇 년은 더 걸릴 수 있다는 것이다.
그래서 당장의 현실적 대안으로는 완전한 optical-attached memory보다, commodity LPDDR을 더 잘 조직해서 쓰는 쪽이 먼저 올 수 있다고 본다. 여기서 원문은 Positron이라는 스타트업도 언급한다. 즉 완전한 광메모리 풀은 장기 그림이고, 중간 단계에서는 HBM보다 싼 메모리 구성을 AI 추론용으로 활용하는 구조가 나올 수 있다는 맥락이다.
이 글의 중간에서 저자는 자기 기존 글과 연결한다. NVIDIA의 ISSCC 관련 글에서 이미 optical clock forwarding을 다룬 적이 있고, 그때는 이 기술을 “여러 칩을 하나의 coherent processor처럼 묶는 기술”로 봤다는 것이다.
이번에는 같은 기술이 메모리 쪽으로 적용된다. 즉 하나의 광링크 primitive가 두 방향으로 먹힌다.
그래서 원문은 “진짜 일을 하는 건 chip도 DRAM도 아니라 link”라고 말한다. 이게 투자적으로 제일 중요한 문장이다. 우리가 HBM, GPU, DRAM만 보고 있을 때, 저자는 그 사이를 건너는 link가 control point가 될 수 있다고 보는 것이다.
저자는 여기서 균형을 잡는다. Irrational Analysis의 주장을 그대로 밀면 “광링크니까 거의 지연이 없다”로 들릴 수 있는데, 실제로는 그렇게 단순하지 않다.
이 숫자가 중요하다. optical memory가 대역폭과 용량 풀링에는 좋을 수 있지만, GPU가 당장 다음 연산에 바로 필요한 hot data를 가져오는 경로에서는 HBM보다 느릴 수밖에 없다.
그래서 저자는 optical memory를 HBM의 완전 대체재로 보지 않는다. 더 정확히는 HBM 뒤에 붙는 새로운 메모리 티어로 본다. 큰 창고는 뒤에 있고, 주방 바로 옆에는 여전히 작은 고속 창고가 필요한 구조다.
원문을 투자자 언어로 번역하면 미래 구조는 이렇게 보는 게 제일 깔끔하다.
즉 HBM이 사라진다는 얘기가 아니다. HBM의 역할이 바뀐다는 얘기에 가깝다. 지금은 HBM이 “AI 메모리의 왕”처럼 보인다. 그런데 optical-attached memory가 현실화되면 HBM은 hot path용 고속 캐시/티어가 되고, 대규모 용량과 공유 메모리는 뒤쪽의 저렴한 메모리 풀이 담당할 수 있다.
이렇게 되면 HBM 수요가 당장 박살난다기보다는, HBM이 가져가던 TAM과 pricing power의 일부가 optical link와 commodity memory pool 쪽으로 이동할 수 있다. 이게 진짜 bear case다.
원문은 Irrational Analysis가 제시한 “HBM volume이 90% 줄 수 있다”는 과격한 주장에는 선을 긋는다. 물리학적 방향은 맞을 수 있지만, 수요 파괴 타이밍은 별개의 문제라는 것이다.
왜냐하면 HBM도 가만히 있지 않는다. hybrid bonding 같은 차세대 적층 방식은 micro-bump의 한계를 줄이고, HBM의 출입구를 더 넓힐 수 있다. 그러면 optical memory가 상업적으로 충분히 싸고 안정적이기 전에 HBM도 자기 병목을 상당 부분 개선할 수 있다.
그래서 저자의 핵심 체크포인트는 구호가 아니라 co-packaged optical receiver의 cost per bit다.
제목은 HBM bear case지만, 결론은 “그러니까 NVIDIA 숏”이 아니다. 오히려 반대다. 저자는 NVIDIA를 쉽게 거스르지 말라고 한다.
이유는 단순하다. NVIDIA는 HBM 구조의 최대 수혜자이면서, 동시에 이 shoreline 문제를 가장 잘 알고 있는 회사다. 더 중요한 건 NVIDIA가 사실상 memory vendor들이 따라가야 하는 roadmap과 spec을 쓰는 위치에 있다는 점이다.
원문은 Apple 비유를 든다. Apple이 iPhone 공급망에서 가장 어려운 제조 문제를 자기 해자로 바꾼 것처럼, NVIDIA도 HBM이든 optical link든 가장 어려운 병목을 자기 통제권 안으로 끌어들일 수 있다는 것이다.
그래서 결론은 꽤 현실적이다. 물리는 HBM의 장기 약점을 가리키지만, 그 약점을 가장 잘 monetization할 회사도 NVIDIA일 가능성이 높다.
이 글을 단순히 “HBM 망한다”로 읽으면 오독이다. 더 정확히는 “HBM이 AI 메모리 병목의 최종 해답이라는 시장의 단순한 프레임이 흔들릴 수 있다”는 글이다.
투자적으로는 이렇게 정리하는 게 맞다.
저자는 과격한 구호를 피한다. HBM의 끝을 선언하지 않는다. 대신 “HBM이 얼마나 빨리 fade하느냐의 싸움”이라고 표현한다.
이 문장이 사실상 전체 글의 엔딩이다. HBM은 당장 끝나지 않는다. 하지만 AI 인프라의 다음 전장은 HBM 스택 자체가 아니라, 칩 가장자리와 그 가장자리를 건너는 링크일 수 있다.
한 줄로 세게 요약하면:
이 글의 진짜 베어케이스: HBM이 안 팔린다가 아니라, HBM이 AI 메모리 병목의 최종 control point가 아닐 수 있다는 것.
핵심 전환점: optical receiver + co-packaged optical link가 HBM 대비 cost per bit와 reliability에서 충분히 내려오는 순간.
제일 조심할 오독: 광메모리 = HBM 즉시 대체. 이건 과하다. latency 때문에 hot path는 HBM이 계속 필요할 가능성이 높다.
더 좋은 해석: HBM은 GPU 바로 옆 고속 캐시/티어로 남고, optical-attached LPDDR memory pool이 큰 용량과 공유성을 담당하는 계층형 구조.
투자적으로 제일 맛있는 질문: 메모리 업체가 먹던 value가 일부 link 업체, optical packaging, SerDes, CPO, silicon photonics로 이동하는가?