HBM은 끝인가, 이제 시작인가

KAIST TERALAB 김정호 교수팀 HBM 로드맵 × 슬랙 DB 김정호 교수 발언 × Irrational Analysis의 “HBM: High-Bandwidth Mistake”를 대담형으로 재구성

기준 자료: 사용자가 첨부한 KAIST TERALAB 로드맵 이미지, 현재 브라우저의 Irrational Analysis 글, Slack 검색 결과

<3줄요약>

KAIST 로드맵은 HBM이 2026년 HBM4에서 2038년 HBM8까지 계속 진화한다고 보고, 핵심 병목을 I/O·적층·냉각·아키텍처·AI 설계 자동화로 푸는 그림임.
김정호 교수 쪽 슬랙 발언 흐름은 “AI는 결국 메모리 문제고, 멀티모달/RAG/KV cache 때문에 HBM 다음엔 HBF·NAND성 메모리까지 커진다” 쪽으로 점점 이동함.
Irrational 저자는 “HBM은 지금 돈은 벌지만 구조적으로 잘못된 해법”이라며, 장기적으로는 LPDDR 메모리 풀 + 광학 연결 + 분산 메모리 쪽이 더 맞다고 봄.

<똥멍청이용 정리>

김정호 교수는 “AI 커질수록 메모리가 왕”이라 하고, Irrational 저자는 “맞긴 한데 HBM 방식은 너무 비싸고 구려서 결국 딴 방식으로 갈 것”이라고 싸우는 그림임.

1. 먼저 KAIST TERALAB 로드맵이 말하는 것

이미지의 로드맵은 꽤 노골적임. HBM이 그냥 HBM4에서 끝나는 게 아니라, HBM5·6·7·8로 갈수록 핀 수, 대역폭, 용량, 전력, 냉각, 적층 방식이 전부 바뀌어야 한다는 그림임.

스펙의 방향

HBM4(2026): 8Gbps, 2,048 I/O, 2.0TB/s, 36/48GB, 75W
HBM5(2029): 8Gbps, 4,096 I/O, 4TB/s, 80GB, 100W
HBM6(2032): 16Gbps, 4,096 I/O, 8TB/s, 96/120GB, 120W
HBM7(2035): 24Gbps, 8,192 I/O, 24TB/s, 160/192GB, 160W
HBM8(2038): 32Gbps, 16,384 I/O, 64TB/s, 200/240GB, 180W

진짜 메시지

Microbump → bump-less Cu-Cu direct bonding으로 가야 함.
Direct-to-chip liquid cooling → immersion cooling → embedded cooling으로 냉각 난이도가 올라감.
HBM-LPDDR, CXL, multi-tower HBM, HBF, 3D LPDDR, HBM-centric computing까지 간다고 봄.
즉 “메모리만 더 쌓자”가 아니라, 컴퓨팅 구조 자체가 메모리 중심으로 재편된다는 주장.

2. Slack DB에서 잡힌 김정호 교수 발언 흐름

슬랙에서 잡힌 김정호 교수 관련 메모들은 거의 “메모리 종교”에 가까운 톤임. 표현은 웃긴데, 투자적으로는 핵심이 꽤 선명함.

“신은 하늘에 있고 AI는 메모리에 있다”는 식으로, AI 병목의 중심을 GPU 연산보다 메모리로 봄.
텍스트 → 이미지 → 영상으로 갈수록 데이터 저장·연산 요구가 몇백 배~1000배씩 늘어난다고 봄.
RAG와 실시간 학습이 중요해지면 HBF로 갈 수밖에 없다는 주장.
KV cache를 “암호를 해석해서 단어로 뱉어주는 것”처럼 설명하며, 디코딩 단계의 메모리 부담을 강조.
인코딩에는 HBM, 디코딩에는 HBF가 붙는 구조를 언급했다는 슬랙 메모가 있음.
“2038년에는 HBF가 HBM 시장 규모를 넘어설 수 있다”는 전망도 슬랙에 기록되어 있음.

슬랙 근거: 김정호 교수 유튜브/강연 관련 검색 결과에서 HBF, KV cache, 멀티모달, RAG, 2038년 HBF 전망 관련 메모 확인.

3. Irrational 저자의 핵심 주장

Irrational Analysis 글은 말투가 거칠지만 논지는 뚜렷함. “HBM은 지금 필요한 건 맞는데, 구조적으로는 잘못된 해법”이라는 거임.

메모리 대역폭 문제는 결국 I/O density 문제인데, DRAM 업계가 HBM이라는 비싼 방식으로 풀었다고 봄.
HBM PHY가 느리고, TSV와 microbump의 parasitic capacitance가 병목이라고 봄.
HBM4에서 base die와 bump capacitance 문제가 터졌고, 이를 해결하려면 hybrid bonding이 필요하다고 주장.
CXL은 메모리 풀링에는 도움 되지만, PCIe PHY 위에 올라간 프로토콜이라 근본 해법은 아니라고 봄.
장기 해법은 optically attached, disaggregated LPDDR memory pool이라고 주장.
즉 GPU/ASIC 옆에 HBM을 영원히 붙이는 게 아니라, LPDDR 메모리 풀을 광학으로 붙여 쓰는 구조가 미래라는 것.

4. 대담형 재구성

사회자

오늘의 질문은 단순합니다. HBM은 앞으로 더 커지는 시장입니까, 아니면 구조적으로 틀린 길입니까?

김정호 교수팀

HBM은 끝난 게 아니라, 이제부터 진짜 어려운 구간으로 들어갑니다. HBM4는 2TB/s지만, HBM8은 64TB/s까지 봐야 합니다. 단순히 속도만 올리는 게 아니라 I/O 수, 적층 방식, 냉각, 아키텍처가 전부 바뀌어야 합니다.

Irrational

그게 바로 문제죠. 64TB/s를 만들려고 I/O 16,384개, 20/24-hi stack, embedded cooling까지 가야 한다? 이건 멋진 로드맵이라기보다 “구조가 얼마나 억지로 가고 있는지” 보여주는 겁니다. HBM은 돈은 벌지만, 엔지니어링적으로 너무 비싼 우회로예요.

김정호 교수팀

그렇다고 AI가 메모리를 덜 쓰는 쪽으로 가는 건 아닙니다. 텍스트에서 이미지, 영상, 멀티모달로 갈수록 데이터는 폭증합니다. RAG와 실시간 학습, KV cache가 커질수록 메모리 계층은 더 중요해집니다. 결국 AI는 메모리에 있습니다.

Irrational

동의합니다. 메모리가 병목인 건 맞습니다. 근데 그 병목을 HBM으로 푸는 게 최선이냐는 다른 문제입니다. 지금 HBM은 TSV, microbump, PHY, 열 문제를 계속 억지로 밀어붙이는 구조예요. 그래서 저는 장기적으로 LPDDR 메모리 풀을 optical로 붙이는 쪽이 더 맞다고 봅니다.

사회자

그럼 두 분이 갈리는 지점은 “메모리가 중요하냐”가 아니라 “어떤 메모리 구조가 이길 거냐”네요.

김정호 교수팀

맞습니다. KAIST 로드맵도 HBM만 말하지 않습니다. HBM-LPDDR, CXL, stacked cache, multi-tower HBM, HBF, 3D LPDDR까지 같이 봅니다. HBM 중심 컴퓨팅에서 더 넓은 메모리 중심 컴퓨팅으로 가는 그림입니다.

Irrational

그 부분은 흥미롭습니다. 저도 HBM 자체보다 “메모리 분리와 재배치”가 중요하다고 봅니다. 다만 저는 HBF든 HBM이든 결국 패키지 안에 메모리를 가둬두는 방식은 한계가 있다고 봐요. 진짜 좋은 구조는 메모리를 재사용하고, 여러 ASIC/GPU가 필요할 때 재할당할 수 있어야 합니다.

사회자

투자 관점으로 가면 어떻게 봐야 합니까? 삼성, 하이닉스, 마이크론 중 누가 좋아 보입니까?

Irrational

단기적으로 DRAM/HBM은 더 갈 수 있습니다. HBM trade ratio 때문에 일반 DRAM 공급이 사실상 파괴되고 있고, agentic AI 수요가 구조적으로 큽니다. 그래서 DRAM 업체들은 미친 마진을 벌 수 있습니다. 다만 이건 영원한 compounder라기보다, 긴 사이클의 끝에서 크게 빠질 수 있는 게임입니다.

김정호 교수팀

한국 기업 입장에서는 HBM 이후의 구조를 선점해야 합니다. HBF, 3D 메모리, 냉각, 인터포저, CXL, AI 설계 자동화까지 같이 가야 합니다. 단순 DRAM 공급자가 아니라 AI 메모리 시스템 업체가 되어야 합니다.

Irrational

그래서 삼성은 흥미롭습니다. 내부 로직 파운드리, 인터페이스 IP, 고속 신호 무결성 경험, silicon photonics까지 묶으면 HBM base die와 미래 optical memory 쪽에서 구조적 장점이 있습니다. SK하이닉스는 HBM 실행력은 압도적이지만, base die와 logic co-design에서는 삼성의 카드가 많습니다.

사회자

정리하면, 김정호 교수팀은 “AI 메모리 빅뱅”을 말하고, Irrational은 “빅뱅은 맞는데 HBM 방식은 임시 해법”이라고 보는군요.

둘 다

공통 결론: AI 시대의 병목은 메모리다. 차이는 HBM이 최종 승자인지, 아니면 HBM 이후 HBF/LPDDR/optical memory pool로 넘어가는 중간 다리인지에 있다.

5. 투자적으로 제일 중요한 해석

포인트 하나. “HBM 끝났다”가 아니라 “HBM만으로는 끝까지 못 간다”

이걸 헷갈리면 투자 판단이 꼬임. Irrational 저자는 HBM 숏을 치자는 글을 쓴 게 아님. 오히려 단기 DRAM 사이클은 인정함. 문제는 이 사이클이 구조적 메모리 수요와 사이클 버블이 섞인 형태라는 것.

포인트 둘. 김정호 교수팀 로드맵은 HBM bull case이면서 동시에 HBM risk map

HBM8로 갈수록 대역폭은 64TB/s까지 커지지만, 전력은 180W, I/O는 16,384개, 냉각은 embedded cooling까지 감. 이건 TAM이 커진다는 뜻이면서 동시에 기술 난이도와 비용이 미친 듯이 올라간다는 뜻임.

포인트 셋. 삼성 vs 하이닉스 논쟁은 “현재 HBM 실행력” vs “미래 메모리 시스템 설계력” 싸움

하이닉스는 현재 HBM에서 가장 강한 실행력을 보여준 쪽. 그런데 Irrational식 논리로 가면, 미래에는 base die, logic, PHY, silicon photonics, co-design이 중요해지고 여기서는 삼성이 가진 카드가 많다는 주장으로 이어짐.

포인트 넷. HBF/NAND성 메모리 논리는 inference와 agentic AI에서 더 중요해질 수 있음

슬랙 메모에 따르면 김정호 교수 쪽은 KV cache, RAG, 멀티모달, 디코딩 부하를 강하게 강조함. 이건 “학습용 HBM”보다 “추론/기억/검색/실시간 문맥 유지용 메모리”가 커지는 세계관임. 이게 맞으면 DRAM만 보는 게 아니라 NAND/HBF/스토리지 네트워크까지 봐야 함.

6. 최종 한 줄

AI 시대 메모리 병목은 진짜고, 그래서 HBM/DRAM 주식은 더 갈 수 있다. 
근데 HBM은 최종 목적지라기보다, 광학 연결·HBF·LPDDR 풀·메모리 중심 컴퓨팅으로 넘어가는 과도기적 돈복사 구간일 가능성이 크다.