두 분 모두 메모리 반도체를 깊이 보시는데, HBM의 5~10년 후 위상에 대해선 견해가 정반대인 것 같습니다. 시작해보시죠.
솔직히 말합시다. HBM is a mistake. PCIe 5.0이 64GB/s인데 HBM3가 819GB/s예요. 12.8배 미스매치. 이걸 보고 누가 "HBM을 크게 만들어야 한다"고 합니까? 작은 HBM 버퍼 + 대용량 Flash가 정답인데, 우리는 잘못된 길로 가고 있어요.
"People will be very surprised when HBM is gone."
저는 완전히 다르게 봅니다. HBM은 책상 바로 옆 서가예요. AI가 즉시 참고해야 할 데이터, 이건 나노초 단위로 접근해야 합니다. 마이크로초 단위인 Flash로는 못 합니다. HBM4만 가도 성능이 2배, HBF까지 붙으면 4배로 좋아져요. HBM이 사라지는 게 아니라, HBM 위에 HBF가 도서관처럼 쌓이는 구조죠. 대체가 아니라 계층화.
교수님 말씀은 단기 그림이에요. NVIDIA가 Rubin까지 HBM으로 락인한 건 인정합니다. 하지만 그건 5년짜리 phenomenon이지, 영원한 진리가 아닙니다. HBM의 진짜 문제는 commodity DRAM 웨이퍼를 재할당하는 구조라는 거예요. 이게 결국 DRAM 가격을 올리고, OEM 마진을 압박합니다. 시스템 전체가 비효율적이에요.
그 통찰은 좋습니다. DRAM 재할당 문제는 실제로 존재합니다. 다만 그게 "HBM의 종말"로 결론 나는 건 비약이에요. HBM4, HBM4E, HBM5로 가면서 단위 면적당 대역폭은 계속 올라갑니다. 그리고 그 위에 HBF가 추가됩니다. 두 메모리는 경쟁자가 아니라 동료예요.
bubbleboi 님은 KV cache 압축이 HBM 수요를 구조적으로 낮춘다고 주장하시는데요.
그렇죠. KV cache가 메모리 잡아먹는 주범인데, 구글 터보퀀트가 이걸 3비트로 압축했어요. 99.5% 정확도로요. 이게 안 퍼질 이유가 있나요? HBM 용량 요구가 반토막 납니다. Flash bullish, HBM bearish. 알고리즘은 항상 하드웨어 효율을 잡아먹어왔습니다.
잠깐만요. 99.5%도 길게 누적되면 오류가 커집니다. 그리고 그 실험은 중국 오픈소스 8B 작은 모델, 컨텍스트도 8K였어요. 실제 운영되는 GPT-4o, Claude, Gemini는 수백 B 파라미터에 컨텍스트 100K~1M입니다. 전혀 다른 영역이에요.
방향은 맞아요. KV cache 줄이는 건 노벨상감입니다. 하지만 이게 당장 HBM을 죽인다? 너무 빠른 해석이에요.
시간 문제일 뿐이라고 봅니다. 검증되면 한순간에 퍼져요.
설령 검증된다 해도 결과가 다를 수 있습니다. 그게 바로 Jevons paradox예요.
토큰당 비용이 떨어지면 사람들은 AI를 100배, 1000배 더 씁니다. CPU가 빨라지자 우리는 더 무거운 OS를 깔았고, 인터넷이 빨라지자 4K 영상을 봤죠. 효율화는 수요를 죽이는 게 아니라 수요 폭발을 부릅니다. 그리고 그 폭발한 사용량은 결국 메모리 수요예요.
이상적인 accelerator는 Flash를 compute에 직접 본딩하는 겁니다. Flash가 HBM보다 싸고, 밀도 높고, 만들기 쉽고. HBF는 HBM보다 yield 요구사항도 낮아요.
"You don't need RAM, you don't need HBM. Flash is all you need."
그 문장에 동의 못 합니다. Flash는 쓰기 latency가 마이크로초 단위, HBM은 나노초 단위입니다. 1000배 차이. Training은 weight를 끊임없이 쓰는데, Flash로 training이 가능한가요? Inference도 일부만 가능합니다.
HBF는 "긴 컨텍스트, 개인화 데이터, RAG 자료, 영상·이미지 멀티모달" 같은 장기 기억용입니다. 사람으로 치면 단기기억은 HBM, 장기기억은 HBF. HBM을 대체하는 게 아니라 HBM을 자유롭게 해주는 거예요.
5~10년 단위로 보면 compute-storage 통합 아키텍처가 답입니다. 폰 노이만 구조 자체가 한계예요.
그건 뉴로모픽 영역인데, 10~30년 미래죠. MRAM, QPU, 뉴로모픽 — 다 가능성 있는 기술이지만 내년 얘기는 아닙니다. 그동안은 HBM4, HBM4E, HBM5가 계속 나옵니다. 그리고 그 옆에 HBF가 자리잡습니다. 2027년 출시 목표예요.
마지막 질문입니다. 메모리 투자자에게 무슨 말씀을 하시겠습니까?
과도한 HBM 의존을 경계하세요. 알고리즘 효율화 + LPDDR5X 같은 저렴한 대안 + Flash 통합. 이 세 가지가 합쳐지면 HBM 수요는 약화됩니다. Intel이 LPDDR5X로 가는 게 시그널이에요.
그리고 진짜 알파는 메인 스트림이 아니라 숨겨진 supply chain에 있어요. Sumitomo Bakelite의 에폭시 수지(EME-G) 같은 3차 supplier. HBM 스택의 진짜 병목은 거기 있습니다.
저는 다르게 봅니다. 한국 메모리 업체들에 큰 옵션이 있다고 봅니다.
SK하이닉스, 삼성, 샌디스크가 모두 HBF로 움직이고 있어요. HBM과 기본 아이디어가 비슷해서 — 쌓고, 뚫고, 연결하는 — HBM 때보다 개발 속도가 빠를 수 있습니다. 그리고 진짜 병목은 메모리 + 전력 + 대역폭입니다. GPU냐 TPU냐보다 더 아래 레이어 싸움이에요.
"AI는 GPU 싸움처럼 보이지만, 진짜로는 메모리·전력·대역폭 싸움입니다."