Meta가 광고로 조 단위 파라미터 모델을 서브-1초에 돌리는 법

무슨 얘기였나: 광고 시스템의 첫 번째 관문은 Retrieval. 광고주가 등록한 광고 중 특정 유저에게 의미 있을 후보군만 걸러내는 작업이다. 유저의 과거 관심사·인터랙션이 임베딩된 ML 모델이 초대형 광고 인덱스에서 후보를 뽑아내고, 이를 다음 단계 Ranking 시스템에 넘긴다.

왜 GPU가 필요해졌나: 후보군 크기가 계속 커지면서 CPU 기반으로는 레이턴시 제약을 맞출 수 없었다. Steiner는 "검색 문제는 컴퓨트 바운드보다는 메모리 바운드"라고 표현했다. 즉, GPU가 연산을 쉬지 않도록 충분한 메모리 채널(고대역폭 메모리)을 갖춘 SKU가 필요했다. Nvidia와 협업해 검색 워크로드에 최적화된 커스텀 SKU를 설계했고, 여기에 공동으로 ML 모델을 맞췄다.

"We co-designed a machine learning model that runs specifically on that hardware skew for the purposes of best assessing which ads are the top end ads to rank."

Lattice 통합의 이점: 유저 관심사 벡터를 하나만 유지하면 되니 메모리 절감. 여러 모델에서 중복으로 계산하던 서브넷을 한 번만 계산 → 컴퓨트 효율 향상. 더 다양한 목적함수 데이터로 단일 대형 모델을 훈련하니 예측 성능도 향상.

GEM이란: Meta 광고 시스템이 보유한 모든 학습 데이터를 투입해 만든 최대 규모 파운데이션 모델. 이를 통해 "어떤 광고주 목표에도 적용 가능한 핵심 표현"을 학습하고, 이 지식을 더 작고 효율적인 서빙 모델들로 증류(distillation)해 배포한다.

왜 직접 서빙이 안 되나: 모델이 너무 크고 일부 레이어가 효율적이지 않아 레이턴시 제약(~1초)을 맞출 수 없기 때문. 증류된 모델이 성능과 속도 사이의 균형을 맞춘다.

왜 가변 컴퓨트인가: 기존 아키텍처는 모든 유저 요청에 고정 컴퓨트를 배분했는데, 레이턴시 예산 내에서 처리할 수 있는 인터랙션 히스토리 길이가 제한됐다. Adaptive Ranking은 유저별 히스토리 시퀀스 길이에 따라 컴퓨트 투입량을 대폭 달리 한다. 평균적인 유저는 적은 컴퓨트로, 파워 유저는 훨씬 많은 컴퓨트로 처리해 전체 비용 대비 정확도를 최적화한다.

실생활 유추: "매년 9월에 특정 카테고리 물건을 산다"는 패턴은 긴 히스토리를 봐야만 보인다. 1달치만 보면 절대 알 수 없다. 이 패턴을 포착하려면 긴 컨텍스트 + 그걸 처리할 컴퓨트가 동시에 필요하다.

LLM과의 비교: LLM 추론에서 "큰 컨텍스트 윈도우 = 비쌈"과 정확히 같은 트레이드오프. Meta는 이걸 GPU 기반 대규모 추론 인프라로 해결했다.

LLM vs 추천 시스템의 차이:

LLM에서 "to be or not to be ___"의 정답은 객관적으로 높은 확률의 단어 하나다. 하지만 추천 시스템에서 "Matt에게 다음에 보여줄 최고의 광고"는 Matt가 누구냐에 따라 완전히 달라진다. 예시 하나하나에 "Matt는 자전거·텃밭·유아용품을 좋아한다"는 개인화 블롭이 첨부되어야 하니, 데이터 패킷 크기가 LLM과 전혀 다른 양상이 된다.

하드웨어 시사점: 개인화 블롭이 크면 클수록 칩을 먹이기 위해 더 넓은 네트워크 파이프, 더 많은 온-칩 메모리, 더 높은 HBM 대역폭이 필요하다. 표준 GPU SKU는 LLM 훈련에 최적화되어 있어 이 비율이 맞지 않을 수 있다. 이것이 Meta가 Broadcom과 협력해 MTIA를 만든 핵심 이유다.

단, GPU도 계속 쓴다: Steiner는 "모든 워크로드를 MTIA로 대체하는 게 아니다"라고 명확히 했다. GPU가 더 적합하거나 더 비용 효율적인 워크로드에는 GPU를 계속 사용. 이종 플릿 최적화가 목표다.

"For some circumstances, a custom skew with a different compute to memory ratio makes a lot of sense. For other applications, the GPU skew is much more performant or cost effective."

배경: 이종 하드웨어 플릿에서 퍼포먼스를 극대화하려면 두 가지 선택지가 있었다. ① 추상화 레이어(번역 레이어)를 쓰면 배포는 쉽지만 하드웨어 고유 기능을 못 살려 비용 효율이 떨어진다. ② 하드웨어별 커스텀 커널을 직접 짜면 성능은 최고지만 전문 엔지니어가 시간을 갈아 넣어야 한다.

AlphaKernel의 등장: Meta가 발표한 논문(AlphaKernel 또는 AlphaEvolve로 언급)에서, LLM이 특정 바이너리·ML모델과 특정 하드웨어 페어에 맞는 최적화 커널을 자동 작성한다. 전문 엔지니어는 이제 직접 커널을 짜는 대신 LLM이 생성한 커널을 감독·검증하는 역할로 전환.

시사점: 이전에는 "이 바이너리를 다른 하드웨어로 옮기면 최적화 비용이 더 들어" 하고 포기했던 작업들을 이제 전부 시도할 수 있다. Meta 전체 레이어에서 "달러당 성능", "와트당 성능" 개선이 동시에 진행 중이다.

"The demand for custom software that is more performant than a generic abstraction layer has gone through the roof and every team at every layer is trying to do much better optimization."

투자 방향: ① ML 모델 훈련 인프라 대규모 확대 (더 많은 아키텍처 실험, 더 빠른 이터레이션) ② 대형 생성 모델 + 랭킹 모델의 추론 비용 절감 ③ 서빙 시점 컴퓨트·메모리 확대로 더 긴 시퀀스 히스토리·더 큰 컨텍스트 윈도우 처리 가능화 ④ AlphaKernel 기반 자동 최적화 전 레이어 확산.

LLM과 추천 시스템의 교차 투자: 양쪽 팀이 ML 모델 트레이너 최적화, 분산 시스템 인프라, 데이터센터 설계를 공동으로 개선하고 있어, 투자 효과가 양쪽 모두에게 돌아간다고 강조했다.

광고 비즈니스의 구조적 강점: "얼마를 투자할지, 얼마나 더 나은 결과가 광고주 수익에 연결되는지"가 명확한 광고 사업 특성상, 인프라 투자 ROI 계산이 다른 AI 플레이어보다 명확하다는 점을 Steiner는 은근히 강조했다.