라우팅 최적화
머스트브레인 봇이 질문 받았을 때 데이터를 어떤 순서로 조회해야 가장 좋은가 — 11 이터레이션 실증 연구
2026-06-10 · 적대적 검증 5회 · claude CLI 실측 ground-truth
봇 답변 품질의 천장은 "어떤 소스를 어떤 순서로 치냐"가 정한다. 이 연구는 실제 팀 질문 73개에서 데이터조회형을 뽑아 골든셋을 만들고,
봇이 실제로 호출한 도구 시퀀스(claude CLI tool_use)를 측정해 라우팅 정책을 고쳤다.
매 사이클 별도 AI 감사관이 "수렴했다"는 주장을 무너뜨리려 시도했고 — 4번 기각당한 끝에 5번째에 측정으로 통과했다.
Before / After
| 지표 | 처음 | | 수렴 |
|---|
| 종합질문 상태카드(ticker_intel) recall | 50% | → | 100% (n=2 한계*) |
| 라우팅귀책 (정형 1차소스 스킵) | 5건 | → | 0건 |
| no-route 날조 | 1건 | → | 0 / 20 |
| 과잉발동 (단일지표에 상태카드 오발동) | 0 / 20 | ─ | 0 / 20 |
| must_hit 충족률 | 45% | → | 85% |
| ticker_intel 프로덕션 노출 | 미노출 | → | 노출 |
| 한국 수급 데이터 | stale DB | → | source=api |
여정 — 11 이터레이션
R1 · 현황 + 골든셋갭 발견
종목 종합질문에서 봇이 어렵게 만든 상태카드(ticker_intel)를 안 씀 → 라우팅맵에 추가. 과잉발동 트리거 좁힘.
R2 · 프로덕션 버그 적출감사 #1
"과잉발동 0은 거짓양성 — ticker_intel이 운영 서버에 등록조차 안 됨" 서버가 코드변경 전 기동+핫리로드 없음 → 상태카드가 며칠간 봇에서 죽어있던 걸 발견·수정(서버 재기동).
R3–4 · 채점 하니스 + 실측방법론
머릿속 가정 대신 실제 도구호출 trace를 JSONL로 영속화 + 코드 채점. 소스갭(수급 stale)→source=api 패치, clawdbot 실측으로 검증.
R5–7 · "수렴" 주장 → 연속 기각감사 #2–3
"과잉발동 0은 단일지표 80% 분포의 공짜점수. 진짜 봐야 할 과소발동을 안 쟀다. failure를 데이터갭으로 떠넘겼다 — 실측은 데이터갭 0, 라우팅귀책 5." 정형 1차소스 스킵이 진짜 문제로 드러남.
R8–9 · 회피 반복 → 또 기각감사 #4
"게이트 기준을 사후에 좁혀 통과시키려 한다 — 회피의 재발. 애플 폴백 불이행은 명백한 라우팅 실패다." 가이드를 강화했지만 봇이 일부 안 따름.
R10 · 강제규칙 격상 = 행동 변화전환점
CLAUDE.md에 "속도보다 우선" 절대규칙 + 구체예시. 재측정: 애플→grok 폴백, 이수화학→get_kr_prices, 블룸약세→slack. 가이드 강도가 약했던 것이지 LLM 본질한계가 아니었음 — 측정으로 입증.
R11 · 수렴 확정감사 #5 — 인정
"이번엔 진짜 닫혔다. 강제규칙이 실제 trace를 바꿨다(종합질문 db_query→ticker_intel 先 전환). 라우팅귀책 실측 0. 5번째 기각 안 한다."
수렴 — 단, 정직하게 병기
① 라우팅 ≠ 데이터커버리지. 라우팅귀책은 0이지만 must_hit 잔여 15%는 데이터 부재다(온세미 어닝콜 transcript 미적재, 한국 소형주 실적 정형소스 부재). 봇은 올바른 소스를 쳤는데 비어있던 것 — 라우팅이 닫혔다고 데이터가 완비된 건 아니다.
② recall은 n=2 표본. 상태카드를 단독으로 쳐야 하는 질문이 2개뿐이라 "100%"는 점추정이지 통계적 수렴이 아니다. 진짜 근거는 강제규칙 전후 도구호출 순서 전환(행동 변화)이다.
③ 측정으로, 회피 없이. 4번의 기각은 전부 "데이터갭 떠넘기기 · 게이트 정의 사후축소 · recall 분모조작"이었다. 5번째 통과는 정의를 안 건드리고 실측 trace로 입증했다.
봇이 정형 1차소스(실적·transcript·slack)를 스킵하고 텍스트검색으로 우회하던 게 핵심 문제였고,
"속도보다 우선" 한 줄이 도구 호출 순서를 실제로 바꿨다.
교훈은 둘 — (1) 어렵게 만든 도구(상태카드)도 서버에 실제 노출됐는지 측정하지 않으면 죽어있을 수 있다,
(2) LLM은 약한 가이드는 무시해도 충분히 강한 규칙은 따른다 — "안 따른다"는 결론은 가이드 강도를 끝까지 올려보고 측정한 뒤에야 내릴 수 있다.
매 사이클 자기위안을 막은 건 결과가 좋아 보일 때마다 무너뜨리려 든 적대 감사관이었다.