Executive Summary

딥리서치 에이전트에게 긴 답을 시키면 문장마다 각주가 달려 나온다. 겉보기에는 든든하다. 링크를 눌러 보면 페이지가 열리고, 제목만 봐도 주제와 관련 있어 보인다. 그런데 링크가 살아 있다는 것과 그 문서가 실제로 앞 문장을 뒷받침한다는 것은 전혀 다른 이야기다.

선행 연구 한 편이 이 간극을 정량으로 붙잡았다. 딥리서치 에이전트의 인용을 파서로 뽑아 세 가지로 나눠 잰 연구인데, 링크 유효성은 94%를 넘고 주제 관련성도 80%를 넘었지만 정작 인용이 주장을 사실로 뒷받침하는 비율은 39%에서 77%에 그쳤다. 검색 도구를 2회에서 150회로 늘려도 정확도는 평균 42% 떨어졌다. 더 많이 찾아본다고 각주가 더 튼튼해지지는 않았다.

여기서 자연스러운 질문이 따라온다. 각주가 이렇게 못 미덥다면, 누가 이 각주를 다시 검증할 것인가. 그리고 그 검증기를 얼마나 싸게 세울 수 있는가. 앞의 연구가 인용 자체의 신뢰도를 문제 삼았다면, 이번에 나온 논문은 바로 그 검증기 쪽을 겨눈다.

논문은 기성 LLM 심판 8개를 한자리에 세웠다. Claude(Haiku·Sonnet·Opus 4.6), Gemini(3.1 Flash Lite·Pro), GPT(GPT-5-mini·GPT-5.4-mini·GPT-OSS-120B)로 세 계열을 고루 담았다. 채점 대상은 여러 도메인에 걸쳐 사실 오류와 오도성 인용을 일부러 심어 둔 적대적 벤치마크다. 인간이 검토한 골드 라벨 1,248건, 심판끼리 엇갈려 사람이 중재한 하드 케이스 378건이 기준선이 됐다.

평가 축은 둘이다. 하나는 출처 관련성, 인용이 주제와 관련 있는지를 가린다. 다른 하나는 사실 지지, 인용된 내용이 주장을 실제로 뒷받침하는지를 본다. 관련성은 상대적으로 쉬운 판단이고, 사실 지지는 훨씬 까다로운 판단이다.

출처 관련성에서 1위는 저비용 모델이었다. GPT-5-mini가 통과 클래스 F1 0.908, 일치도 κ 0.636으로 8개 심판 가운데 가장 높았다. Claude Opus 4.6이나 Gemini 3.1 Pro 같은 프런티어급 모델이 그 아래에 놓였다. 관련성을 가리는 일에서는 가장 비싼 모델이 곧 가장 나은 심판이라는 가정이 성립하지 않았다.

더 까다로운 사실 지지 쪽에서는 승자가 따로 없었다. 여덟 모델의 신뢰구간이 모두 겹쳐, 통계적으로 서로 구별되지 않았다. 수치만 보면 Claude Opus 4.6이 F1 0.750으로 근소하게 앞섰지만 의미 있는 우위는 아니었다. 어느 축에서도 "더 비싼 모델이 낫다"는 가설이 데이터로 받쳐지지 않은 셈이다.

문제는 F1 하나만 보고 심판을 고를 때 생긴다. F1은 위양성과 위음성을 뭉뚱그린 스칼라 점수라, 심판이 어느 쪽으로 틀리는지는 그 안에 묻힌다. 논문은 바로 이 지점을 파고든다.

8개 심판 전부가 인간 골드 통과율 79.3%보다 인용을 박하게 판정했다. 방향은 모두 같았다. 근거가 되는 인용을 실제보다 덜 인정하는 쪽, 즉 보수적으로 기울었다. 그런데 그 박한 정도가 모델마다 42.9%에서 72.0%까지 벌어졌다. 방향은 하나인데 크기가 거의 30%포인트 차이로 흩어진 것이다.

더 미묘한 대목은 F1이 같은 두 심판이라도 위양성률과 위음성률이 판이하게 다를 수 있다는 점이다. 한 심판은 근거 없는 인용을 통과시키는 쪽으로 잘 틀리고, 다른 심판은 멀쩡한 인용을 탈락시키는 쪽으로 잘 틀린다. 두 오류가 상쇄되면 F1 점수는 비슷하게 나온다. 그래서 F1만 들여다보면 두 심판이 똑같아 보인다. 그러나 이 둘을 하류 시스템에 붙이면 완전히 다른 결과를 만든다.

왜 편향의 방향까지 따져야 하는지는, 이 심판이 어디에 쓰이는지를 보면 분명해진다. 요즘 강화학습은 채점 항목마다 LLM 심판을 세워 점수를 매기고, 학습이 돌아가는 동안 그 심판이 곧 보상 모델이 된다. 심판이 통과라고 하면 보상이 오르고, 탈락이라고 하면 보상이 내린다.

여기서 위음성으로 잘 틀리는 심판을 보상 모델로 앉힌다고 해 보자. 이 심판은 실제로 근거가 있는 주장까지 자꾸 탈락시킨다. 보상 신호가 그만큼 희소해지고, 하류 모델은 인용을 붙일 때마다 벌을 받는 것처럼 학습한다. 결과는 두 방향으로 나타난다. 지나치게 몸을 사려 단정을 피하거나, 아예 인용을 덜 다는 쪽으로 기운다. 심판이 가진 한쪽 편향이 학습 루프를 거치며 모델의 습관으로 굳는다.

논문의 결론은 그래서 단호하다. 인용 채점 항목을 보상 신호로 쓰려면 보정이 먼저다. 심판이 어느 방향으로 얼마나 기우는지를 재서 바로잡지 않으면, F1이 아무리 높아도 그 편향이 그대로 하류로 흘러 들어간다. 그리고 이 보정에는 가장 비싼 모델이 필요하지 않다는 것이 실험이 함께 보여 준 사실이다.

지표를 보상으로 삼을 때 왜곡이 생긴다는 구도는 낯설지 않다. 페블러스도 앞서 프록시 지표를 보상으로 쓸 때의 왜곡과 검증 보상형 강화학습이 학습하는 데이터의 추적 문제를 다뤘다. 이번 논문은 그 왜곡의 뿌리를 한 칸 더 앞으로 옮긴다. 보상을 만드는 심판 자체가 이미 기울어 있다면, 그 위에서 최적화하는 모든 것이 같이 기운다.

이 논문을 데이터 신뢰의 문제로 놓고 보면 결론은 하나로 모인다. AI가 데이터를 검증하는 시대에는, 검증기 자체가 새로운 신뢰의 급소가 된다. 각주가 맞는지, 라벨이 정확한지, 출력이 규칙을 지켰는지를 판정하는 자리에 점점 더 많은 LLM 심판이 들어선다. 그 심판이 어느 방향으로 기울어 있는지 먼저 재지 않으면, 파이프라인 전체가 소리 없이 한쪽으로 기운다.

실무로 내리면 두 가지가 남는다. 하나, 검증을 값싸게 자동화하는 것은 이제 현실적인 선택지다. 관련성 판정에서 저비용 모델이 프런티어급과 대등하다는 것을 실측이 보여 준다. 둘, 그러나 F1 같은 종합 점수 하나로 심판을 고르면 안 된다. 그 심판이 위양성으로 기우는지 위음성으로 기우는지, 골드 대비 얼마나 박하거나 후한지를 먼저 캘리브레이션한 뒤에 보상이든 게이트든 붙여야 한다.

페블러스가 말하는 AI-Ready Data는 데이터가 정제되고 라벨링된 상태에서 한 걸음 더 나아간다. 그 데이터를 검증하는 도구의 편향까지 측정되고 보정된 상태여야, 그 위에 쌓는 신뢰가 흔들리지 않는다. 검증기를 믿기 전에 검증기를 먼저 재는 것, 그것이 '누가 심판을 심판하는가'라는 오래된 물음의 데이터 품질 버전이다. 우리 파이프라인 안의 심판은 지금 어느 쪽으로 기울어 있는가.

학술

• 1.Leung, E., Lumer, E., Feld, C., Huber, A., Subbiah, V. K., & Paul, K. (2026). "Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution." arXiv:2607.08700.
• 2."Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents." (2026). arXiv:2605.06635.

페블러스

• 3.페블러스. "AI는 왜 시험은 잘 보는데 일은 못 할까." blog.pebblous.ai.
• 4.페블러스. "검증 보상형 강화학습이 학습한 데이터는, 아무도 원자 단위로 추적하지 못한다." blog.pebblous.ai.