Executive Summary

주요 수치

네 수치는 분모가 서로 다릅니다. 앞의 둘은 같은 현상을 좁은 잣대와 넓은 잣대로 각각 잰 값이고, 뒤의 둘은 그 현상이 어디서 오는지와 그 반대편에서 무슨 일이 벌어지는지를 가리킵니다.

출처: arXiv:2608.14375 §5·Table 9, 아르곤 국립연구소 (2026-08-14)

선별 규칙이 실제로 알고 싶어 하는 것은 답의 정오가 아닙니다. 그 메시지를 통합 과정에 넣었을 때 이후 추론이 정답에 가까워지느냐입니다. 논문은 이 둘을 갈라놓고 두 번째를 궤적 가치(trajectory value)라고 부릅니다. 실무의 필터는 첫 번째만 보고 두 번째를 대신 짐작하는데, 이 논문은 그 짐작이 얼마나 자주 어긋나는지를 잽니다.

틀린 것에서 배울 수 있다는 관찰 자체는 새롭지 않습니다. 실패한 궤적이 학습 신호가 된다는 연구도, 틀린 예시를 섞은 문맥 학습이 오히려 성능을 올렸다는 보고도 이미 있습니다. 다만 논문이 참조하는 이 계열의 결과는 대체로 총량입니다. 틀린 것을 섞었더니 평균이 어떻게 되더라는 이야기지, 어느 메시지가 어떤 맥락에서 도왔는지는 말해 주지 않습니다. 궤적 가치는 같은 질문을 메시지 하나 단위로 내립니다.

어긋남을 재려면 메시지가 흔들리지 않아야 합니다. 토론이나 수정, 승자 선택 방식의 협업 구조는 최종 정확도를 올릴 수는 있어도 측정 대상인 메시지 자체를 고쳐 쓰거나 없애 버립니다. 연구진이 설계한 DHD(Diverse Hypothesis Deliberation)는 정확도를 극대화하는 장치가 아니라 측정용 프로토콜입니다. 문제마다 리크루터가 서로 보완되는 다섯 개 역할을 배정하고, 다섯 하이포시사이저가 동료의 메시지도 평가자 피드백도 정답도 보지 못한 채 각자 추론과 제안 답이 담긴 메시지를 하나씩 만듭니다. 이 다섯 개 풀은 한 번 만들어진 뒤 다시 생성되지 않습니다.

측정은 통합기를 두 번 돌리는 것으로 이뤄집니다. 한 번은 풀 전체를 보여 주고, 한 번은 대상 메시지 하나만 가립니다. 문제와 모델, 프롬프트 템플릿, 남은 메시지의 순서, 채점 절차는 모두 고정입니다. 그 메시지를 넣은 쪽만 정답이면 도움(helpful), 뺀 쪽만 정답이면 해(harmful), 양쪽이 같으면 중립입니다. 통합기는 투표하거나 가장 흔한 답을 베끼라는 지시를 받지 않고, 평가자는 제출된 답만 보고 추론 과정은 보지 못합니다.

도식에 들어간 사례는 논문이 실제 트레이스에서 뽑은 것입니다. Omni-MATH-2의 한 문제는 1부터 L까지 n을 2로 나눈 몫을 모두 더한 값이 완전제곱수가 되는 L을 구하라고 묻습니다. 정답은 L이 1이거나 짝수인 경우입니다. 다섯 번째 메시지는 L을 짝수와 홀수로 나눠 짝수 쪽은 언제나 제곱수이고 홀수 쪽은 연속한 두 정수의 곱이라 제곱수가 될 수 없음을 정확히 짚었습니다. 그런데 경계값 L=1을 빠뜨린 채 모든 짝수라고 답을 제출했습니다. 이 메시지를 넣고 통합하면 정답이 나오고, 빼면 짝수만 남습니다. 답은 틀렸지만 그 안의 홀짝 분해가 나머지 풀에서 L=1을 되살릴 자리를 만들어 준 셈입니다.

열에 넷이라는 값은 한 벤치마크의 성질이 아닙니다. 실험은 수학과 과학 다섯 벤치마크에 걸쳐 있습니다. 경시 수학 문제 4,181개의 Omni-MATH-2, 인도 공대 입시 문제 515개의 JEEBench, 대학 과학 문제 580개의 SciBench, 텍스트만 남긴 LAB-Bench 741개, 재료과학 문제 649개의 MaScQA입니다. 모델은 가중치가 공개된 gpt-oss-120b와 gemma-4-31B-it 두 계열을 썼습니다. 헤드라인 분석에 들어간 유효 메시지는 앞 모델에서 91,740건, 뒤 모델에서 83,020건입니다.

결과부터 말하면, 제안 답이 틀린 메시지가 최종 정답 여부를 실제로 뒤집은 사건 중 41.9%(gpt-oss-120b)와 45.3%(gemma-4-31B-it)가 도움 쪽이었습니다. 문제 단위로 다시 표본을 뽑아 계산한 95% 구간은 각각 39.5~44.3%와 42.6~48.1%입니다. 벤치마크별로는 편차가 있어서 Omni-MATH-2가 44.1%로 가장 높고 MaScQA가 26.9%로 가장 낮았습니다. 오답이라는 사실은 해가 될 확률을 높이기는 하지만, 그 메시지가 도움이 될지 해가 될지를 결정하지는 못합니다.

같은 입력을 다시 넣어도 결과가 달라지는 성질이 이 수치를 만들었을 수 있습니다. 연구진은 모델당 1,000개 문제로 같은 비교를 반복해 이 잡음의 크기부터 쟀습니다. 완전히 동일한 입력의 두 호출이 최종 정답 여부에서 엇갈린 비율은 gpt-oss-120b가 7.3%, gemma-4-31B-it가 2.1%였습니다. 그 다음 매칭된 재생 블록 안에서 전체 풀 라벨과 하나를 뺀 라벨을 서로 바꿔 5,000개의 귀무 데이터셋을 만들었는데, 관측된 효과 수에 도달한 데이터셋이 하나도 없었습니다(p=0.0002).

채점하는 쪽도 따로 감사했습니다. 저장된 제출 답 16,724건을 서로 다른 평가 모델 셋으로 다시 채점했을 때 개별 답에 대한 판정은 94.2~96.6% 일치했습니다. 제안 답과 전체 풀 결과, 하나를 뺀 결과까지 세 판정이 동시에 맞아야 인정하는 엄격한 기준으로 좁히면 일치율은 gpt-oss-120b에서 71.6~78.6%, gemma-4-31B-it에서 82.4~88.7%로 내려갑니다. 복합 라벨이 평가 모델에 얼마간 흔들린다는 뜻입니다. 그래도 어느 평가 모델을 쓰든 틀렸는데 도움이 된 칸과 맞았는데 해가 된 칸은 모두 다시 나타났습니다.

수치를 부풀리지 않으려면 반대편 숫자도 함께 봐야 합니다. 분모를 뒤집힌 사건이 아니라 오답 메시지 전체로 놓으면 도움이 된 뒤집기는 6.3%와 3.2%에 그칩니다. 다중비교를 보정하는 벤저미니-호크버그 절차를 문제 단위로 적용했을 때 살아남은 반복 가능한 사례는 gemma-4-31B-it에서 11개 문제뿐이었고, 다섯 벤치마크 전부에 흩어져 있었습니다. gpt-oss-120b 쪽은 하나도 남지 않았습니다. 오답 로그가 언제나 보물이라는 이야기가 아니라, 오답이라는 라벨만으로는 무엇을 버릴지 정할 수 없다는 이야기입니다.

반대 방향의 사례도 같은 실험에서 나옵니다. MaScQA의 한 문제는 반복단위 질량 68인 천연고무 50그램에 원자량 32인 황 10그램을 1대 1 비율로 넣었을 때 가교될 수 있는 자리의 최대 비율을 묻습니다. 정답은 42~43%입니다. 네 번째 메시지는 두 질량을 몰수로 바꿔 나누는 올바른 계산으로 약 43%를 제안했습니다. 그러면서 황 원자 하나가 두 자리를 잇는지 다시 따져 보라는 단서를 덧붙였고, 그 단서가 풀 안의 다른 메시지가 내놓은 85%를 떠받쳤습니다. 이 메시지가 있을 때 통합기의 최종 답은 85%, 없을 때는 42.5%였습니다.

이런 일이 평균에는 잘 드러나지 않습니다. 메시지를 하나도 보지 않고 혼자 푸는 조건에서 다섯 개를 모두 보는 조건으로 옮겼을 때 벤치마크 평균 정답률의 변화는 gpt-oss-120b가 1.6포인트, gemma-4-31B-it가 0.3포인트에 그쳤고 벤치마크별 방향도 엇갈렸습니다. 도움과 해가 섞인 채 상쇄되기 때문입니다. 반면 검증된 gpt-oss-120b 행렬에서 다섯 메시지 가운데 정답을 제안한 것이 최소 하나라도 있는 문제는 벤치마크에 따라 76.0~95.4%였는데, 이는 실제 최종 정답률보다 4.2~36.2포인트 높은 값입니다. 정답 후보가 풀 안에 있었다는 사실만으로 쓸 만한 추론이 함께 있었다고 말할 수는 없습니다. 그래도 최종 점수만 봐서는 좋은 후보를 못 만든 것인지 있는 후보를 못 쓴 것인지 구분되지 않는다는 점은 분명합니다.

정보를 더 주는 것이 언제나 낫지도 않았습니다. 같은 통합기가 메시지 하나만 받았을 때는 맞히고 다섯 개를 다 받았을 때는 틀린 문제가 gpt-oss-120b에서 9.8%, gemma-4-31B-it에서 6.9%였습니다. 반대 방향, 그러니까 하나로는 틀리고 다섯으로는 맞힌 경우는 0.5%와 0.2%에 그칩니다. 정답으로 가는 길이 풀 안에 있었는데도 통합 과정에서 묻힌 사례가 그만큼 있다는 뜻입니다.

이것이 다수결의 문제가 아니라는 점도 확인됐습니다. gemma-4-31B-it의 완전한 풀 가운데 다수 의견이 정답인 경우는 36.9%뿐인데 전체 정답률은 78.7%였습니다. 통합기는 표를 세는 대신 메시지들을 검증하고 합성하는 방식으로 답을 만들고 있고, 바로 그 과정에서 어떤 메시지는 살아나고 어떤 메시지는 다른 메시지를 밀어냅니다. 그래서 한 메시지의 값은 그 메시지 안에만 있지 않고, 그것이 놓인 풀과 통합기 안에서만 정의됩니다.

오답 메시지가 도움이 됐다면 그 도움은 어디서 왔을까요. 우연히 방향만 맞았던 답 때문일 수도 있고, 그 앞에 붙은 추론 때문일 수도 있습니다. 연구진은 메시지의 위치와 나머지 필드를 그대로 둔 채 추론과 제안 답 중 한쪽만 가리는 방식으로 이 질문을 나눠 봤습니다. 대상은 결과가 관측되기 전에 미리 정한 기준으로 고른 gemma-4-31B-it 메시지 22건이고, 그중 도움이 확인된 앵커 10건의 통합 성공률이 아래와 같이 갈렸습니다.

틀린 답을 지웠을 때 성공률은 18%포인트 내려갔지만, 추론을 지웠을 때는 38%포인트 내려갔습니다. 추론을 지운 44%는 아예 무의미한 문구로 바꿔치기한 46%와 사실상 같습니다. 답만 남은 메시지는 자리만 차지하는 문구와 다를 바가 없었다는 뜻입니다. 논문의 표현은 조심스러워서, 이 진단이 추론 쪽에 더 부합한다고만 말하고 완전한 메시지가 왜 가장 강했는지는 열린 문제로 남겨 둡니다. 표본이 열 건인 소규모 진단이고 빈도 추정이 아니라는 단서도 함께 붙어 있습니다.

연구진은 이 라벨이 실제로 쓸모가 있는지도 확인했습니다. 같은 문제를 여러 번 반복한 블록 넷에서 전부 남길지 하나를 뺄지를 고르게 하고, 선택에 쓰지 않은 다섯 번째 블록으로 그 선택을 채점했습니다. 정답률은 gpt-oss-120b에서 1.68포인트, gemma-4-31B-it에서 2.61포인트 올랐습니다. 제안 답의 정답 여부만 보고 고른 비교군은 0.94포인트와 1.00포인트에 그쳤습니다. 다만 이 결과는 같은 문제를 반복하는 조건에서 잰 것이라, 처음 보는 문제에 그대로 적용되는 정책은 아닙니다.

현장에서 흔히 쓰는 선별 규칙들이 어디까지 가는지도 같은 기록 위에서 견줬습니다. 무작위로 하나를 고를 때와 답의 합의를 따를 때, 스스로 밝힌 확신도가 가장 높은 메시지를 고를 때의 정답률은 서로 크게 다르지 않았고 gemma-4-31B-it에서는 합의도 확신도도 무작위를 넘어서지 못했습니다. 정답 여부를 미리 아는 오라클로 고르면 확실히 나아져서, gpt-oss-120b에서 무작위보다 4.63포인트 올랐습니다. 그런데도 그 오라클은 기록에 남은 최선의 단일 메시지 경로보다 7.1포인트 낮았고 gemma-4-31B-it에서도 5.5포인트 낮았습니다. 최선 경로는 사후에 가장 좋았던 결과를 골라낸 천장이라 그대로 배치할 수 있는 정책이 아닙니다. 다만 그 간격은 정답 여부라는 잣대가 성공한 경로를 전부 짚어 내지는 못한다는 것을 보여 줍니다.

여기서 실무로 넘어오는 지점이 하나 있습니다. 도움이 됐는가라는 라벨은 로그를 아무리 꼼꼼히 다시 읽어도 나오지 않습니다. 그 메시지를 넣은 판과 뺀 판을 같은 모델, 같은 프롬프트, 같은 순서로 다시 돌려 결과를 비교해야만 생깁니다. 논문이 다섯 개 역할과 캐시된 풀이라는 번거로운 설계를 택한 이유도 그것입니다. 값을 재려면 그 로그를 정확히 그 조건으로 재현할 수 있어야 합니다.

그래서 사내 에이전트 로그를 학습 자산으로 만들려는 팀에게 첫 질문은 무엇을 버릴까가 아니라 다시 돌릴 수 있는가가 됩니다. 어떤 모델과 프롬프트, 어떤 순서로 그 메시지가 놓였는지가 로그에 남아 있는지, 그 조건으로 통합 단계만 따로 다시 실행할 수 있는지를 확인하는 것이 순서입니다. 재현이 되지 않으면 남은 선택지는 정답 여부로 거르는 것뿐이고, 이 논문이 잰 몫은 그때 함께 사라집니다.

이 실험이 모든 환경을 대변하지는 않습니다. 저자들은 결과가 대화형 토론이나 서로 다른 모델이 섞인 팀, 프런티어 모델, 정답이 하나로 고정되지 않는 과제로 그대로 옮겨 가지 않을 수 있다고 못 박습니다. 한 번의 실행 안에서 다섯 역할을 모두 한 모델 계열이 맡았다는 조건도 붙습니다. 그러니 옮겨 갈 수 있는 것은 41.9%라는 수치가 아니라 질문 쪽입니다. 우리 로그에서는 어느 메시지가 결과를 바꿨는지, 그것을 확인할 수단이 우리에게 있는지입니다.

같은 축의 이전 글로는 평가 라벨을 누가 붙였는지가 점수를 바꾼 사례를 다룬 AI가 쓴 논문에 원저자는 6점 중 2점을 줬다, 여러 에이전트가 한 자원 위에서 부딪히는 문제를 본 에이전트 30기 중 18기가 같은 이름으로 브랜치를 만들었다, 재현할 수 없는 도구가 과학에 남기는 공백을 정리한 재현할 수 없는 도구로 하는 과학이 있습니다. 논문 원문과 재현성 아카이브는 arXiv:2608.14375에서 볼 수 있습니다.

• 1.Yang, C.-H. et al. (2026). "Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages." arXiv:2608.14375.