Executive Summary

이 논문이 만든 것은 실패 사례집이 아니다. 성공한 토론과 실패한 토론을 같은 자로 잰 대조표다. 그래서 "처음부터 틀려서 틀린 것이 아니다"라는 말이 여기서는 비유가 아니라 표의 두 줄이 된다.

논문 서론이 드는 예들을 보면 이 질문이 어디서 나오는지 짐작이 간다. 여러 모형에게 서로의 근거를 비판하고 고치게 하거나, 성격이 다른 모형을 붙여 이견을 좁히거나, 에이전트를 여럿 세워 표를 모으는 방식이 이미 쓰이고 있다. 생산 환경에도 감독 에이전트가 전문 에이전트들을 조율하는 구조가 상품으로 올라와 있다고 저자들은 아마존 베드록을 예로 들어 적는다. 저자들이 짚는 곳은 이런 구조에서 실패가 에이전트 사이에서 만들어진다는 점이다. 맞는 소수 의견이 버려지고, 약한 주장이 반복을 거쳐 우세해지고, 쓸모 있는 교정이 결론으로 굳기 전에 사라진다. 최종 정답률은 시스템이 틀렸다는 사실만 알려 주고 그 가운데 무엇이 일어났는지는 말해 주지 않는다.

논문은 2026년 10월 23일 arXiv에 올라왔고 버지니아공대 연구진 다섯 명이 썼다. 공개 데이터셋 여덟 개 위에서 토론을 7,300회 돌렸고 그 가운데 3,543회가 오답으로 끝났다. 분석 대상은 그 오답 중 토론이 두 번 이상 오간 3,211건이다. 오답 전부가 아니라 오답의 90.6%이고, 한 번에 합의하고 끝나 토론이랄 것이 없던 대화는 빠져 있다. 과제는 금융 질의응답과 다단계 질의응답, 의료 질의응답, 윤리 판단, 다지선다 추론, 코드 생성에 걸쳐 있다. 건수가 가장 많은 데이터셋은 다단계 질의응답인 MuSiQue(23.5%)와 코드 생성인 LiveCodeBench(19.1%)이고, 의료 질의응답인 MedQA는 8.8%로 작은 축이다.

데이터셋 개수는 논문 안에서 표기가 갈린다. 초록은 과제 유형을 여섯으로 적고 서론과 비교표는 열 도메인이라 적는데, 데이터셋별 건수를 더해 3,211이 되는 쪽은 여덟 개다. 이 글은 건수가 맞아떨어지는 여덟 개 쪽으로 적는다.

라벨은 한 대화에 여러 개가 붙는다(다중 라벨). 대분류 여섯 개의 비율을 다 더하면 100%를 넘는 이유가 그것이다. 실패 대화 3,211건 가운데 복구·교정 실패 딱지가 붙은 것이 94.9%, 합의·결정 실패가 83.4%다. 이 수는 "실패 원인의 94.9%"라는 뜻이 아니라 "실패 대화 열에 아홉에 그 딱지가 함께 붙었다"는 뜻이다. 논문도 부록에 "비율의 합은 100%가 되지 않는다"고 따로 적어 두었다.

나머지는 네 범주다. 조율이 어긋난 경우가 53.0%, 도구와 증거를 잘못 쓴 경우가 44.5%, 추론과 문제 이해 쪽이 43.3%다. 여섯 가운데 가장 작은 범주는 말을 주고받는 방식 자체에 붙은 딱지로 14.2%다. 여기서 용어를 한 번 갈라 두어야 한다. 논문 제목이 가리키는 "대화 과정에서 생긴 실패"는 토론하다 생긴 실패 전체를 부르는 이름이고, 방금의 14.2%는 그 안에 든 한 범주다. 둘을 같은 말로 읽으면 "대화가 문제인데 대화 범주는 여섯 중 꼴찌"라는 이상한 문장이 나온다. 세부 유형으로 한 칸 더 내려가면 가장 자주 붙은 두 가지가 바로잡아 줘도 틀린 틀을 계속 쓰는 것과 성급한 합의인데, 이 글의 뒤 절들이 거듭 돌아오게 되는 두 이름이 여기서 이미 1위와 2위로 나온다.

여기서 글의 토대가 되는 비교가 나온다. 연구진은 같은 분류 체계로 성공한 토론에도 라벨을 달아, 대분류별로 성공 쪽과 실패 쪽의 발생률을 나란히 놓았다. 아래 그림이 그 일곱 줄이다. 위의 두 줄만 색이 다른데, 성공과 실패의 값이 같은 줄이기 때문이다.

추론 오류는 성공한 토론과 실패한 토론에서 둘 다 0.35다. 도구와 증거를 잘못 쓴 오류도 0.39 대 0.38로 사실상 같다. 벌어지는 줄은 전부 그 뒤에 있다. 합의·결정 실패가 1.8배, 복구·교정 실패가 2.6배, 조율 실패가 3.6배, 성급한 합의가 3.5배, 그리고 바로잡아 줘도 틀린 틀을 계속 쓰는 쪽이 7.5배다. 틀린 생각이 떠오르는 빈도는 두 집단이 같고, 그 생각을 되돌리는 데서 갈린다.

같은 결론이 다른 각도에서 한 번 더 나온다. 연구진은 정답으로 끝난 토론 500건을 따로 뽑아, 결과를 가린 채 같은 기준으로 라벨을 달았다. 정답이라는 사실을 모르는 상태에서 읽힌 그 대화들의 91.2%에 오류가 최소 하나 있었고, 건당 평균 2.4개였다. 성공한 토론도 오류를 안은 채 정답에 닿는다는 뜻이다.

이 대조군에는 범위가 있다. 500건은 코드 생성을 뺀 여섯 데이터셋에서 83~84건씩 뽑았고, 맞대어 본 실패 쪽 2,277건도 같은 데이터셋에서 가져와 구성 비율을 맞췄다. 그러니 "성공한 토론의 91.2%"라는 수는 코드 생성 과제를 뺀 자리의 수다. 아래에 나오는 다른 값들은 대개 3,211건 전체를 분모로 쓴다. 분모가 바뀌는 자리마다 따로 밝힌다.

이 글의 수치는 전부 라벨 위에 서 있다. 그 라벨은 모형이 달았다. 대화 기록을 요약한 카드를 만들고, 후보 딱지를 뽑고, 분류 체계에 맞춰 넣고, 대조군 500건에 라벨을 다는 일까지 전부 모형이 했다. 사람이 맡은 쪽은 검증이다. 실패 대화 200건을 세 사람이 각자 읽되, 먼저 분류 체계를 보지 않은 채 무엇이 잘못됐는지를 자기 말로 적게 했다. 그렇게 나온 지적의 93.4%가 세부 라벨에, 98.1%가 대분류에 들어맞았다. 사람이 아무 틀 없이 알아채는 실패를 이 분류 체계가 거의 덮는다는 뜻이다.

분류 체계를 보여 준 뒤 라벨을 달게 했을 때, 세 사람이 고른 라벨이 겹친 정도(자카드 계수)는 대분류에서 0.82, 세부에서 0.73이었다. 자동 분류를 사람 판정에 맞대어 본 점수(마이크로 F1)는 0.91과 0.84다. 두 수는 재는 방식이 달라 직접 견줄 수 없고, 각각 다른 것을 말한다. 앞의 것은 사람끼리도 세부로 내려갈수록 덜 일치한다는 것이고, 뒤의 것은 자동 라벨이 사람의 판정을 가깝게 따라갔다는 것이다. 논문은 같은 자리에 반대쪽 실험도 싣는다. 대화 기록을 통째로 모형에 주고 분류하라고 시키면 신뢰도가 낮다. 카드를 만들고 딱지를 뽑고 매핑하는 식으로 공정을 쪼갠 이유가 거기 있다.

이 논문이 선행 연구와 갈라서는 자리는 저자들이 직접 적어 두었다. 에이전트 실패를 분류한 선행 자원 열두 건을 한 표에 늘어놓고 네 가지 축으로 비교하는데, 축은 이렇다. 에이전트 사이의 대화 실패를 1차 분석 대상으로 삼았는가, 분류를 자동으로 만들었는가, 한 기록에 여러 오류를 붙일 수 있는가, 그리고 답이 라운드를 건너며 어떻게 움직였는지를 따라갔는가. 마지막 축에서 표시를 받은 선행 연구는 그 표에 하나도 없고, 저자들은 자기 칸에만 표시를 넣었다. 앞선 작업들은 대체로 어느 에이전트의 어느 단계가 틀렸는지를 끝난 뒤에 귀속하는 쪽이었다는 것이 저자들의 정리다. 이 글이 라운드 번호를 끝까지 붙들고 가는 이유도 거기 있다. 다만 그 비교표는 저자들이 스스로 그린 것이고, 열두 건을 따로 열어 확인한 것은 이 글이 하지 않았다.

오류가 같은 비율로 떠오른다면, 실패한 토론에서는 그 오류가 언제 늘어나는가. 연구진은 라벨에 라운드 번호를 붙여 두었기 때문에 이 질문에 답할 수 있다. 라운드별로 새로 생긴 오류 사건을 세어 보면 봉우리가 한 군데에 있다. 각 에이전트가 동료의 답을 처음 보는 2라운드다.

1라운드와 2라운드의 비교는 깨끗하다. 코퍼스 3,211건이 정의상 전부 2라운드 이상 간 대화이기 때문에, 두 막대는 같은 3,211건 위에서 세어진 수다. 2라운드에서 오류 사건이 27.9% 늘었다는 것은 분모가 달라져 생긴 착시가 아니다.

반면 3라운드 이후의 내리막은 그렇게 읽으면 안 된다. 합의에 이르러 끝난 대화가 그 뒤 라운드의 분모에서 빠져나가기 때문이다. 논문도 같은 자리에 못을 박는다.

무엇이 늘어났는지도 라운드마다 다르다. 1라운드에는 추론 오류와 틀을 잘못 잡은 오류가 많고, 2라운드에는 합의와 관련된 오류가 몰리며, 뒤로 갈수록 복구 실패 쪽이 두꺼워진다. 이동하는 것은 오류의 양보다 종류다. 혼자 생각하다 나온 실수에서 남의 답을 보고 생긴 실수로 무게중심이 옮겨 가는 것이다.

순서도 볼 수 있다. 연구진은 어떤 오류가 먼저 나온 대화에서 다음에 어떤 오류가 따라 나오는지를 세어, 그 빈도가 전체 평균보다 몇 배인지(배수)를 함께 적었다. 성급한 합의가 먼저 나온 대화에서는 그 뒤에 도구가 내놓은 결과를 무시하는 일이 11.6%에서 일어나는데, 이는 평균의 2.79배다. 바로잡아 주는 말을 흘려듣는 일은 16.5%(1.62배), 결론이 나지 않은 채로 넘어가는 일은 25.5%(1.35배)다. 반대 방향도 있다. 도구 결과를 무시한 대화의 70.7%에서 그 뒤에 성급한 합의가 따라왔다(1.37배).

다만 이 수는 순서지 원인이 아니다. 논문이 직접 적어 둔다. "관찰된 관계가 인과를 입증하지는 않는다." 성급한 합의가 뒤의 오류를 만들었다고 읽을 근거는 이 표에 없고, 둘이 같은 대화에서 자주 이어진다는 것까지만 읽을 수 있다.

그렇다고 "말을 적게 주고받으면 된다"로 넘어가면 데이터가 반대쪽을 가리킨다. 말을 주고받다 생긴 사소한 문제들, 예컨대 반박이 약하게만 제기되는 경우는 성공한 토론 쪽에서 더 자주 라벨이 붙었다(34.6% 대 18.4%). 실패 쪽에서 두드러지는 것은 사회자와 위계가 제 역할을 못 한 경우(12.0% 대 42.5%)와 합의가 섰다 무너졌다를 되풀이한 경우(14.4% 대 28.7%)다. 연구진은 이 대조에 조건을 달아, 결과를 가린 채 라벨을 단 쪽이 사소한 것까지 보고한 탓이 섞여 있으니 큰 격차만 해석한다고 적는다. 그 방침을 지켜 읽어도 방향은 분명하다. 문제는 말을 주고받는 것 자체가 아니라, 오간 말을 결론으로 바꾸는 절차 쪽에 있다.

에이전트를 더 붙이면 어떻게 되는가. 토론 방식에서 가장 먼저 만지는 손잡이가 머릿수이고, 기대도 분명하다. 눈이 많을수록 틀린 답이 걸릴 확률이 올라갈 것이다. 연구진은 첫 라운드에서 다수파가 틀렸던 대화만 모아, 그 뒤 다수파가 어떻게 움직였는지를 에이전트 수별로 갈라 세었다. 결과를 먼저 적으면, 머릿수가 바꾸는 것은 복구율이 아니라 맞는 소수의 운명이다.

세 기에서 일곱 기로 가며 복구율은 19.50%에서 22.06%로 2.6%p 올라갔을 뿐이고, 복구 실패는 40% 언저리에서 평평하다. 크게 움직인 줄은 아래 두 개다. 맞는 소수 의견이 결과를 바꾼 비율은 7.87%에서 2.50%로 3.1배 줄고, 맞는 소수 의견이 묻힌 비율은 11.37%에서 17.70%로 는다. 머릿수는 토론을 더 교정적으로 만들지 않는다. 맞는 소수를 흡수하는 힘만 키운다.

이 표만으로는 착시일 수 있다. 에이전트를 일곱 기로 돌린 실험이 어려운 질문에 몰려 있었다면 같은 그림이 나온다. 그래서 논문이 따로 돌린 통제 비교를 함께 봐야 한다. 연구진은 한 요인만 다른 구성끼리 같은 질문 위에서 짝지어 비교했고, 질문마다 고정효과를 두고 질문 단위로 묶어 표준오차를 냈으며, 252회의 검정에 다중 비교 보정을 걸었다. 그 비교에서도 방향이 같다. 세 기에서 일곱 기로 늘려도 실패가 유의하게 줄지 않고, 추론 오류는 줄어드는 대신 기권 뒤의 실패와 맞는 소수 의견의 억제가 늘어난다는 결과가 나왔다. 머릿수는 생각할 머리를 보태지만, 불확실성과 이견을 다루는 방식은 바꾸지 않는다는 것이 논문의 요약이다.

같은 통제 비교가 반대쪽 경계도 그어 준다. 성급한 합의와 틀린 틀 고착, 교정 무시는 팀 크기에 따라 통계적으로 달라지지 않았다. 역할을 명시하든, 위계를 두든, 쓰는 모델을 바꾸든 마찬가지였다. 그러니 "에이전트를 늘리면 토론이 더 성급해진다"는 문장은 이 논문의 결과가 아니다. 머릿수 축에서 데이터가 지지하는 주장은 맞는 소수가 묻히는 쪽 하나뿐이고, 이 글의 제목이 딱 그 자리에만 서 있는 이유도 그것이다.

두 증거에는 각각 약한 곳이 있다. 위 그림의 바탕이 된 표는 질문 집합을 맞춘 비교가 아니라 에이전트 수별로 따로 센 서술 통계다. 뒤의 통제 비교는 질문을 맞춘 대신 다른 것을 치렀다. 분류 카드가 붙지 않은 실패 대화는 아예 빼고, 남은 대화를 구성별 커버리지로 되가중했는데 그 커버리지가 낮은 구성에서는 51%까지 내려간다. 어떤 구성에서는 실패 대화의 절반 가까이를 덜어 내고 남은 쪽에 가중치를 얹어 추정했다는 뜻이고, 그 가중을 바꿔 가며 결과가 얼마나 흔들리는지는 논문에 실려 있지 않다. 그러니 이 절의 주장은 성격이 다른 두 증거가 같은 방향을 가리킨다는 데 기대고 있다. 둘 가운데 하나만으로 결론이 서지는 않는다.

범위를 과제별로 넓히면 격차가 더 벌어진다. 아래 표는 첫 라운드에 다수파가 틀렸던 대화를 데이터셋별로 가른 것이다.

논문 표의 일곱 행 전부다. 코드 생성 데이터셋 두 개는 이 표 자체에 들어 있지 않다. 지면에 더 있던 "손상"(정답이 오답으로 뒤집힘)과 "보존"(오답 그대로 유지) 두 열은 뺐다. 그 둘에 여기 실은 복구와 복구 실패를 더하면 각 행이 100%가 되고, 소수 의견의 구조·묻힘은 그와 별개로 센 축이라 합계에 들어가지 않는다.

전체로 보면 맞는 소수가 묻히는 쪽이 구조되는 쪽의 2.3배다. 과제별로는 양 끝이 극단적이다. 윤리 판단에서는 구조가 1.88%, 묻힘이 28.75%로 15.3배 차이가 난다. 맞는 쪽에 선 소수가 열다섯 번 묻힐 동안 한 번 이긴다는 뜻이다. 반대 끝은 의료 질의응답이다. 묻힘이 1.77%로 가장 낮고 다수파가 스스로 답을 고친 비율이 56.19%로 압도적이다. 갈림의 축은 과제가 얼마나 어려운가보다 증거로 따져 가릴 수 있는 과제인가에 가깝다. 근거 문헌을 들이댈 수 있으면 소수 의견이 근거를 들고 버틸 수 있고, 옳고 그름을 판단으로 가려야 하면 그럴 수단이 없다.

왜 묻히는가. 논문은 기전을 두 이름으로 부른다. 하나는 첫 답에 묶임이다. 처음 내놓은 답이 기준점이 되어 그 뒤의 토론이 그 둘레를 맴돈다. 다른 하나는 확인 없이 남 따라 모임이다. 다수가 같은 답을 들고 있다는 사실 자체가 근거처럼 작동해, 검증을 건너뛴 채 쏠림이 일어난다. 둘 다 누가 밉거나 눈치를 봐서 생기는 일이 아니라 구조에서 생기는 일이다. 실제로 아첨으로 분류된 사례는 실패 대화 3,211건을 통틀어 한 건뿐이고, 고집을 부려 수정을 거부한 사례도 다섯 건이다. "AI들이 서로 비위를 맞추다 틀린다"는 설명은 이 데이터가 지지하지 않는다.

이 절의 결론은 논문 자신이 권고로 적어 두었다. 과제마다 검증 방식이 달라야 한다면서, 윤리형 과제에는 "맞는 소수 의견에 대한 더 강한 보호"가 필요하다고 쓴다. 수치와 권고가 같은 자리를 가리키는 드문 경우다.

오류가 생기는 것 자체는 성공한 토론에서도 일어난다고 했다. 그렇다면 어떤 오류가 고쳐지고 어떤 오류가 끝까지 남는지가 갈림의 자리다. 연구진은 마지막 라운드보다 앞서 나타난 오류가 마지막 라운드까지 그대로 남아 있을 확률을 라벨별로 셌다. 순위에 규칙이 있다.

위의 셋을 다시 읽어 보면 공통점이 있다. 바로잡아 줘도 틀린 틀을 계속 쓰는 것, 모르겠다고 물러난 뒤 아무도 그 자리를 메우지 않는 것, 이견이 나왔는데도 되돌아오지 못하는 것. 셋 다 혼자서는 저지를 수 없는 것, 여럿이 모여 있기 때문에 생기는 오류다. 반대로 질문을 잘못 읽거나, 용어를 서로 다르게 해석하거나, 근거 없이 넘겨짚는 국소적인 실수는 토론을 거치며 잘 고쳐진다고 논문은 적는다. 토론은 개인의 실수를 고치는 데는 쓸모가 있고, 집단이 만든 오류 앞에서는 힘을 잃는다.

복구 실패는 혼자 오지도 않는다. 복구에 실패한 대화의 78.6%에서 합의·결정 실패가 함께 나타난다. 나중에 치울 수 있는 문제가 아니라 결론을 내는 절차 자체에 얽혀 있다.

4.1라운드를 더 돌리면 고쳐지나

자연스럽게 따라오는 질문이다. 논문의 수치를 그대로 보면 답은 비관적으로 보인다. 첫 라운드에 바로 합의해 끝난 토론은 82.1%가 정답이고, 여러 라운드를 간 토론은 46.4%다. 두 배 가까이 차이가 난다.

그런데 이 수를 "토론을 더 하면 틀린다"로 읽으면 안 된다. 논문이 같은 쪽에서 직접 막는다. 한 번에 합의되는 문제는 대체로 원래 쉽거나 명확한 문제이고, 어려운 문제일수록 라운드가 길어진다. 게다가 여러 라운드를 간 토론이 전체 정답의 61.0%를 만들어 내기도 한다. 논문이 고른 표현은 "여러 라운드 토론은 분산이 크다"이고, 쓸모없다는 말은 어디에도 없다. 오답 대화의 89.2%가 한 라운드에서 끝나지 않고 다음 라운드로 넘어갔다는 사실도 같은 그림의 일부다. 라운드가 길어진 것은 결과라기보다 신호에 가깝다.

지금까지가 사후에 라벨을 달아 본 이야기라면, 실무에서 필요한 것은 돌아가는 중에 쓸 수 있는 신호다. 가장 손쉬운 후보는 에이전트가 스스로 적는 확신 점수다. 많은 토론 구조가 답과 함께 확신을 받아 적게 하고, 확신이 높으면 멈춘다. 이 논문의 데이터는 그 쓰임을 정면으로 부정한다.

논문 부록의 확신 비교 표 전부다. 점수는 에이전트가 스스로 0에서 100 사이로 적은 값이고, 유의확률은 그만한 차이가 우연으로 나타났을 가능성을 재는 값이라 작을수록 우연으로 보기 어렵다. 세 줄 모두 아주 작다.

첫 줄이 핵심이다. 토론을 거치며 확신은 양쪽 다 오르는데, 틀린 쪽이 두 배 가까이 더 오른다. 맞힌 토론은 평균 5.54점 오르고 틀린 토론은 10.49점 오른다. 그래서 끝났을 때 두 집단의 확신 차이는 3.76점밖에 남지 않는다. 틀린 토론도 89점대로 끝난다는 뜻이고, 90점을 기준선으로 잡든 85점으로 잡든 이 둘을 가르지 못한다는 뜻이다.

이것을 "모형이 원래 자기 확신을 잘 못 맞힌다"는 일반론으로 뭉개면 요점을 놓친다. 여기서 재고 있는 것은 모형 하나의 보정 상태가 아니라 토론이라는 과정이 확신을 키우는 정도다. 서로의 답을 보고 합의가 서는 동안 확신이 올라가는데, 그 상승분이 정답과 오답을 가리지 않는다. 오히려 틀린 쪽에서 더 크다. 합의의 두께가 확신으로 번역되고 있을 뿐, 근거의 두께가 번역되고 있지 않은 것이다.

한 줄만 방향이 반대다. 답을 막 바꾼 직후의 확신 상승폭은 정답 쪽이 더 크다(+10.56 대 +7.42). 번복이라는 사건 자체에는 신호가 남아 있을 수 있다는 뜻인데, 논문은 이 한 줄을 판별 규칙으로 쓰라고 말하지 않는다. 다만 다음 절에서 보듯, 조기 경보 모형이 보는 것도 확신의 절대 수준이 아니라 확신이 언제 어떻게 움직였는가 쪽이다.

논문이 설계 권고 네 가지 중 첫 번째로 적은 문장은 짧다. 자기보고 확신에 기대지 말라. 그럼 무엇을 봐야 하는가.

논문이 실제로 효과를 확인한 손잡이는 셋이다. 둘은 설계에 속하고 하나는 계측에 속한다.

6.1증거를 쥐여 주는 쪽이 가장 크게 듣는다

에이전트가 외부 문서를 찾아볼 수 있게 한 구성과 질문만 주고 답하게 한 구성을, 같은 질문 위에서 짝지어 비교했다. 다단계 질의응답 두 데이터셋에서 실패율이 74.6%에서 36.4%로 내려갔다. 신뢰구간으로 적으면 32.7%p에서 43.8%p 사이의 감소이고, 논문이 확인한 설계 요인 가운데 가장 큰 효과다. 3절에서 의료 질의응답이 묻힘의 반대 끝에 서 있던 것과 방향이 겹친다. 다만 검색을 붙여 실패율이 내려간 것과 소수 의견이 덜 묻히는 것이 같은 기전인지는 논문이 따로 재지 않았다.

여기에 함정이 하나 있다. 도구를 붙인 구성의 실패 대화만 따로 들여다보면 합의 관련 오류의 비중이 오히려 커 보인다. 그 그림의 세로축이 실패 대화 안에서의 구성비이기 때문이다. 분모가 줄면 남은 것의 몫이 커진다. 전체 발생률은 내려간다.

6.2짜임새를 바꾸면 무엇이 달라지나

두 번째 손잡이는 토론의 짜임새다. 저자들은 과제별 정확도를 정리하면서 "진행 방식과 과제 구조가 집단 크기 하나보다 크게 작용한다"고 적는다. 다만 짜임새라고 다 듣지는 않는다. 사회자를 두고 위계를 세우면 합의가 섰다 무너졌다 하는 일은 줄어들지만 전체 실패율은 줄지 않았고, 역할을 명시적으로 나눠 준 것은 검출할 수 있는 효과가 없었다. 3절에서 본 대로 성급한 합의와 틀린 틀 고착은 이런 축들에 걸쳐 거의 움직이지 않는다. 설계로 고쳐진 자리는 생각보다 좁다.

논문이 적은 설계 권고 네 가지 중 두 번째가 이 자리에 있다. 단순 다수결 대신 능동적인 감독을 두라는 것인데, 감독이 할 일을 다수 따라가기로 두지 말고 근거 없는 주장을 캐묻고 이견을 따라다니며 경합하는 답들을 검증하는 쪽에 두라고 적는다. 같은 항목의 마지막 문장이 "위계를 두는 것만으로는 정확도가 믿을 만하게 오르지 않는다"이다. 자리를 만드는 일과 그 자리가 할 일을 정해 주는 일은 다른 이야기라는 뜻이다.

6.3남는 신호는 답의 이동뿐이다

세 번째가 이 논문에서 가장 멀리 간 대목이다. 연구진은 한 라운드 앞서 실패를 경고하는 모형을 만들었다. 성급한 합의를 0.75, 이견 뒤 복구 실패를 0.78, 모름 상태에서의 복구 실패를 0.96의 판별력으로 미리 가려낸다. 경보를 한 번도 울리지 않는 쪽과 견주면 경보 판정 자체의 정확도가 0.56에서 0.66으로, 0.55에서 0.58로, 0.69에서 0.89로 올랐다. 비교 대상인 "한 번도 울리지 않기"는 그 오류가 일어나지 않은 대화를 전부 맞히는 셈이라 가만히 있어도 절반 이상을 얻는다. 그러니 이 수는 토론 자체의 정확도와 무관하다. 경보기가 그 바닥선 위로 얼마나 올라섰는가를 잴 뿐이고, 가운데 줄에서는 0.03밖에 올라서지 못했다. 눈여겨볼 것은 성적보다 입력이다. 이 모형이 쓰는 것은 마흔 개의 수치이고, 네 묶음으로 나뉜다.

논문 부록이 적은 마흔 개 피처를 네 묶음으로 옮긴 것이다. 묶음 안의 항목은 전부 옮겼다. 이 목록에 없는 것이 이 절의 요점이다. 누가 무슨 말을 했는지도, 어느 데이터셋의 문제인지도 들어 있지 않다.

이 한 줄이 실무에서 뜻하는 바는 작지 않다. 토론이 어디로 가고 있는지를 알아내는 데 대화록 전문이 필요하지 않다는 말이기 때문이다. 라운드마다 각 에이전트가 낸 답과 자기가 적은 확신 두 가지만 남아 있으면 마흔 개 수치가 전부 계산된다. 저장 비용도, 민감한 내용을 들여다보는 부담도 다른 이야기가 된다.

과장은 피해야 한다. 재현율만 놓고 보면 답이 갈려 있기만 하면 울리는 단순 규칙이 0.96에서 0.98로 더 높다. 거의 모든 토론에 경보를 울리는 셈이니 당연한 결과다. 저자 모형의 재현율은 0.69에서 0.74 사이이고, 값어치는 헛경보를 줄인 쪽에 있다. 정밀도와 정확도, 판별력 세 지표에서 세 종류의 실패 모두 1위다. 논문 자신도 거기까지만 주장한다. F1 점수에서는 한 번 지고, 서론의 "매우 높은 재현율"이라는 표현은 본문의 표와 어긋난다.

규모도 작다. 이 모형은 토론 304건으로 학습했고, 질문을 짝지어 한 쌍씩 빼며 평가했다. 논문은 자기 분류 체계를 "보증이 아니라 진단 도구"라고 부른다. 지금 당장 가져다 붙일 제품으로 읽기보다, 답의 이동만으로도 한 라운드 앞서 무언가를 말할 수 있다는 가능성의 입증으로 읽는 것이 맞다.

한 겹 더 들어가면 이 모형이 맞히려 한 정답표도 모형이 만들었다. 어느 라운드에 어떤 오류가 시작됐는지를 또 다른 모형이 라벨로 달았는데, 성급한 합의 한 종류를 두고 정의를 거의 같게 둔 채 두 번 따로 라벨링해 보니 판정이 갈린 대화가 열에 둘쯤 됐다(일치도 계수 0.62). 과녁 자체에 이만한 흔들림이 있다는 사실은 위의 성적표를 읽을 때 같이 알고 있어야 한다.

경보를 받아서 무엇을 할지는 아직 실험 밖에 있다. 논문은 경보의 종류에 따라 다른 행동을 걸 수 있다고 적는다. 성급한 합의 경보에 증거 확인을, 복구 실패 경보에 이견 정리를, 모름 뒤의 실패 경보에 다시 묻기를 붙이는 식이다. 네 번째 설계 권고도 같은 방향으로, 오류의 종류에 맞춰 개입하라고 적는다. 틀린 틀에는 질문을 다시 세우고, 합의가 오락가락하면 경합하는 답부터 정리하라고 한다. 모든 대화에 같은 토론 절차를 한 번 더 돌리는 것보다 예측된 오류에 맞춘 개입이 쓸모 있겠다는 제안이다. 다만 제안까지다. 그렇게 개입했을 때 토론의 결과가 어떻게 달라지는지를 재 본 실험은 이 논문에 없다.

그래서 바깥을 한 번 봐 두자. 생성형 AI의 동작을 기록하는 표준 속성 어휘에는 에이전트의 이름과 버전, 대화 식별자, 작업 흐름 이름, 요청 매개변수, 토큰 사용량, 도구 호출, 주고받은 메시지, 평가 점수를 담을 칸이 있다. 라운드, 라운드별 답, 이견, 답의 변경, 에이전트가 적은 확신, 합의 결과를 담을 칸은 없다(2026년 10월 27일 확인). 토큰이 얼마나 들었는지에는 이름이 붙어 있고, 답이 어떻게 움직였는지에는 아직 이름이 없다.

페블러스가 외국 대학 연구진의 실패 분류 논문을 이렇게 오래 들여다본 데는 이유가 있다. 앞의 여섯 절에서 나온 수치가 하나도 최종 산출물에서 계산되지 않기 때문이다.

7.1쓸 수 있는 상태는 학습 데이터만의 문제가 아니다

2라운드의 봉우리도, 맞는 소수가 묻힌 비율도, 복구 난도 81.6%도 전부 라운드별 답과 확신과 이견이 구조화된 채 남아 있어야 잴 수 있는 수다. 마지막 답만 쥐고 있으면 이 가운데 어느 것도 계산되지 않는다. 그런데 조기 경보 모형이 보여 준 것은 한 겹 더 구체적이다. 필요한 것은 대화록 전문이 아니라 답의 모양과 그 변화다. AI-Ready Data가 말하는 "쓸 수 있는 상태"는 학습에 넣을 데이터에만 걸리는 조건을 넘어선다. 시스템이 제 동작을 스스로 평가할 수 있는 형태로 과정을 남기는가도 같은 질문이고, 이 논문은 그 형태가 생각보다 작고 값싸다는 것을 보여 준다.

7.2정답 여부로 로그를 거르면 정답 신호가 같이 버려진다

맞는 소수 의견이 묻힌 대화는 결과만 보면 오답이다. 정답 여부로 로그를 거르는 순간 그 기록은 통째로 사라지고, 그 안에 들어 있던 정답 신호도 같이 버려진다. 이 논문의 코퍼스는 정확히 그 버려지는 쪽을 주워 담아 만들어졌다. 7,300회 실행 가운데 오답 3,543회에서 출발했으니 말이다. 실패 기록은 폐기물이 아니라 데이터셋이다. 페블러스 블로그의 에이전트 메시지 하나씩을 가려 본 글이 메시지 단위로 같은 것을 실측했다. 결과를 뒤집은 오답 메시지의 40%대가 정답 쪽이었다는 그 수치와, 이 논문의 소수 의견 묻힘은 같은 현상을 다른 단위로 센 것이다.

7.3설계 판단 셋이 이 논문 하나로 갈린다

멀티 에이전트를 이미 돌리고 있는 쪽이라면, 이 논문에서 바로 집어 쓸 수 있는 판단이 셋이다.

• 머릿수를 늘려도 복구는 따라오지 않는다. 복구율은 19.50%에서 22.06%로 거의 그대로이고, 맞는 소수가 묻히는 쪽만 는다. 예산이 여기로 가면 얻는 것이 적다.
• 증거에 닿게 하는 쪽이 확인된 가장 큰 효과다. 실패율이 74.6%에서 36.4%로 내려간다. 검색이든 사내 문서든, 따질 근거를 손에 쥐여 주는 작업이 에이전트를 한 기 더 붙이는 것보다 낫다.
• 자기보고 확신은 멈출 때를 정하는 기준으로 쓸 수 없다. 틀린 쪽에서 더 오르기 때문이다. 확신 임계값으로 조기 종료를 거는 구조가 있다면 그 임계값이 무엇을 거르고 있는지부터 다시 봐야 한다.

정리하면 예산은 에이전트 대수가 아니라 증거 연결과 과정 계측으로 간다. 이 셋이 전부 논문 한 편에서 나온다는 점도 눈여겨볼 만하다.

7.4비어 있는 레이어

페블러스가 데이터 품질에서 해 온 일은 "값이 맞나"를 재는 쪽이었다. 이 논문이 가리키는 자리는 그 옆이다. 언제 어떻게 틀려 갔나를 재는 자리다. 최종 정답률은 이 결함에 대해 아무 말도 하지 않고, 모형이 스스로 적은 확신은 틀렸을 때 오히려 더 올라간다. 남는 신호는 답의 이동 하나인데, 그 신호가 메시지 본문 없이 마흔 개 수치만으로 잡힌다는 것은 값싸게, 그리고 대화 내용을 들여다보지 않고도 잴 수 있다는 뜻이기도 하다. 그런데 업계의 표준 어휘에는 그 수를 담을 이름조차 아직 없다. 그 레이어는 비어 있다. 같은 현상을 다른 연구로 다룬 에이전트 조의 합의가 사람보다 과하다는 글과, 멀티 에이전트의 성패가 단일 에이전트 성능에 걸려 있다는 경계선 글, 다시 쓴 인용에서 반박이 사라진 리포트가 이 글과 나란히 선다.

출처의 등급이 다르므로 묶어서 적는다. 첫 묶음이 이 글 본문 수치의 거의 전부가 나온 1차 문헌이고, 둘째 묶음은 그 논문이 딛고 선 선행 연구다. 셋째 묶음은 표준 문서, 넷째 묶음은 같은 현상을 다룬 페블러스의 인접 글이다.

1차 문헌

• 1.Pitre, P., Hou, J., Fang, Y., Ramakrishnan, N., Wang, X. (2026). Understanding Communication Failures in Multi-Agent LLM Systems. arXiv:2610.32060v1, 2026-10-23 제출. Virginia Tech. 1절부터 6절까지의 모든 수치가 이 논문의 본문과 부록에서 나왔다. PDF 원문 직접 열람. arxiv.org

논문이 딛고 선 선행 연구

• 2.Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., Mordatch, I. (2024). Improving Factuality and Reasoning in Language Models through Multiagent Debate. ICML 2024. 여러 모형을 토론시켜 정확도를 올린다는 방법 자체의 출처다. arXiv:2305.14325 원문에서 제목·저자를 직접 재확인했다.
• 3.Deshpande, D., Gangal, V., Mehta, H., Krishnan, J., Kannappan, A., Qian, R. (2025). TRAIL: Trace Reasoning and Agentic Issue Localization. arXiv:2505.08638. 에이전트 실행 기록에서 문제 지점을 찾는 선행 작업이다. 원문에서 제목·저자를 직접 재확인했다. arxiv.org

표준 문서

• 4.OpenTelemetry. Gen AI attribute registry (semantic conventions). 2026-10-27 확인. 에이전트의 이름·버전·설명, 대화 식별자, 작업 흐름 이름, 요청 매개변수, 토큰 사용량, 도구 호출, 입출력 메시지, 평가 점수, 검색 속성이 수록돼 있고 라운드·라운드별 답·이견·답 변경·자기보고 확신·합의에 해당하는 속성은 없다. 6절의 마지막 문단이 여기서 나왔다. opentelemetry.io

페블러스 블로그 인접 글

• 5.멀티 에이전트 메시지를 하나씩 가려 본 글 — 결과를 뒤집은 오답 메시지의 40%대가 정답 쪽이었다는 실측. 7.2절의 보강.
• 6.에이전트 조의 합의가 사람보다 과하다는 사전등록 연구 — 같은 현상을 다른 과제와 다른 기전으로 본 글.
• 7.멀티 에이전트 성패를 가르는 단일 에이전트 성능의 경계
• 8.LLM이 다시 쓴 인용에서 반박이 사라진 사례