Executive Summary

주요 수치

네 개를 뽑았다. 앞의 둘은 '이유' 라벨이 얼마나 불안한지를 보여 주고, 뒤의 둘은 그 불안이 어디서 왔는지를 가리킨다.

출처: Beesetty, M. S. R., "Agreeing on the Answer but Not the Reason: Measurement Limits of LLM Reasoning Failure Taxonomies", arXiv:2611.13140 (IEEE CogMI 2026).

모델 보고서를 읽다 보면 익숙한 문장이 하나 있다. 이 모델의 추론 실패 가운데 40%는 구성 붕괴 유형이었다는 식의 문장이다. 정확도 숫자보다 친절해 보인다. 모델이 어디서 넘어지는지를 알려 주니, 다음에 무엇을 고쳐야 할지도 따라 나오는 것처럼 읽힌다. 비세티가 던진 질문은 그 문장이 재현되는 측정값이냐는 것이다.

실험은 mGSM-Symbolic에서 돌았다. 초등 수준 수학 문장제 모음인 GSM8K를 숫자와 이름까지 바꿔 가며 다국어로 옮긴 변형판이다. 여기에 Claude Haiku 4.5와 Claude Sonnet 5, DeepSeek-V4-Pro부터 Mixtral-8x7b와 Neural-Chat-7b까지 성능대가 크게 벌어진 12개 모델을 올렸고, 중국어·태국어·일본어·독일어·스페인어·프랑스어·이탈리아어·러시아어·스와힐리어·벵골어·텔루구어 11개 언어로 풀렸다. 그렇게 모인 채점 기록이 2,316건이다. 기록 수와 문제 수는 다르다. 문항 자체는 서로 다른 구조 여덟 개에서 뽑은 22개뿐이고, 2,316건은 거기에 숫자를 바꿔 끼우고 열한 개 언어로 옮겨 얻은 수다. 저자도 설계의 폭을 말할 때는 큰 쪽이 아니라 작은 쪽을 적는다고 밝혀 둔다.

채점은 사람이 아니라 '인스펙터(Inspector)'가 맡았다. 번역된 문제와 참조 정답, 그리고 모델이 실제로 내놓은 풀이를 함께 받아, 정오답 판정과 각 실패 유형에 대한 근거 인용을 정해진 형식으로 돌려주도록 고정 프롬프트를 건 심판 모델이다. 이 자리에는 Claude Sonnet 5가 쓰였다. 채점을 맡은 모델이 채점당하는 12개 모델 목록에도 들어 있다는 뜻인데, 아래에서 '인스펙터'라고 부르는 쪽은 언제나 채점자 역할을 가리킨다.

검증은 사람에게 맡겼다. 11개 언어의 원어민들이 전사 179건을 직접 읽고 같은 판정을 내렸다. 정답 여부에서 인스펙터와 원어민의 일치도는 카파 0.932였다. 두 채점자가 거의 같은 답을 적었다는 뜻이다. 그런데 같은 전사를 놓고 "이 실패에 구성 붕괴 라벨을 붙일 것인가"만 물으면 카파가 0.093으로 떨어진다. 카파는 우연히 겹친 몫을 걷어낸 뒤의 일치도라, 0에 가깝다는 것은 두 채점자가 서로 무관하게 라벨을 붙인 것과 다르지 않다는 뜻이다.

분류 체계는 네 가지다. 구성 붕괴(Compositional Collapse)는 모델이 문제를 풀면서 필요한 조건을 스스로 짚어 놓고도, 뒤에서 그 조건을 빠뜨리거나 엉뚱하게 적용하는 경우다. 추론 이탈(Reasoning Drift)은 앞 단계는 맞게 가다가 중간 한 단계에서 오류가 생기고 그 오류가 뒤로 연쇄하는 경우다. 형식 불안정(Format Instability)은 요구된 출력 형식이 깨지는 경우이고, 나머지는 모형화 오류(Mismodeling)로 묶인다.

이름이 비슷한 다른 개념과 헷갈리기 쉽다. 다른 연구에서 쓰는 '구성 붕괴'는 두 개의 안정된 사실을 연결하지 못하는 실패를 가리키는데, 저자는 자신의 정의가 그것과 다르다고 본문에서 명시한다. 여기서의 구성 붕괴는 사실을 몰라서가 아니라, 자기가 적어 둔 조건을 자기가 버려서 생긴다.

문제가 생기는 곳은 유형 자체가 아니라 유형을 하나로 좁히는 규칙이다. 분류기는 판정 가능한 세 가지를 구성 붕괴, 추론 이탈, 형식 불안정 순으로 차례차례 검사해, 가장 먼저 걸리는 하나를 그 사례의 라벨로 확정한다. 세 검사는 서로 독립이라 한 사례가 여러 유형의 근거를 동시에 가질 수 있는데, 분류기는 그중 순서상 앞선 것만 채택한다. 전체 실패의 50.1%가 바로 그런 사례였다. 한 유형에만 깨끗이 들어맞는 쪽은 절반에 못 미친다. 겹침은 거의 한 쌍에 몰려 있다. 두 유형 이상의 근거를 지닌 775건 가운데 761건이 구성 붕괴와 추론 이탈을 함께 들고 있는 사례다.

저자는 같은 데이터에 여섯 가지 순서를 모두 돌렸다. 검사가 셋이니 줄 세우는 방법이 여섯 가지다. 두 검사의 자리만 맞바꿔도 12개 모델 가운데 11개에서 '가장 흔한 실패 유형'이 다른 것으로 바뀌었다. 여섯 순서를 모두 놓고 보면 구성 붕괴의 비율은 26.4%에서 76.4%까지 벌어지고, 추론 이탈도 14.9%에서 64.7%까지 움직인다. 두 유형 모두 50%포인트에 가까운 폭이다.

열둘 가운데 최빈 유형이 꿈쩍하지 않은 하나는 인스펙터 자신이었다. 중복 근거를 지닌 실패의 비율도 10.9%로 열두 모델 가운데 가장 낮다. 채점된 기록의 195건이 이 모델이 만든 풀이이기도 하다. 저자는 이 대목을 한계로 적는다. 근거가 유난히 깨끗하게 갈린 것인지, 자기가 쓴 풀이의 애매함을 자기에게 유리한 쪽으로 정리한 것인지는 이 설계로 가릴 수 없다는 것이다.

겹침이 생기는 자리는 단순하다. 조건을 스스로 적어 놓고 버린 흔적과, 중간 한 단계에서 어긋나 뒤로 번진 흔적이 한 풀이 안에 같이 남는다. 그다음은 순서가 정한다.

이 구조가 모델 비교에 미치는 영향은 직접적이다. 모델 A는 실패의 40%가 구성 붕괴이고 모델 B는 20%라고 적은 비교표가 있다고 하자. 두 모델을 같은 분류기로 돌렸으니 공정해 보인다. 그런데 그 분류기의 검사 순서를 한 번 뒤집으면 두 숫자가 함께 움직이고, 움직이는 폭이 모델 사이의 차이보다 클 수 있다. 순서를 밝히지 않은 비율표는 모델의 성질과 채점 절차의 그림자를 섞어 놓은 값이다.

그래서 저자는 자기 논문의 순위 주장을 거둬들인다. 여섯 순서 가운데 셋에서는 구성 붕괴가 1위로 올라오고, 나머지 셋에서는 추론 이탈이 1위다. 어느 유형을 적어도 절반의 근거밖에 없다. 대신 순서를 타지 않는 값을 보고한다. 구성 붕괴의 근거를 조금이라도 지닌 실패가 얼마나 되는지인데, 모델별로 50.0%에서 90.2% 사이이고 대부분의 모델에서 실패의 절반을 넘는다. 다만 이 값도 인스펙터가 매긴 수치일 뿐이라고 저자는 미리 못 박는다. 왜 그런 단서를 달았는지는 다음 절에서 드러난다.

카파 0.093만 보면 결론이 하나로 몰린다. 왜 틀렸는지를 가려내는 일 자체가 원래 안 되는 일이라는 결론이다. 저자는 그 길로 가지 않았다. 언어마다 두 번째 원어민을 붙여 같은 전사를 한 번 더 판정하게 하고, 두 사람 모두 '예' 또는 '아니오'가 분명한 짝만 추려 다시 셌다. 거기서 사람과 사람의 일치도는 0.659로 나왔다. 상당한 수준의 합의다. 같은 짝에서 각 사람과 인스펙터의 일치도는 0.094 이하에 머물렀다.

네 값을 나란히 놓으면 어디가 어긋났는지가 분명해진다.

출처: arXiv:2611.13140. 재는 모집단이 줄마다 다르다. 첫 줄은 양쪽 판정이 다 붙은 178건, 둘째 줄은 그 가운데 원어민이 오답이라고 본 142건이다. 셋째 줄은 두 원어민의 답이 모두 분명한 121건, 넷째 줄은 거기서 사람 지침을 받은 인스펙터까지 분명히 답한 106건이다. 맨 아래 줄의 원래 지시문 기준 값은 같은 106건에서 0.147이었다.

마지막 줄이 이 논문의 반전이다. 채점 모델은 그대로 두고, 사람 채점자가 실제로 손에 들고 있던 판정 지침을 글자 그대로 넣어 다시 채점시켰더니 두 번째 원어민과의 일치도가 0.147에서 0.636으로 올라갔다. 모델을 바꾸지도, 더 큰 모델로 갈아타지도 않았다. 인스펙터가 사람과 어긋난 까닭은 이유를 가려낼 능력이 없어서가 아니라, 처음에 받은 지시문이 사람의 암묵적 기준과 다른 곳을 가리키고 있었다는 쪽에 가깝다.

어디가 어긋나 있었는지도 논문에 적혀 있다. 인스펙터가 받은 정의에는 조건을 '알아챘거나 지어낸' 경우가 함께 들어갔는데, 사람에게 준 정의는 알아챈 경우만 담았다. 인스펙터는 전사마다 모든 유형의 근거를 찾아보라는 지시를 받았고, 사람은 오답이라고 본 전사에만 예와 아니오 하나를 답했다. 예시도 사람에게만 주어졌다. 남은 하나는 참조 정답을 기준으로 판정하라는 지시였는데, 이 항목이 5절과 곧장 이어진다. 같은 모델이라도 사람 지침으로 매긴 라벨은 원래 지시문으로 매긴 자기 라벨과 0.197밖에 맞지 않았다.

방향도 한쪽으로 치우쳐 있었다. 인스펙터는 전체 실패의 66.2%를 구성 붕괴로 봤고 원어민들은 36.6%만 그렇게 봤다. 1.81배다. 불일치가 무작위로 흩어지지 않고 한쪽으로 쏠렸다. 쏠린 불일치는 집계 비율에 그대로 얹힌다. 다만 1.81배는 이 표본의 값이지 벤치마크의 값이 아니다. 언어마다 검토된 건수가 다르고 격차가 큰 언어가 많이 들어와 있어서, 언어에 같은 무게를 주고 다시 세면 1.38배가 된다. 저자는 두 값을 함께 적는다.

채점 모델을 하나 더 붙였으면 이 쏠림이 보였을까. 저자는 같은 179건을 프런티어 모델 하나와 공개 가중치 모델 하나에도 물렸다. 판정이 분명한 짝만 놓고 보면 DeepSeek-V4-Pro는 사람보다 인스펙터 쪽에 붙어 인스펙터와는 0.333, 두 원어민과는 0.090 이하였다. Qwen2.5-32b는 반대쪽으로 벗어나 구성 붕괴를 13.2%에만 매겼고 사람과의 카파는 음수로 내려갔다. 셋 다 사람의 라벨을 재현하지 못했다는 점이 같고, 벗어난 방향만 제각각이다. 모델 채점자를 늘리면 라벨이 흩어진다는 사실은 보이지만, 어느 쪽이 사람의 기준인지는 보이지 않는다.

1.81배라는 쏠림을 저자는 사례 단위로 되짚었다. 그러자 특정 라운드의 특정 문항이 걸려 나왔다. 강아지 702마리를 세는 문장제인데, 영어 원문에는 '점무늬가 있는 강아지 13마리'처럼 그 강아지들을 점무늬 쪽에 넣어 주는 수식어가 붙어 있다. 이브라힘의 강아지 702마리가 분자에 들어가는 근거가 이 한 구절이다. 벵골어와 중국어 번역본만 이 대목을 '강아지 13마리'로 옮겨 속성을 지웠다. 이탈리아어·프랑스어·러시아어·스페인어·스와힐리어·태국어·텔루구어에는 그대로 남아 있었다.

수식어가 빠지면 문제가 다른 문제가 된다. 번역문에 적힌 대로 충실히 풀면 답이 11%로 나오는데, 채점에 쓰이는 참조 정답은 원문 기준의 89%다. 분수로 적으면 99/900과 801/900이라, 어떻게 풀어도 맞을 수 없는 문항이 된 것이다. 이 라운드의 정확도는 두 언어 모두 12개 모델 전부 0.0%였다. 전체 정확도가 67%를 넘는 프런티어 모델 셋도 예외가 아니었고, 다른 라운드에서 30.6%까지 올라가는 중국어도 여기서는 같은 함정에 빠졌다.

이 읽기는 나중에 붙은 두 번째 원어민이 따로 확인해 준다. 중국어판 같은 문항에서 인스펙터는 구성 붕괴를 기록했고 두 원어민은 모두 아니라고 봤는데, 두 번째 원어민은 묻지도 않은 이유를 답안지에 적어 놨다. 모델이 702마리를 전체에는 넣고 점무늬는 언급되지 않았으니 0마리로 다뤘다는 것이다. 정작 인스펙터가 근거로 인용한 대목은 번역문이 아니라 영어 원문의 뜻을 따르고 있었다. 참조 정답을 기준으로 판정하라는 지시를 그대로 지킨 셈이다.

그 두 문항이 속한 라운드를 통째로 빼고 다시 세면 인스펙터와 원어민의 격차가 66.2% 대 36.6%에서 56.5% 대 48.2%로 좁혀진다. 1.81배가 1.17배가 된다. 저자의 표현대로 번역 결함이 쏠림의 상당 부분을 설명하지만 전부는 아니다. 그래도 이 되짚기가 없었다면, 번역 한 줄의 결함이 모델 열두 개의 추론 실패 성향으로 보고될 뻔했다.

이 논문이 짚은 곳은 페블러스 블로그가 전에도 두 번 지나간 자리다. 라벨러의 성향에 따라 해로움 라벨이 갈린 사례를 다룬 적이 있고, 인용 검증을 맡은 LLM 심판이 어디서 흔들리는지도 살폈다. 세 글의 결론은 같다. 라벨의 품질은 라벨을 붙인 사람의 능력만으로 정해지지 않고, 라벨을 붙이게 만든 절차와 지시문으로도 정해진다.

저자가 논문 끝에 붙인 점검 네 가지는 전부 비용이 거의 들지 않는다.

• • 순서를 뒤집어 한 번 더 돌린다. 최빈 유형이 움직이면 그 비율표는 쓰지 말고, 순서에 영향받지 않는 값을 대신 보고한다. 재실행 한 번이면 된다.
• • 공존율을 그냥 공개한다. 한 사례가 몇 개 유형의 근거를 함께 지녔는지를 적는 일이다. 이미 가지고 있는 값이라 비용이 없다.
• • 사람 표본을 따로 받되 어려운 사례를 덮는다. 크기보다 무엇을 덮었는지가 중요하다. 저자도 먼저 돌아온 여섯 언어로 중간 집계를 냈을 때는 카파가 0.280에 비율 격차도 거의 없었는데, 먼저 돌아온 언어가 하필 모델이 잘 푸는 언어였다.
• • 쏠린 격차는 비율로 올리기 전에 사례까지 되짚는다. 벵골어 문항이 그렇게 잡혔다.

평가 데이터를 만드는 팀에게 이 네 가지는 작업 지침보다 질문지에 가깝다. 우리가 만든 데이터셋에서 '왜 틀렸는지'를 적는 칸은 두 사람이 같게 채울 수 있는 칸인가. 그 칸에 들어가는 라벨이 하나로 좁혀지는 과정에 암묵적인 우선순위가 숨어 있지는 않은가. 라벨러에게 준 지시문과 심판 모델에게 준 프롬프트가 같은 기준을 말하고 있는가. 마지막 질문은 이 논문에서 가장 싸게 큰 효과를 본 자리이기도 하다.

정답 칸과 이유 칸은 품질 관리의 난이도가 다르다. 정답 칸은 두 사람이 붙으면 맞춰지지만, 이유 칸은 두 사람을 붙여도 기준이 다르면 맞춰지지 않는다. 그런데 평가 데이터의 값은 대개 이유 칸에서 나온다. 어디를 고쳐야 하는지를 말해 주기 때문이다. 같은 데이터로 두 번 재서 같은 답이 나오는지부터 확인하지 않으면, 그 칸은 모델을 설명하는 대신 채점 절차를 설명하게 된다.

여기까지 읽어 주셔서 감사하다. 논문 전문은 arXiv:2611.13140에서 볼 수 있다. 여러분의 평가 데이터에서 '왜'를 적는 칸은 순서를 바꿔도 같은 답이 나오는 칸인가?

참고문헌

• 1.Beesetty, M. S. R. (2026). "Agreeing on the Answer but Not the Reason: Measurement Limits of LLM Reasoning Failure Taxonomies." arXiv:2611.13140 (IEEE CogMI 2026 게재 확정).