Executive Summary

주요 수치

출처: Fan 외, arXiv:2608.27309 (2026-08-27)

LLM 판정자가 매긴 점수는 이미 리더보드와 벤치마크 순위를 움직이고, 교육 분야에서는 튜터링 시스템의 수업 품질을 루브릭으로 채점하는 데까지 들어와 있습니다. 판정자에게 그 역할을 맡겨도 되는지는 그 자체로 측정의 문제이고, 여기에 답하려는 감사들은 대체로 같은 설계를 씁니다. 문항은 고정하고, 제시 방식이나 거기 붙은 정체성 가운데 속성 하나만 바꾼 뒤, 짝지어진 두 조건의 대조에서 편향을 읽습니다.

더 강한 설계는 여기서 한 번 더 뺍니다. 같은 문항 안에서 두 후보 응답을 견준 값을, 조작한 속성을 사이에 두고 다시 뺍니다. 어떤 조건에서든 한 응답의 점수를 똑같이 밀어 올리거나 내리는 요인은 이 과정에서 사라집니다. 그렇게 남은 값이 이중 차분이고, 판정자 감사에서는 그것을 1점부터 5점까지의 채점 척도 위에서 읽습니다.

상쇄 논리 자체는 틀리지 않았습니다. 덧셈으로 얹힌 아티팩트는 실제로 지워집니다. 문제는 그 뒤에 조용히 따라붙은 가정입니다. 이중 차분을 통과하고도 남은 효과를 두고, 경계가 있는 척도는 성가시지만 보수적인 방해물 취급을 받았습니다. 척도 양 끝에서 값이 잘리면 진짜 효과가 작아 보일 수는 있어도 없는 효과가 생기지는 않는다는 것입니다. 대조가 하나뿐일 때 이 말은 참입니다. 잘림은 거리를 늘리지 않는 연산이기 때문입니다.

이 논문의 저자들은 자신들의 사전등록 문서에 그 가정을 이중 차분에 대해서도 적어 두었고, 거기서는 틀렸습니다. 계량경제학은 오래전부터 잠재 상호작용과 관측된 평균들의 교차 차분을 구분해 왔습니다. Tobin의 검열 회귀가 그 출발점이고, 비선형 이중차분에서는 관측된 교차 차분이 처치효과가 아니라는 Puhani의 결과가 있습니다. 순서형 결과에서는 추정 대상 자체가 잠재 척도 가정 없이는 정의되지 않는다는 지적도 나와 있습니다. 그런데도 LLM 판정자 감사는 짧은 경계 루브릭에서 나온 상호작용 효과를 식별 가능성 점검 없이 보고해 왔습니다. 저자들이 서론에서 직접 지목한 사례는 1점부터 10점까지의 루브릭을 쓰면서 대부분의 평점이 바닥에서 2점 안에 몰려 있던 요인 상호작용 연구입니다.

메커니즘 자체는 간단합니다. 두 응답에 각각 눈에 보이지 않는 잠재 품질이 있고, 판정자가 내놓는 점수는 그 값을 1점과 5점 사이로 자른 결과입니다. 이제 조작한 조건이 두 응답을 똑같은 양만큼 깎는다고 해 봅시다. 차등 선호는 정확히 0입니다. 잠재 수준에서 이중 차분도 0입니다.

관측되는 값은 다릅니다. 잘림 때문에 각 응답은 그 공통 하락을 일부만 보여 줍니다. 얼마나 삼켜지는지는 그 응답이 척도 경계에 얼마나 가까이 앉아 있는지에 달려 있고, 두 응답이 서로 다른 거리에 있으면 삼켜지는 몫도 달라집니다. 관측된 이중 차분은 결국 두 응답이 공통 하락을 얼마나 다르게 감췄는지를 재게 됩니다. 선호의 차이가 아니라 감쇠의 차이입니다.

극단을 보면 분명합니다. 한 응답이 척도 끝에 완전히 붙어 있어 어떤 조건에서도 움직이지 않으면, 그 응답의 변화량은 0입니다. 이중 차분은 남은 응답 하나의 변화량과 정확히 같아지고, 한쪽 응답만의 대조가 두 조건을 견준 상호작용이라는 이름으로 보고됩니다. 이 값은 두 응답이 공통 하락을 똑같이 잘라 낼 때만 0이 됩니다.

여기에 방향의 비대칭까지 붙습니다. 두 응답이 척도 위에서 벌어져 있으면, 종점이 양의 방향으로 커질 수 있는 여유가 음의 방향보다 딱 그 벌어진 거리의 두 배만큼 큽니다. 이 감사의 약한 계층 30문항 평균으로 두 응답은 초보자 프로필 아래에서 4.58점과 1.96점에 앉아 있었고, 양의 방향으로는 6.62점, 음의 방향으로는 1.38점의 여유가 남았습니다. 편향을 찾는 감사가 양수를 만나기 훨씬 쉬운 구조입니다.

저자들이 감사한 것은 앞선 연구가 공개한 판정자입니다. 튜터링 대화를 받아 다음 튜터 발화의 교육적 품질을 채점하며, 990번의 호출 내내 시스템 프롬프트를 한 글자도 바꾸지 않았습니다. 채점 대상은 산-혼합 문장제 여섯 종에서 나온 튜터링 대화 55문항입니다. 각 문항은 학생 발화에서 끊긴 대화와 그 뒤에 올 두 개의 후보 답변으로 이뤄집니다. 하나는 학생이 서 있는 자리에서 다음 추론 단계를 학생에게 남겨 두는 고스캐폴딩 응답이고, 다른 하나는 그 단계를 대신 밟아 주는 저스캐폴딩 응답입니다.

조작한 것은 학습자 프로필 한 덩어리입니다. 프로필 없이 대화와 응답만 주는 조건, 초보자 프로필을 앞에 붙인 조건, 상급자 프로필을 붙인 조건 세 가지입니다. 두 프로필 텍스트는 문장 대 문장으로 평행하게 59단어씩이며, 대화 내용을 암시하지도 판정자에게 가중치를 지시하지도 않습니다. 55문항에 세 조건, 두 응답, 세 번의 반복 채점을 곱하면 990번의 호출이 나옵니다. 판정자는 네 개 교육 원칙마다 하나씩, 그리고 종합 평점 하나를 1점에서 5점 사이 정수로 내놓습니다. 공급자가 이 990번 내내 돌려준 모델 이름은 Claude Opus 4.8입니다.

약한 계층과 강한 계층은 학생이 대화에서 실제로 보여 준 역량으로 문항을 가른 것입니다. 후보 응답도 튜터 정보도 가린 채 대화 맥락만 보고 세 번 따로 라벨을 붙인 뒤 다수결로 정했고, 세 라벨 사이의 일치율은 93%를 넘었습니다. 그렇게 약한 계층 30문항, 강한 계층 25문항이 나왔습니다. 통계의 단위는 문항이 아닙니다. 같은 튜터링 세션에서 뽑은 문항끼리는 독립이 아니어서 원 세션 단위로 먼저 평균 낸 값 위에서 검정과 구간을 계산하며, 약한 계층은 세션 18개, 강한 계층은 10개입니다. 이 글에 나오는 클러스터는 이 세션을 가리킵니다.

결과부터 보면 판정자는 모든 조건과 모든 계층에서 고스캐폴딩 응답을 2.58점에서 3.19점만큼 선호했습니다. 베이스라인 자체가 매우 큽니다. 그 위에서 학습자 프로필이 선호를 흔든 정도, 즉 사전등록된 주 종점은 약한 계층에서 +0.085점이었습니다. 95% BCa 구간은 −0.167에서 +0.353이고, 정확 부호순위검정의 p값은 0.684입니다. 강한 계층도 +0.106에 p=0.914로 같은 방향을 가리킵니다.

저자들은 이것을 부재의 증명으로 읽지 말라고 분명히 적어 두었습니다. 등가 마진도, 관심 있는 최소 효과크기도, 검정력 진술도 사전등록하지 않았기 때문에 편향의 크기가 얼마 아래라는 형태의 주장은 할 수 없습니다. 구간의 상한은 그 자체로 +0.353이고, 시뮬레이션에서 이 검정의 검정력이 0.80을 넘는 지점은 +0.40과 +0.42 사이입니다. 탐지에 실패했다는 것이지 없다는 것이 아닙니다.

널 결과 하나만으로 판정자가 대화 증거에 근거해 채점했다고 읽을 수도 없습니다. 고정된 시스템 프롬프트는 보여 준 대화만 보고 매기라고 지시하고, 프로필 덩어리는 그 지시가 가리키는 인용 구역 바깥에 놓입니다. 판정자가 증거에 근거했다는 해석과 지시를 그대로 따랐다는 해석이 똑같은 널을 예측하는 셈입니다. 사전등록은 그래서 두 해석을 가를 장치를 미리 넣어 두었습니다.

널 결과가 의미를 가지려면 프로필이 채점에 도달하기는 했어야 합니다. 도달했습니다. 응답을 고정한 절대 점수에서 상급자 프로필은 같은 저스캐폴딩 응답을 0.153점 낮게(p=0.00781), 같은 고스캐폴딩 응답을 0.238점 낮게(p=0.0625) 매겼습니다. 두 값이 모두 음수라는 점이 중요합니다. 프로필은 한쪽 응답을 편애한 것이 아니라 양쪽을 함께 깎았습니다. 앞 절이 분석한 공통 심각도 이동, 정확히 그 배치입니다.

움직임은 상급자 프로필 쪽에 몰려 있습니다. 프로필이 없는 조건과 견주면 초보자 프로필은 고스캐폴딩 응답을 +0.009점, 저스캐폴딩 응답을 −0.128점 건드렸을 뿐입니다. 상급자 프로필은 같은 두 응답을 각각 −0.228점과 −0.281점 끌어내렸습니다. 다만 유의했던 항의 p값 0.00781은 비영 클러스터 여덟 개에서 나올 수 있는 가장 작은 값이라, 움직인 클러스터가 전부 같은 방향으로 갔다는 것 이상은 말해 주지 않습니다.

이 하락을 판정자가 라벨에 휘둘린 증거로 곧장 읽는 것도 저자들은 경계합니다. 두 프로필 텍스트는 역량만 다르게 적은 것이 아니라 학생이 도움을 얼마나 청하는지도 함께 적어 두었고, 도움 청하기는 네 항목 가운데 하나가 직접 재는 대상입니다. 상급자로 소개된 학생에게 같은 응답의 점수를 낮게 매긴 판정자는 이름표에 흔들린 것일 수도 있고, 재라고 시킨 것을 제대로 잰 것일 수도 있습니다. 두 읽기를 가르려고 사전등록해 둔 검사, 즉 대화 속 역량 증거가 뚜렷할수록 프로필 효과가 줄어드는지 보는 검사는 널이었습니다. 스피어만 ρ가 −0.179, p가 0.415입니다. 어느 쪽도 지지받지 못했다는 뜻입니다.

사전등록된 세부 항목별 격차 네 개 가운데 명목상 유의한 것은 하나였습니다. 생산적 어려움 항목의 +0.378점입니다. 나머지 셋은 유의 수준에 닿지 못했습니다. 그런데 각 항목을 응답별로 뜯어 보면 순위가 무엇을 재고 있는지가 드러납니다.

지원 수위 조절 항목은 고스캐폴딩 응답이 −0.465점으로 더 크게 움직였는데도 격차는 더 작습니다. 차이를 만든 것은 저스캐폴딩 응답이 얼마나 남아 움직였느냐입니다. 항목 순위가 재고 있는 것은 판정자의 선호가 아니라 잘림의 기하 구조입니다. 네 항목 전체에서 고스캐폴딩 응답이 두 응답 총 움직임의 72~96%를, 격차 자체의 104~164%를 설명합니다.

네 항목이 서로 다른 것을 재고 있어서 순위가 갈린 것도 아닙니다. 판정자가 내놓는 항목 점수들은 강하게 붙어 다닙니다. 그중 두 항목은 990번의 채점 가운데 815번에서 같은 값이었습니다. 내용에서 그만큼 닮은 항목들이 척도 경계에 노출되는 정도에서는 훨씬 크게 갈립니다. 항목별 격차를 나란히 세워 놓고 가장 큰 값을 가장 강한 효과로 읽으면 안 되는 이유가 여기 있습니다.

바닥에 완전히 붙어야만 이 일이 벌어지는 것도 아닙니다. 상황 맞춤 스캐폴딩 항목에는 저스캐폴딩 응답이 세 조건 모두 1.000점인 문항이 하나도 없는데, 고스캐폴딩 응답이 움직임을 거의 다 떠안는 같은 일방향 패턴이 나타납니다. 두 응답이 경계에서 서로 다른 거리에 앉아 있기만 하면 충분하고, 붙박임은 그 거리가 최대로 벌어진 극단일 뿐입니다.

생산적 어려움에서 그 구조가 가장 노골적입니다. 약한 계층 30문항 가운데 17문항에서 저스캐폴딩 응답의 이 항목 점수가 세 조건 모두 정확히 1.000점이었습니다. 바닥입니다. 그 문항들에서 이중 차분은 고스캐폴딩 응답 하나의 변화량과 대수적으로 동일해지고, 데이터도 그 항등식을 정확히 만족합니다. 이 조건으로 갈라 보면 값이 나뉩니다. 바닥에 붙은 쪽에서 +0.472점(p=0.00391), 자유롭게 움직인 쪽에서 +0.149점입니다. 뒤쪽은 비영 클러스터가 다섯 개뿐이라 검정으로는 판정할 수 없습니다.

재구성 절차는 단순합니다. 각 문항에서 관측된 고스캐폴딩 응답의 변화량을 저스캐폴딩 응답에 그대로 옮겨 붙이고, 초보자 조건의 정수 평점 세 개에 더한 뒤 1점과 5점 사이로 자르고 다시 평균 냅니다. 차등 선호를 손으로 0에 묶어 둔 셈이라, 두 응답 사이에 남는 것은 감쇠뿐입니다. 이 구성이 재현한 값이 +0.321점, 관측된 +0.378점의 85%입니다. 판정자가 실제로 내놓는 정수로 반올림하면 79%로 내려갑니다. 저스캐폴딩 응답을 완전히 잘라 냈다면 관측값의 104.5%까지 만들어졌을 것입니다.

남은 +0.057점을 진짜 편향의 몫으로 읽고 싶어지지만, 저자들은 그 길을 막아 둡니다. 이 잔차는 재구성이 저스캐폴딩 응답에 대해 낸 예측 오차이고, 비영 클러스터 다섯 개 위에서 계산된 값이라 도달 가능한 최소 p값조차 유의 수준을 넘습니다. 아무것도 한정하지 못합니다. 재구성은 문제의 공통 하락을 가정하고 출발하므로 분해가 아니라 반례라는 것이 저자들의 표현입니다. 생산적 어려움 결과가 앵커링 해석을 지지하지 못한다는 것까지가 이 데이터가 말할 수 있는 전부입니다.

사전등록 문서에는 잘림이 효과를 줄이기만 하므로 관측된 값은 하한이라는 문장이 들어 있었습니다. 이 가정은 경계가 그 너머의 잠재적 움직임만 가린다고 볼 때 성립합니다. 실제로는 그렇지 않습니다. 천장 위에 있는 잠재값은 하락 폭이 여유분을 넘어설 때까지 점수가 내려가지 않으므로, 천장은 상승뿐 아니라 하락도 가립니다.

데이터가 그것을 보여 줍니다. 초보자 조건에서 고스캐폴딩 응답이 5.000점에 붙어 있던 문항 16개 중 상급자 조건에서 점수가 내려간 것은 하나뿐이었습니다. 붙어 있지 않던 14개 중에서는 8개가 내려갔습니다. 피셔 정확검정 p값은 0.0043입니다. 그래서 잘림을 되돌리면 종점이 어느 쪽으로 움직이는지조차 자명하지 않습니다. 이 감사에서는 오히려 고스캐폴딩 응답이 더 크게 움직였고, 그 말은 삼켜진 몫이 저스캐폴딩 쪽에서 더 컸다는 뜻입니다.

주 종점 자체도 하나의 값이 아니라 혼합입니다. 프로필 없는 조건에서 이미 고스캐폴딩 응답이 5.000점이던 18문항에서는 −0.205점, 그렇지 않은 12문항에서는 +0.352점입니다. 둘 다 유의하지는 않습니다.

해상도 문제도 함께 읽어야 합니다. 한 단위의 점수는 정수 세 개의 평균인데, 330개 단위 중 284개에서 세 번의 반복이 같은 정수를 냈습니다. 추정값이 성긴 격자 위에 놓여 있다는 뜻입니다. 정수 하나짜리 변경을 최적으로 다섯 번만 고르면 주 종점이 +0.085점에서 0을 지나가고, 여섯 번이면 정확히 0에 앉습니다. 여기서의 0은 관측된 무차별이 아니라 넘지 못한 문턱입니다.

다중검정도 정리되지 않은 채 남아 있습니다. 사전등록된 분석 전체에서 가설검정 21개와 구간추정 26개가 보고되는데, 보정은 등록되지도 주장되지도 않았습니다. 생산적 어려움 결과를 가장 직접 떠받치는 부호검정은 검정족이 넷보다 커지면 어떤 보정도 견디지 못한다고 저자들이 직접 적었습니다. 이 글이 다루는 반례가 성립하는 데는 보정이 필요 없지만, 애초에 그 항목이 유의했다는 진술을 얼마나 무겁게 받아들일지에는 영향을 줍니다.

그렇다고 사전등록이 틀린 가정을 품고 있었다는 사실이 이 감사 전체를 무너뜨리지는 않습니다. 저자들의 정리는 좁고 분명합니다. 주 종점이 널이므로 머리기사에 해당하는 결과는 그 오류에 오염되지 않았습니다. 달라지는 것은 만약 주 종점이 널이 아니었다면 그 값이 무엇을 주장할 자격을 줬겠느냐이고, 그것이야말로 사전등록이 미리 정해 두려던 대목입니다. 등록해 둔 보호는 프로필이 채점을 어떻게든 건드렸다는 약한 해석까지만 덮었고, 항목별 이차 분석은 아예 덮지 못했습니다. 분석을 미리 묶어 두는 일과 분석을 타당하게 만드는 일은 같지 않습니다.

이 논문에서 다른 감사로 옮겨 갈 수 있는 것은 널 결과가 아니라 메커니즘입니다. 짝지어진 조건 대조는 LLM 판정자 감사에서 아티팩트를 막는 표준 방어였고, 같은 문항 안에서 한 번 더 빼는 것은 그 방어를 강화하는 자연스러운 수순이었습니다. 그런데 경계가 있는 척도 위에서는 자극이 좋아질수록 그 설계가 한쪽 응답만의 심각도 대조로 변합니다. 조작 검증을 통과시키는 응답 사이의 간격이 바로 응답들을 경계에 못 박는 그 간격이기 때문입니다. 평가 대상 시스템이 좋아지고 짧은 루브릭의 점수가 상단에 쌓일수록, 보고되는 상호작용 중 더 많은 몫이 잘못된 이름을 단 감쇠 차이가 됩니다.

6.1감사 자료 안에서 확인할 수 있는 세 가지

다행히 이 문제는 감사가 이미 가진 평점만으로 진단됩니다. 저자들이 제시한 절차는 세 단계입니다.

• • 모든 조건에서 척도 경계에 붙어 있는 응답이 몇 개인지 셉니다. 그런 응답의 변화량은 정의상 0이고, 그 문항에서 이중 차분은 반대쪽 응답 하나의 변화량입니다.
• • 그 조건으로 표본을 갈라 종점을 따로 계산합니다. 보고된 효과가 한쪽 응답만의 대조가 되어 버린 자리에 얼마나 몰려 있는지가 드러납니다.
• • 자유로운 응답의 관측된 변화량을 붙박인 응답에 옮겨 붙이고 잘라 냅니다. 차등 선호를 0으로 묶은 이 구성이 재현하는 크기가, 검열만으로 만들어질 수 있는 크기입니다.

저자들은 이 절차가 교정이 아니라 진단이라고 선을 긋습니다. 잘림을 되돌린 점 추정치를 내놓지 않고, 잠재 종점을 복원하려면 관련 경계를 피하는 응답 형식이나 검열과 순서형 문턱을 명시적으로 다루는 잠재변수 모형이 필요하다고만 적습니다. 그렇게 얻은 값은 그 모형의 가정에 다시 기대게 됩니다.

논문 자체의 범위도 좁습니다. 판정자 한 개, 루브릭 하나, 산-혼합 문장제 여섯 종, 23개 원 튜터링 세션에서 뽑은 55문항입니다. 두 후보 응답은 스캐폴딩 말고도 여러 면에서 다릅니다. 물음표는 고스캐폴딩 응답 55개 중 37개에 있고 저스캐폴딩 쪽에는 하나뿐이며, 답을 상자에 넣은 것은 저스캐폴딩 쪽에만 18개 있습니다. 코퍼스에서 가져온 저스캐폴딩 응답 29개 중 26개는 한 튜터 모델에서 나왔습니다.

판정자의 정체도 완전히 고정되지는 않습니다. 공급자가 돌려준 식별자는 별칭 하나뿐이고 날짜가 박힌 스냅샷은 응답에도 공개 로그에도 없어서, 나중에 같은 이름으로 호출해도 같은 모델에 닿는다는 보장이 없습니다. 저자들이 붙잡은 것은 두 시점 사이의 일치 하나입니다. 각 문항의 원래 튜터 발화를 프로필 없이 다시 채점해 보니 평균이 3.891점으로 코퍼스의 3.879점과 거의 같았고, 피어슨 r은 0.979, 55문항 중 40개가 정수까지 정확히 일치했습니다. 이 비교가 덮는 범위는 990번 가운데 165번입니다.

원문은 arXiv:2608.27309에서 볼 수 있습니다. 감사 대상이 된 판정자와 튜터링 코퍼스는 같은 연구진의 arXiv:2607.28128에 공개돼 있습니다.