Executive Summary

2026년 9월 11일 arXiv에 올라온 논문 한 편이 던진 물음은 짧다. 프런티어 모델이 정말 물리를 못 푸는가. 물음이 나온 자리도 분명하다. 널리 인용되는 물리 벤치마크에서 최신 모델의 점수가 낮게 나왔고, 그 점수가 그대로 "아직 물리는 어렵다"는 인상으로 유통됐다. 저자 51명이 이름을 올린 이 논문은 그 인상을 뒤집으려 한 것이 아니라, 점수가 만들어진 자리를 열어 본다. 모델이 틀렸다고 기록된 응답을 한 건씩 꺼내 사람이 다시 채점하는 방식이다.

연구진이 그 점수를 의심한 데에는 이유가 있었다. 논문 서론은 같은 기간 수학 쪽에서 벌어진 일을 먼저 놓는다. 프런티어 모델과 그 위에 얹은 에이전트가 미해결 수학 문제의 새 증명과 해에 기여했다는 보고가 잇따랐고, 논문은 그 사례들을 서론에 목록으로 단다. 그러면서도 논문은 그것이 물리 점수를 설명해 주지 않는다고 선을 긋는다. 물리에는 모형을 세우고, 추상하고, 어떤 가정을 둘지 정하는 일이 더 붙기 때문이다. 정작 서론이 결정적인 어긋남으로 드는 것은 다른 쪽이다. 실제 연구에서 모델을 써 본 물리학자들이 보고하는 능력이 벤치마크 점수와 맞지 않는다는 것. 논문의 중심 물음은 바로 그 자리에서 나왔다.

감수를 실제로 수행한 데이터 감사자는 39명이고 주로 물리학 박사과정생이다. 물리 자문으로 따로 이름을 올린 사람은 12명인데, 이들의 역할은 자기 분야의 물리를 논의하고 대학원생을 감사자로 보증하는 것이라고 부록 G가 적는다. 다만 두 명단은 배타적이지 않다. 감사자 39명을 자문 12명과 대조하면 다섯 사람이 양쪽에 다 들어 있다. 논문 본문은 이 팀을 "주로 예일대에 기반을 둔 물리학자들"이라고만 적는다. 저자 명단에는 물리학자가 아닌 사람도 있으므로, 이 연구를 "물리학자 51명이 감수했다"고 옮기면 사람 수도 역할도 틀리게 된다.

1.1먼저 분모를 놓는다

이 논문에서 가장 자주 잘못 인용될 수치가 250이다. 250은 전체 문항 수가 아니다. 네 벤치마크에서 돌린 감사 실행이 다룬 응답은 모두 502건이고, 그중 252건은 정답으로 처리돼 감사에 넘어가지도 않았다. 사람이 다시 본 것은 오답으로 기록된 나머지 250건이다. 그러니 이 뒤에 나오는 비율은 전부 "오답 250건 중"이라는 분모를 달고 읽어야 한다. 물리 문제의 95%가 결함이라는 문장은 이 연구가 한 적 없는 말이다.

표본을 고른 방식에도 단서가 붙는다. 네 벤치마크에서 감사 대상은 한 모델의 시도가 전부 오답으로 평가된 문항으로 좁혀졌다. 사람 손이 드는 검토의 부담을 줄이려는 선택이고, 논문도 그 사실을 §2.3에 적어 둔다. 즉 이 250건은 무작위 표본이 아니라 "어렵게 보이는 쪽"에 치우친 표본이다. 그러니 뒤에 나올 결함률을 벤치마크 전체의 결함률로 읽으면 안 된다.

시도를 몇 번 주었는지도 벤치마크마다 달랐다. 부록 B.3을 보면 HLE-Physics는 문항마다 최대 다섯 번까지 풀렸고 다섯 번째 시도에서만 도구가 허용됐다. PHYBench는 도구 없이 최대 다섯 번이었다. PRISM-Physics와 UGPhysics는 문항당 한 번씩만 풀렸다. 다섯 번을 내리 틀린 문항과 한 번 틀린 문항이 같은 250건 안에 섞여 있다. 감사자가 화면에서 본 것도 그 문항의 응답 전부가 아니라 저장된 응답 한 건과 원래 채점기가 내린 최종 이항 판정이었다. 게다가 이 감사 실행은 표 1의 사전 감사 점수를 낸 실행과 아예 별개다. 선별 규칙도 응답 예산도 달라서, 논문은 부록 C의 귀속 집계를 표 1의 점수를 재구성한 것으로 읽지 말라고 못박는다.

1.2틀림을 세 갈래로 가른다

이 연구의 방법론에서 실제로 쓸모 있는 부분은 화살표가 아니라 이 분류다. 감사자들은 오답 한 건마다 틀림의 책임이 어디에 있는지를 세 갈래로 갈랐다. 분류의 정의는 논문이 직접 적어 두었고, 한국어로 옮길 때 이름을 흔들면 논지가 무너지므로 이 글에서는 아래 세 낱말로 고정해 쓴다.

• 모델 오류: 문제가 제대로 서술돼 있고 참조 해답도 맞는데 모델이 틀린 답을 낸 경우. 논문의 표현으로 "이것만이 진짜 모델의 오류"다.
• 채점기 오류: 문제도 정답지도 멀쩡하고 모델도 맞는 답을 냈는데, 채점기가 그것을 틀렸다고 표시한 경우.
• 문항 결함: 문제 서술이나 참조 해답 자체가 잘못된 경우. 틀린 정답지, 서로 어긋나는 조건, 모호한 서술, 빠진 가정이 모두 여기에 들어간다.

갈라 놓고 세었더니 250건 가운데 문항 결함이 143건, 채점기 오류가 95건이었다. 모델이 실제로 물리를 틀린 것은 12건이다. 둘을 합치면 238건, 그러니까 다시 본 오답의 95.20%가 모델이 아니라 시험지 쪽 문제였다. 벤치마크별로 보면 고장의 모양이 서로 다르다는 것도 함께 드러난다.

공개 문제은행에서 가져온 세 벤치마크만 따로 모으면 기울기가 더 가파르다. 152건 가운데 148건, 97.37%가 시험지 쪽 문제였고 모델 오류는 네 건이었다. PRISM-Physics 표본에서는 감사된 오답 74건 전부가 시험지 쪽 문제였다. 모델이 물리를 틀려서 깎인 점수가 그 표본에는 한 건도 없었다는 뜻이다. 다만 이 74건은 문항당 한 번씩 풀린 결과에서 나왔다. 시도를 더 주었을 때도 같은 수가 나온다는 보장은 이 실행 안에 없다.

이런 일이 처음은 아니다. 페블러스 블로그는 지난 7월 데이터 엔지니어링 벤치마크의 실패 사례를 재채점해 정답지 오류를 찾아낸 연구를 다뤘다. 그때는 실패로 기록된 작업의 82.7%에 채점이나 정답지 문제가 있었고, 성적은 10%포인트에 조금 못 미치게 올랐다. 이번 건이 그 글에 더하는 것은 세 가지다. 효과 크기가 30%포인트대로 커졌다는 것, 결함률이 아니라 모델 잘못의 절대 건수를 세었다는 것, 그리고 감사자 자신이 무엇을 보며 판정했는지를 논문이 부록에 적어 두었다는 것이다.

비율만 보면 고장의 크기는 알아도 모양은 모른다. 논문 부록에는 감사자가 붙인 메모와 함께 실제 장면이 실려 있고, 그 장면들을 읽으면 "시험지가 틀렸다"는 말이 무슨 뜻인지 손에 잡힌다.

2.1옳게 답하고 틀렸다고 기록된 장면

첫 장면은 전자의 비행 시간을 묻는 객관식 문제다. 보기는 330나노초, 66나노초, 33나노초 셋이었다. 모델은 셋 중 하나를 고르지 않고 이렇게 답했다. "주어진 정보로는 결정할 수 없다. 어떤 보기도 유일하게 선택될 수 없다." 채점 결과는 오답이었다. 그런데 이 문항을 다시 본 감사자가 남긴 메모는 한 줄이다. "문제에 정보가 충분히 주어져 있지 않다." 모델은 문제의 결함을 정확히 짚었고, 그 정확함 때문에 점수를 잃었다.

둘째와 셋째는 같은 벤치마크에서 나온 채점기 이야기다. 모델이 낸 답은 T = P/(3√6)이었고 정답지에는 T = (√6/18)P가 적혀 있었다. 분모를 유리화하면 두 식은 완전히 같은 식이다. 채점기가 매긴 점수는 0점이었다. 부분 점수를 주도록 설계된 척도에서도 0.0이 나왔다. 다른 문항에서는 모델이 F_max = 5mRω²라고 썼고 정답지는 F_max = 5mω²R이었다. 곱하는 순서만 다른 같은 스칼라 곱인데 역시 0점이었다. 감사자 메모는 "두 식은 대수적으로 같다"는 한 문장이다.

넷째는 정답지 자체가 틀린 경우다. 어떤 문항에서 참조 해답은 대수식까지는 맞게 세워 놓고 마지막 산술에서 틀렸다. 감사자 메모는 "2−√2가 나와야 한다"고 적는다. 모델이 낸 답이 바로 2−√2였고, 정답지에 적힌 값은 −√2였다. 다른 유형도 있다. 응집물질 이론 문항 하나는 해밀토니안을 쓰지 않아 결합 상수가 파울리 행렬에 붙는지 스핀 연산자에 붙는지가 불명확했다. 두 규약은 에너지를 네 배 차이로 갈라 놓기 때문에, 논문의 표현대로 "바닥 상태 에너지의 수치가 유일하게 정의되지 않는다". 단위와 규약을 적지 않은 라벨이 답을 네 갈래로 벌려 놓은 것이다.

정답지를 고치자 모델의 원래 답이 맞는 쪽에 가까웠던 사례도 나왔다. 한 문항의 참조 답은 보수 전에 두 항목이었고 보수 후에 세 항목이 됐다. 모델은 원래 두 항목으로 답했고, 고쳐진 문제에서는 첫 시도에 세 항목을 맞혔다. 빠진 가정 하나가 정답 자체를 바꿔 놓고 있었다.

부록에는 결이 다른 결함도 실려 있다. 두 우주선의 속도로부터 매질이 흐르는 속도의 최솟값을 구하라는 문항이 그렇다. 부록은 정답지에 인쇄된 식이 정리하면 0이 된다고 적고, 감사자 메모는 "참조 답이 0이고, 그것은 틀렸다"고만 남긴다. 최솟값을 묻는 문제의 정답 자리에 언제나 0을 내놓는 식이 걸려 있었던 것이다. 다른 문항은 감쇠 진동에서 저항이 임계값보다 작을 때 입자가 평형으로 더 빨리 돌아올 수 있는지를 묻고 정답지에 "아니오"를 적어 두었다. 감사자는 임계 감쇠가 넘침 없이 가장 빨리 잦아드는 조건이지 평형에 닿는 가장 빠른 길은 아니라고 적으면서, 문제가 "넘침 없이"를 뜻했을 수는 있으나 그 말이 어디에도 쓰여 있지 않다고 덧붙였다. 앞의 것은 계산이 틀린 경우이고, 뒤의 것은 유능한 두 사람이 같은 문장을 다르게 읽을 수 있는 경우다.

채점기 쪽은 더 멀리 간 장면을 남겼다. 다이빙 선수가 뛰어내려 물속을 내려가는 동안의 운동을 네 소문항으로 묻는 문제에서, 네 소문항 전부에서 모델의 최종 답과 정답지의 최종 답이 같은 값을 가리켰다. 갈린 자리는 반올림한 값에 등호를 쓴 방식, 분수의 인수를 적는 순서, 속도를 V로 쓸지 dx/dt로 쓸지뿐이었다. 감사자 메모는 "두 응답은 동일하다"는 한 문장이고, 채점기가 준 이항 점수는 0이었다.

2.2만든 쪽은 전부 검증했다고 적었다

여기서 이 리포트가 논문 바깥으로 한 걸음 나간다. 감사를 받은 여섯 벤치마크의 원 논문을 열어, 만든 쪽이 자기 정답지의 검증을 어떻게 서술했는지를 찾아봤다. 여섯 곳 모두 검증했다고 적는다. 표현은 제각각이지만 방향은 하나다. 전문가가 만들었고, 답은 명확하며, 기계가 정확히 채점한다.

자기 서술은 각 벤치마크 원 논문의 초록 또는 방법 절에서 옮겼다(HLE arXiv:2501.14249 · CMT-Benchmark arXiv:2510.05228 · CritPt arXiv:2509.26574 · PHYBench arXiv:2504.16074 · PRISM-Physics arXiv:2510.03185 · UGPhysics arXiv:2502.00334, 2026년 9월 15일 확인). 오른쪽 열의 분모는 벤치마크마다 다르다. 위의 넷은 오답으로 기록된 응답이 분모이고, CMT-Benchmark와 CritPt는 전수 또는 감사 대상 전체가 분모다. 세로로 더하거나 평균 내서 읽을 수 없다.

이 표에서 가장 눈에 띄는 것은 HLE다. 초록은 정답이 "모호하지 않고 쉽게 검증 가능"하다고 말하는데, 같은 논문의 검토 절차 서술은 이렇게 적는다. 제출된 문항이 워낙 전문적이어서 "검토자에게는 제공된 풀이의 정확성 전체를 확인하는 일이 5분을 넘을 경우 그것을 요구하지 않았다"는 것이다. 검토자는 대신 문항이 가이드라인에 맞는지를 봤다. 그리고 같은 절이 이렇게 닫는다. "검토 과정의 이러한 한계를 고려해, 우리는 커뮤니티의 피드백을 환영한다."

자기 서술을 자료에 대고 확인하는 일이 늘 가능했던 것도 아니다. 감사팀은 여섯 종 가운데 셋에서 정답지나 채점 코드를 손에 넣지 못했다. PHYBench는 500문항 가운데 참조 해답과 풀이가 공개된 것이 100문항뿐이었고, 논문은 저자들에게 나머지를 요청했으나 받지 못했다고 각주에 적는다. CMT-Benchmark는 참조 해답은 있었지만 저자들의 자동 채점 코드를 구할 수 없어 HLE 계열 채점기를 대신 썼다. CritPt는 공식 참조 해답이 비공개라 감사자들이 직접 문제를 풀어 정답지를 새로 만들었다. 감사의 범위를 정한 것은 연구진의 설계이기 전에 자료의 공개 범위였다.

2.3자동 채점을 가장 내세운 쪽이 가장 많이 틀렸다

채점기만 따로 떼어 보면 순서가 뒤집힌다. 채점의 엄밀함을 가장 크게 내세운 둘이 채점기 오류율 1위와 2위다. PHYBench는 표현 편집 거리라는 자체 척도를 도입해 이항 채점 대비 표본 효율이 204% 높아졌다고 썼고, 감사에서 채점기 오류율 71.43%가 나왔다. PRISM-Physics는 규칙 기반 판정이 다양한 표기에 걸쳐 일관된 검증을 보장한다고 썼고 64.86%가 나왔다. 반대로 채점 정확성에 관해 별도 주장을 하지 않은 HLE 계열 채점기가 4.08%로 이 논문이 감사한 채점기 가운데 가장 낮았다.

규칙이 일관성을 준다는 주장은 정확히 그 지점에서 무너진다. 앞에서 본 두 장면이 그 증거다. 분모를 유리화하면 같은 식, 곱하는 순서만 다른 같은 곱. 사람이 보면 같은 답인데 규칙은 다른 답으로 읽는다. 동치를 못 알아보는 규칙은 흔들리지 않고 일관되게 틀린다. 일관성은 정확성의 보증이 아니라 오류가 재현된다는 뜻이기도 하다.

다만 71.43%라는 수에는 감사자 쪽의 선택이 하나 섞여 있고, 그것을 함께 적지 않으면 이 수가 과장된다. 이 논문은 PHYBench의 부분 점수 설계를 쓰지 않고 편집 거리 점수가 만점인 경우만 정답으로 셌다. 부분 점수를 인정했다면 일부는 오답으로 분류되지 않았을 수 있다. 다만 위의 두 장면은 부분 점수에서도 0.0이었다. 이항화라는 선택만으로는 그 결함이 설명되지 않는다.

UGPhysics의 13.64%에도 단서가 붙는다. 이 벤치마크는 원래 규칙 기반 판정에 보조 모델 판정을 얹은 구조인데, 논문은 사전 감사를 돌리기 전에 원래의 구형 판정 모델을 프런티어 모델로 교체했다. 즉 13.64%는 원래 파이프라인 그대로의 값이 아니라 판정자를 한 세대 올린 뒤의 값이다. 이 논문이 감사한 채점기 가운데 가장 나은 것이 4.08%였다는 사실도 안심할 근거는 못 된다. 25건에 한 건꼴로 틀린다는 뜻이기 때문이다. 채점기의 오류율을 아무도 재지 않은 채 점수만 유통돼 온 셈이다.

논문이 채점기와 정답지를 갈라서 감사한 이유도 여기에 있다. 규칙 기반 판정이 실패하면 모델 판정자로 넘기는 파이프라인이 흔한데, 모델 판정자에게는 위치 편향과 장황함 편향, 그리고 객관적 추론 과제에서의 낮은 정확도라는 자기 몫의 실패가 따라붙는다. 그렇다고 어느 판정자를 고르느냐가 참조 해답이 맞는지를 결정해 주지도 않는다. 두 층은 서로 독립이고, 그래서 논문은 문항과 참조 해답의 감사를 응답 채점의 감사와 떼어 놓았다. 하나 더 적어 둘 것이 있다. 보정 점수는 여섯 종 전부가 같은 채점기, 그러니까 오류율 4.08%로 가장 나았던 그 HLE 계열 파이프라인으로 매겨졌다. 고쳐진 점수도 결함 없는 자로 잰 값은 아니다.

이 연구는 대개 화살표로만 인용될 것이다. 어떤 벤치마크에서 점수가 47.3%에서 78.7%로 올랐고, 다른 벤치마크에서는 61.0%에서 87.2%가 됐다. 그런데 화살표 하나에는 서로 다른 세 가지 조작이 겹쳐 있다. 정답지를 고친 것, 채점을 다시 한 것, 그리고 고칠 수 없는 문항을 아예 빼 버린 것이다. 셋 중 어느 것이 얼마를 밀어 올렸는지 논문은 분해해 보고하지 않는다. 그러니 읽는 쪽이 분해해야 한다.

지표부터 짚어 둔다. mean@4는 같은 문제를 네 번 풀렸을 때의 평균 정답률이고, pass@4는 네 번 중 한 번이라도 맞히면 정답으로 치는 값이다. 그래서 pass 쪽이 언제나 같거나 높다. 아래 표의 수치는 전부 mean@4이며, 한 모델의 값만 옮겼다.

3.1문항 수를 점수 옆에 세운다

논문 자신이 초록에 단서를 달았다. "보정 점수는 전문가 검토 이후 남긴 평가 부분집합에서 계산된다." 본문 §3은 더 직접적이다. 보정 평가는 남기거나 보수한 문항 집합을 쓰기 때문에 "사전 감사 점수와 보정 점수가 언제나 같은 문항에서 계산되는 것은 아니다". 그러니 점수 옆에는 문항 수가 함께 서 있어야 한다.

출처: arXiv:2609.13009 표 1. 수치는 GPT-5.6-Sol의 mean@4이며, CritPt의 사전 감사 값만 외부 집계 기관이 잰 mean@5다. 세 모델의 점수를 나란히 놓고 우열을 읽을 수는 없다. 공개 문제은행 세 종에서는 모든 모델이 도구 없이 답했고, 전문가 저작 세 종에서는 두 모델만 도구를 썼다.

문항 수 열만 떼어 보면 무엇이 일어났는지가 한눈에 들어온다. HLE-Physics는 202문항으로 시작해 116문항으로 끝났다. 86문항이 빠졌고, 빠진 것은 무작위로 고른 문항이 아니라 감사에서 결함으로 판정된 문항이다. 감사 대상 자체가 모델이 네 번 다 틀린 문항이었으니, 빠진 쪽에는 어려운 문항이 몰려 있었다고 보는 편이 자연스럽다.

3.2가장 깨끗한 비교는 하나뿐이다

그래서 이 논문의 논지를 단단하게 받치는 쪽은 큰 화살표가 아니라 문항이 거의 그대로였던 벤치마크다. CMT-Benchmark는 50문항 전체를 감사했고, 30문항에서 결함을 찾았고, 그중 29문항을 보수했고, 제외한 것은 한 문항뿐이다. 논문은 이 벤치마크에 관해 "보정 전후에 같은 평가기를 쓴다"고 적고, "보정은 벤치마크 자료에만 가해졌다"고 덧붙인다. 문항 집합도 채점기도 거의 그대로인 조건에서 점수는 61.00%에서 87.24%로 올랐다.

전수로 감사한 두 벤치마크가 남긴 수치도 같은 방향을 가리킨다. CMT-Benchmark는 50문항 중 30문항, CritPt는 감사한 56챌린지 중 21챌린지에 결함이 있었다. 오답만 골라 본 표본이 아니라 문항 전체를 열어 봐도 결함률이 30~60% 자릿수라는 뜻이다. 표본을 어렵게 잡아서 결함률이 높게 나온 것 아니냐는 반론을, 논문이 자기 데이터 안에서 미리 받아 둔 셈이다.

3.3CritPt는 따로 놓아야 한다

반대편 끝에 CritPt가 있다. 이 벤치마크의 화살표는 다른 다섯과 성격이 다르다. 사전 감사 점수는 저자들이 잰 값이 아니라 외부 집계 기관이 70챌린지에서 잰 mean@5이고, 보정 점수는 저자들의 파이프라인이 남긴 54챌린지에서 잰 mean@4다. 게다가 공식 참조 해답을 구할 수 없어서, 논문의 표현대로 "보정 평가는 우리 감사자들이 독립적으로 도출한 참조 해답을 쓴다". 문항도 지표도 채점 주체도 정답지도 바뀌었다.

보정 후 CritPt에서 나온 pass@4 94.4%가 이 논문에서 가장 자극적인 수치일 것이다. 이 글은 그것을 헤드라인으로 쓰지 않는다. 네 번 중 한 번만 맞히면 정답으로 치는 지표이고, 비교 대상이 되는 사전 감사 pass@4 값은 애초에 존재하지 않는다. 논문 표의 그 칸은 비어 있다. 화살표를 그릴 수 없는 수치를 화살표의 끝점처럼 읽으면 안 된다.

정리하면 이렇다. 상승분 전체를 재채점의 효과로 부르는 것은 과장이고, 문항 제외의 효과로 부르는 것은 축소다. 벤치마크마다 두 효과의 배합이 다르고, 그 배합을 분해한 유일한 사례가 문항을 한 개만 뺀 CMT-Benchmark다. 다른 벤치마크의 화살표를 인용할 때는 문항 수를 같은 문장에 적는 편이 안전하다.

점수는 잊혀도 §5 토의 절의 한 줄은 남는다. 어떤 벤치마크에도 결함 문항이 일정 비율 섞여 있고, 모델은 그 문항에서 무슨 답을 내든 틀린 것으로 기록된다. 그러므로 "어떤 모델의 측정 오답률도 결함률 아래로 내려갈 수 없다". 결함률은 측정의 바닥이고, 그 바닥은 모델이 무엇을 하든 사라지지 않는다.

여기까지는 산수다. 흥미로운 것은 그다음이다. 모델이 약할 때는 이 바닥이 보이지 않는다. 논문의 표현으로 "모델이 여전히 멀쩡한 문항을 많이 틀리는 동안에는 결함이 오차에 조금 보탤 뿐"이다. 그러다 모델의 진짜 오답률이 결함률 아래로 내려가면 상황이 뒤집힌다. "점수판에 적힌 오류의 대부분이 모델의 것이 아니라 벤치마크의 것이 된다." 논문은 프런티어 모델의 진짜 오답률이 이미 가용한 벤치마크의 결함률보다 한참 아래로 내려갔다고 본다.

이 뒤집힘이 이미 일어난 자리를 논문은 자기 데이터 안에서 짚는다. PRISM-Physics 표본에서는 감사된 오답 가운데 모델 오류가 한 건도 없었고, UGPhysics에서는 한 건이었다. 두 벤치마크에서 기록된 오답은 사실상 전부 결함이다. HLE-Physics와 PHYBench는 아직 그 지점에 닿지 않았지만, 논문은 그 둘에서도 가공되지 않은 오답률이 모델의 몫을 대략 한 자릿수, 그러니까 열 배 안팎으로 부풀린다고 적는다.

같은 절에서 논문이 처방으로 드는 것은 거창하지 않다. 문항에 빠진 맥락을 채워 넣거나 모델에게 시도를 더 주는 정도의 작은 손질로 보고된 실패의 대부분이 고쳐질 것이라고 적는다. 뒤의 것이 눈에 걸린다. 시도 예산을 늘리는 일은 시험지를 고치는 일이 아니라 재는 방식을 바꾸는 일이다. 보고된 실패 가운데 얼마가 그 몫인지를 논문은 따로 재지 않았다.

4.1왜 하필 지금 드러났나

결함이 어제 생긴 것은 아니다. 드러나는 조건이 바뀌었을 뿐이다. 채점기가 틀리는 방식은 주로 맞는 답을 틀렸다고 표시하는 쪽인데, 약한 모델은 맞는 답을 자주 내지 못한다. 채점기에게 틀릴 기회가 적다. 능력이 올라가 맞는 답이 흔해지면 채점기의 실수가 쌓이고, 측정값과 실제 사이의 간격이 벌어진다. 논문이 선행 연구를 요약하며 옮긴 이 설명은 고정된 벤치마크가 높은 정확도 구간에서 통계적 검출력을 잃는다는 오래된 지적과 이어진다. 정확도 98%에서 98.1%로 가는 것은 80%에서 81%로 가는 것과 같은 비율의 오차를 없애지만, 그 차이를 검출하려면 평가 데이터가 열 배쯤 더 든다는 것이다.

논문이 그 선행 연구에서 가져온 것은 검출력만이 아니다. 요약된 바로는, 그 연구는 쓸 만한 벤치마크가 갖춰야 할 조건을 넷으로 제시했고 그중 둘이 이 감사의 자리에 바로 걸린다. 하나가 방금 본 검출력이고, 다른 하나가 신뢰할 수 있는 주석이다. 뒤의 것에 붙은 정의가 이 감사와 곧장 맞물린다. 그냥 라벨이 잘못 붙은 항목과, 애초에 정답이 하나로 정해지지 않는 항목을 갈라야 한다는 것이다. 후자가 생기는 경로로 그 연구가 든 것도 둘인데, 문제가 덜 규정됐거나 유능한 사람들이 그 문장을 서로 다르게 읽는 경우다. 이 감사가 오답을 세 갈래로 가른 분류도, 5절에서 볼 감사자들 사이의 불일치도 그 정의 안에 이미 들어 있었다.

페블러스 블로그는 반대쪽 끝에서 같은 구조를 이미 한 번 다뤘다. 모델을 한 번도 돌리지 않고 어떤 시각 벤치마크의 도달 가능한 최고값을 계산한 연구가 그것이다. 그 글에서 계산된 값은 모델의 몫이 어디서 시작되는지를 확정해 주는 쪽이었다. 이번 글의 결함률은 정반대로 작동한다. 모델의 몫이 어디서 끝나는지를 가려 버린다. 하나는 모델에게 책임을 돌려주고, 다른 하나는 모델의 책임을 시험지의 몫과 뒤섞는다.

4.2물리만의 일이 아니라는 증거

정답지 오류가 모델의 순위까지 뒤집을 수 있다는 것은 다른 분야에서 이미 정량으로 나와 있다. 2021년의 라벨 오류 연구는 컴퓨터 비전과 자연어, 오디오의 대표 테스트셋 열 곳에서 라벨 오류를 찾아냈다. 이미지넷 검증셋의 라벨 오류율은 5.83%였다. 비율보다 순위 쪽이 문제였다. 오류가 섞인 부분집합을 기준으로 사전학습 모델 예순여 개의 등수를 다시 매기자, 1위였던 모델이 29위로 내려가고 34위였던 훨씬 작은 모델이 1위로 올라갔다. 용량이 큰 모델일수록 원본의 잘못된 라벨까지 외워 버린 탓이다.

다만 5.83%와 이 글의 57.20%(250건 중 143건)를 나란히 놓고 물리가 이미지 인식보다 훨씬 더 엉망이라고 읽으면 안 된다. 앞의 값은 테스트셋 전체가 분모이고, 뒤의 값은 오답으로 걸러진 250건이 분모다. 두 수는 같은 자 위에 있지 않다. 두 연구가 공유하는 것은 비율이 아니라 구조다. 라벨이 틀리면 점수가 틀리고, 점수가 틀리면 순위가 틀린다.

코딩 쪽 선례는 이 논문이 §4에서 직접 인용한다. 페블러스 블로그도 그 벤치마크가 결함과 포화를 이유로 퇴역한 과정을 따로 다룬 적이 있으므로 수치는 옮기지 않는다. 대신 논문이 붙인 대목만 살린다. 코딩 벤치마크에는 과제마다 실행 가능한 테스트가 딸려 있는데도 결함이 두 차례의 큐레이션을 통과했고, 물리 벤치마크에는 그런 테스트조차 없다는 것이다. 물리는 글로 쓰인 참조 해답에 대고 채점하므로, 논문의 표현대로 "답을 하나하나 다시 유도해 보는 것 말고는 결함을 찾을 방법이 없다".

하나 더 구분해 둘 것이 있다. 페블러스 블로그가 앞서 다룬 에이전트 벤치마크의 신뢰 문제는 점수를 잘 받으려고 규칙의 빈틈을 파고드는 쪽의 이야기였다. 이번 건은 성격이 다르다. 여기에는 속인 사람이 없다. 문항을 만든 사람도, 채점기를 짠 사람도, 리더보드를 돌리는 쪽도 각자 성실했고, 그런데도 점수가 틀렸다. 조작은 동기를 지우면 사라지지만, 실수는 검증 절차를 세우지 않으면 사라지지 않는다.

이 절의 내용은 전부 논문 부록 F에서 가져왔다. 먼저 그 사실부터 적어 둔다. 감사 설계의 약한 고리를 밖에서 찾아낸 것이 아니라 저자들이 직접 적어 두었고, 그래서 우리가 그것을 읽을 수 있다. 이 절은 비판이 아니라 그 기록을 따라 읽는 것이다. "누가 정답을 검수했는가"라는 물음은 검수를 수행한 이 논문 자신에게도 되돌아오기 때문이다.

5.1감사자는 무엇을 보며 판정했나

250건을 다시 본 사람들은 물리학 박사과정생이다. 이들이 화면에서 본 것은 네 가지였다. 문제 서술, 참조 해답, 모델의 응답, 그리고 "AI가 생성한 예비 검토"다. 검토자는 자기 전문 분야를 고르고 전에 본 적 없는 문항을 배정받았으며, 인터페이스는 한 사람에게 30건의 검토를 요청하고 전문 밖 문항은 15건까지 건너뛸 수 있게 했다.

분류에는 우선순위 규칙이 하나 걸려 있다. 문제 서술이나 참조 해답에 결함이 있으면 다른 판정보다 문항 결함이 앞선다. 143건이라는 수가 세 분류 중 가장 큰 이유의 일부가 여기 있다. 같은 문항에서 채점기도 함께 틀렸을 수 있지만, 시험지가 먼저 틀렸으면 그 문항은 문항 결함 한 칸에만 적힌다.

전수로 감사한 두 벤치마크는 절차가 더 촘촘한 대신 사람은 더 적었다. 문제 하나는 "한 명의 검토자"에게 배정됐고, CritPt의 경우 그 한 명은 해당 세부 분야의 전문가, 그러니까 교수이거나 지도교수가 참여를 보증한 연구자였다. 검토자는 참조 해답을 읽기 전에 자기 접근법을 먼저 적어야 했다. 마지막 단계의 규정은 이렇다. "보조를 위해 AI 도구를 쓸 수 있으나, 제출한 결과를 독립적으로 검증할 책임은 검토자에게 있다."

5.2두 사람이 본 문항에서 28.57%가 갈렸다

250건에 붙은 판정은 모두 446건이다. 두 사람이 본 문항이 196건, 한 사람만 본 문항이 54건이고, 논문은 후자의 이유를 "인력의 한계"라고 적는다. 두 번 본 196건 가운데 두 판정이 일치한 것이 140건, 갈린 것이 56건이다. 갈린 56건은 전부 세 번째 검토로 정리됐다.

갈린 비율보다 갈린 자리를 봐야 한다. 정리 전의 불일치를 유형별로 세면 아래와 같다.

출처: arXiv:2609.13009 부록 F 표 3·4. 표 4의 건수는 세 번째 검토로 정리하기 전의 값이다. 이 두 표는 논문 전문에서 옮긴 전사본에 근거하며, 내부 합계는 검증했다(196 + 54 = 250, 140 + 56 = 196, 34 + 19 + 3 = 56).

5.3이 정도 불일치는 흔한가

일치한 140건은 두 사람이 본 196건의 71.43%다. 이 일치율을 어떻게 읽어야 하는지는 이 논문만으로는 판단할 수 없다. 세 갈래로 가르는 과제에서 아무렇게나 찍어도 대략 3분의 1은 맞으므로, 71.43%는 무작위 수준보다 명백히 높다. 반면 주석 작업 문헌이 "충분하다"고 부르는 구간은 보통 원자료 일치율 80% 위쪽이다. 그 사이 어디쯤이라는 뜻이다. 우연에 의한 일치를 보정한 지표는 이 논문이 보고하지 않았고, 세 분류의 분포가 143 대 95 대 12로 크게 기울어 있어 보정하면 인상보다 낮게 나올 가능성이 있다.

같은 렌즈를 댄 기록이 이 블로그에도 하나 있다. 라벨러 세 명의 판정이 갈린 사례다. 다만 그 글의 일치율은 이 논문의 수치와 나란히 놓을 수 없다. 그쪽은 열세 갈래를 세 사람이 판정한 과제이고, 이쪽은 세 갈래를 두 사람이 판정한 과제다. 갈래가 많아질수록 우연히 일치할 확률이 떨어지므로, 두 수치는 애초에 다른 기준선 위에 서 있다. 두 사례가 공유하는 것은 숫자가 아니라 태도다. 불일치를 잡음으로 지우지 않고 기록으로 남겼다는 것.

5.4AI가 만든 예비 검토를 함께 본다는 것

주석 작업에서 모델의 제안을 사람에게 먼저 보여 주면 어떻게 되는지는 최근 몇 년 사이 여러 번 측정됐고, 결과는 한쪽으로 모이지 않는다. 대규모 사전등록 실험에서 라벨 분포가 모델 제안 쪽으로 유의하게 이동한 사례가 있다. 반면 모델의 힌트를 준 조건과 주지 않은 조건에서 일치도가 거의 같게 나온 연구도 있다. 첫인상이 이후 판단 전체를 지배한다는 강한 형태의 주장은 검증에서 기각된 사례도 있다.

그러므로 이 논문의 설계가 틀렸다고 말할 근거는 없다. 말할 수 있는 것은 다른 것이다. 이 감사는 편향 위험이 알려진 설계를 썼고, 그 위험의 크기를 이 논문 안에서는 잴 수 없다. 250건 중 54건은 한 사람만 봤고, 두 사람이 본 것 중 28.57%는 판정이 갈렸다. 정답을 검수하는 층에도 품질 문제가 있고, 그 층을 감사한 사람은 아직 없다.

논문의 제목에는 "포화에 가깝다"는 말이 들어 있다. 이 말이 어디까지 미치는지를 논문 자신이 같은 절에서 좁혀 놓았고, 그 단서를 떼면 글 전체가 틀린 방향으로 굴러간다. 그러니 먼저 사정거리부터 그어 둔다.

6.1포화는 문제집 안의 이야기다

포화 주장의 대상은 닫힌 형태의 문제, 그러니까 정답이 하나로 떨어지는 문제집형 문항이다. 같은 절에서 논문은 이렇게 적는다. 모델이 물리에서 전환점에 닿았다고 볼 수는 있어도 "이로부터 프런티어 모델이 물리 연구를 처음부터 끝까지 수행할 수 있다는 결론은 결코 따라 나오지 않는다". 근거는 자기 손으로 해 본 실험이다. 수학의 미해결 추측에서 성과를 낸 것과 같은 계열의 에이전트 구성을 이론물리의 미해결 문제 여럿에 붙여 봤고, 결과는 짧다. "지금까지 이 방식으로 그 문제들 가운데 단 하나도 완전히 풀지 못했다."

다만 이 0건을 "모델이 물리 연구에 아무것도 보태지 못했다"로 읽으면 논문이 같은 지면에 적어 둔 다른 목록과 어긋난다. 논문 §4는 표준 벤치마크 바깥에서 프런티어 모델과 함께 수행된 물리 작업을 셋 든다. 어떤 보고서는 모델이 앞선 연습 문제를 거친 뒤 숨겨진 대칭 대수를 재구성했다고 적고, 어떤 연구자는 모델을 데리고 긴 이론물리 과제를 밀고 나가 새 인수분해 정리와 C-파라미터 재합 계산을 얻었다고 적고, 또 다른 팀은 모델에 트리 탐색과 수치 피드백을 붙여 우주 끈 복사의 해석적 결과를 유도했다. 논문이 그 목록에 곧바로 붙인 단서가 중요하다. 셋 중 어느 것도 미공개 문항에서 받은 점수가 아니고, 전부 사람 전문가나 외부 검사기를 고리에 넣은 채 몇 시간에서 몇 주에 걸쳐, 대조할 참조 해답이 없는 계산에서 나왔다는 것이다. 0건은 사람을 뺀 자리의 수이고, 사람을 넣은 자리의 기록은 따로 있다.

닫힌 문제에서의 포화와 열린 문제에서의 영점은 모순이 아니다. 문제집은 답이 이미 있는 문제를 모아 둔 것이고, 연구는 답이 아직 없는 자리에서 시작한다. 이 논문이 말하는 것은 전자의 난이도가 바닥났다는 것이지 후자가 풀렸다는 것이 아니다. 그래서 논문의 결론은 "이제 됐다"가 아니라 "더 어렵고 제대로 검증된 평가가 필요하다"로 닫힌다.

6.2같은 이름 아래 두 개의 점수

실무자가 당장 부딪히는 장면은 논문 바깥에 있다. 지금 공개돼 있는 점수판이다. 논문이 감사한 여섯 종 가운데 주요 집계 지수에 들어가 있는 물리 벤치마크는 CritPt 하나인데, 2026년 9월 15일 기준으로 Artificial Analysis의 CritPt 리더보드에는 GPT-5.6-Sol의 32.3%가 그대로 떠 있다. 논문이 사전 감사 수치로 인용한 mean@5 32.29%와 사실상 같은 값이다. 독자가 오늘 그 페이지에서 보는 물리 점수는 정답지를 고치기 전의 값이라는 뜻이다.

리더보드를 돌리는 쪽을 탓할 일은 아니다. Artificial Analysis는 벤치마크를 만든 곳이 아니라 남이 만든 평가셋을 받아 실행하는 곳이고, 실행의 일관성에는 공을 들인다. 다만 참조 정답의 정확성이나 채점기의 신뢰도를 어떻게 검증하는지에 관해서는 공개된 방법론이 없다. 흥미로운 것은 같은 곳이 다른 평가셋에서는 이미 정답지를 고친 전례가 있다는 사실이다. 자체 장문 추론 평가셋의 개정판 설명에 정답 키 16건을 바로잡았다는 문장이 들어 있다. 정답지가 틀릴 수 있다는 것을 실무적으로는 이미 알고 있는데, 그 절차가 공개 문서로 정리되지는 않았다.

반대편에서는 다른 판본이 돌아다닌다. 앤트로픽의 시스템 카드에는 CritPt-Corrected라는 항목이 실려 있는데, 이것은 공개판이 아니라 사내 교정판이다. 논문이 전하는 바로는 71개 문항 가운데 31개에 전문가 수정을 받아 만든 벤치마크이고, 문항마다 열여섯 번의 최대 노력 시도와 도구 사용이 허용됐으며, 판정은 자사 모델이 맡았고, 그 조건에서 나온 값이 88.4%다. 그쪽이 적은 지표 이름은 평균 pass@1인데, 논문은 자기 표기로 옮기면 mean@16에 해당한다고 따로 밝힌다. 시스템 카드에는 그 교정판 점수만 실리고, 같은 자리에 교정 전 점수가 나란히 놓이지는 않는다. 다만 이 서술은 논문의 인용과 2차 요약을 경유한 것이다. 시스템 카드 원문 파일을 직접 열어 확인하지는 못했다.

논문이 공개된 지 나흘째다. 감사를 받은 벤치마크의 관리 주체가 여기에 공개적으로 답했는지, 정정판을 냈는지는 이 글을 쓰는 시점까지 확인하지 못했다. 반응이 없다는 뜻이 아니라 확인하지 못했다는 뜻이다. 각 벤치마크 저장소의 이력은 따로 조사하지 않았다.

6.3점수표를 받았을 때 물어야 할 것

조직이 모델을 고르거나 도입을 판단할 때 손에 쥐는 것은 대개 점수표다. 이 논문이 그 점수표에 더하는 축은 하나다. 이 점수의 결함률은 얼마인가. 같은 축이 사내 평가셋에도 그대로 적용된다. 물어야 할 것을 다섯 줄로 줄이면 이렇다.

• 이 점수의 정답지는 누가 검수했고, 검수에 몇 사람이 얼마의 시간을 썼는가.
• 오답으로 기록된 응답을 사람이 다시 본 적이 있는가. 있다면 그 결과를 모델 오류와 채점기 오류와 문항 결함으로 갈랐는가.
• 그 비율을 점수 옆에 적었는가. 결함률이 없는 평가 보고서는 자릿수를 모르고 읽는 숫자다.
• 우리가 보는 이 수치는 어느 판본에서 나왔는가. 원본인지 교정판인지, 그 사실이 어디에 적혀 있는가.
• 평가셋 문서에 "우리가 무엇을 검증하지 않았는가"가 적혀 있는가.

마지막 항목이 이 사건에서 가장 값싸고 가장 효과가 큰 처방이다. 앞서 본 HLE의 5분 규칙이 그 증거다. 만든 쪽이 무엇을 확인하지 않았는지를 적어 두었기 때문에, 감사가 어디서 무엇을 찾을지 미리 알 수 있었다. 검증하지 않은 것을 적는 일에는 추가 예산이 들지 않는다.

정작 예산이 드는 쪽은 다음 벤치마크다. 논문은 새 평가가 "고품질 큐레이션을 달성하려면 상당한 재원이 필요할 것"이라고 적지만, 그 재원이 얼마인지는 밝히지 않는다. 밖을 봐도 사정은 비슷하다. 어떤 시험은 상금 풀로 50만 달러를 걸었고, 어떤 수학 벤치마크는 문항당 수백에서 천 달러 수준의 보상을 공개했고, 이 논문이 감사한 벤치마크 하나는 문항당 평균 40시간 넘는 노동이 들었다고 적는다. 그러나 전체 제작 비용을 공개한 사례는 하나도 없다. 국내 사정도 같은 모양의 공백이다. 학습 데이터 품질은 인증 제도 안에 들어와 있지만, 평가 데이터의 정답지와 채점기 품질을 규율하는 조항은 확인되지 않는다.

논문이 그 자리에 놓은 답은 금액이 아니라 주체다. 더 촘촘한 절차로 엄밀함을 담보하는 비영리 조직이 맡거나, 최근 수학에서 채택된 방식의 공개 경연으로 가는 길을 든다. 눈여겨볼 것은 논문이 이 일을 평가 설계의 문제로 적지 않았다는 점이다. 공정하고 빠르고 품질 높은 데이터 수집을 어떻게 세울 것인가로 적었다. 다음 벤치마크가 걸린 물음이 결국 데이터를 어떻게 모으고 검수할 것인가로 돌아온다.

끝으로 인접한 글 하나를 놓고 이 글의 자리를 표시해 둔다. 평가 스위트의 중복을 통계로 감사한 연구가 다룬 것은 무엇을 몇 번 재고 있는가의 문제, 그러니까 평가 설계의 가중치였다. 이번 글이 다룬 것은 그 안쪽이다. 한 번 재는 그 문항이 애초에 맞게 쓰여 있는가. 가중치가 기울어 있으면 순위가 흔들리고, 문항이 틀려 있으면 절대 수준 자체가 틀린다.

페블러스는 데이터를 진단하고 품질 성적서를 발급하는 일을 한다. 그래서 이 논문은 다른 업종 이야기로 읽히지 않는다. 감사 대상이 학습 데이터가 아니라 평가 데이터였을 뿐, 고장의 모양이 우리가 매일 보는 것과 같기 때문이다.

7.1고장의 모양이 똑같다

이 논문이 찾아낸 결함을 데이터 품질의 언어로 옮기면 익숙한 세 가지가 된다. 라벨이 틀렸고, 라벨 규약이 없고, 라벨을 읽는 기계가 동치를 못 알아본다. 참조 해답의 산술 오류가 첫째다. 결합 상수가 어느 연산자에 붙는지 밝히지 않아 답이 네 배로 갈린 문항이 둘째다. 유리화 한 번, 곱하는 순서 한 번에 0점을 준 규칙 기반 채점기가 셋째다. 우리가 학습 데이터에서 하는 일이 정확히 이 셋을 다루는 일이다. 결함 항목을 찾아내고, 규약을 명시하고, 동치 판정을 정의하는 것.

차이는 제도에 있다. 학습 데이터 쪽에는 그 세 가지를 다루는 절차가 이름과 형식을 갖춰 존재한다. 평가 데이터 쪽에는 같은 절차가 제도화된 적이 없고, 그 상태로 업계 표준 점수판을 떠받쳐 왔다. 250건 중 143건이 문항 결함이었다는 사실은 진단의 대상이 한 겹 넓어졌다는 뜻이다.

7.2라벨 품질이 측정의 바닥을 정한다

결함률이 측정의 바닥을 만든다는 그 한 줄을 데이터 품질의 언어로 바꿔 놓으면 이렇게 된다. 라벨 오류율이 측정의 바닥을 정하고, 그 바닥은 재는 대상이 좋아질수록 더 크게 보인다. 대상이 나쁠 때는 계측의 결함이 결과에 묻히고, 대상이 좋아지면 계측의 결함만 남는다. 라벨 오류율을 재지 않은 채 모델을 비교해 온 관행이 왜 지금 깨지는지를 이보다 정확히 설명하는 문장은 드물다.

7.3사내 평가셋에 그대로 옮기는 법

이 논문의 방법은 규모를 줄여도 그대로 돈다. 순서는 넷이다. 오답으로 기록된 응답을 표본으로 뽑아 사람이 다시 본다. 그 결과를 모델 오류와 채점기 오류와 문항 결함으로 가른다. 그 비율을 점수와 함께 보고한다. 마지막으로 평가셋 문서에 검증하지 않은 범위를 명시한다.

셋째 항목이 실무에서 가장 자주 빠진다. 결함률 없이 점수만 적힌 보고서는 오차 막대 없는 그래프와 같다. 넷째 항목은 이 사건이 새로 가르쳐 준 것이다. 검증하지 않은 것을 적어 두면, 나중에 누군가가 그 자리를 먼저 열어 본다.

7.4이 글이 남기는 불편한 사실

이 글은 "평가 데이터도 결국 데이터다"라는 문장으로 닫히지 않는다. 그 문장은 이미 여러 번 쓰였다. 그다음으로 가야 한다. 이 논문이 우리에게 남기는 것은 더 불편한 사실 하나다. 5절에서 본 그대로다. 결함을 가려낸 판정 자체가 사람마다 갈렸고, 그 판정의 일부는 한 사람의 눈만 거쳐 통과했으며, 판정자들은 모델이 미리 써 둔 검토문을 곁에 두고 있었다. 정답을 검수하는 층에도 품질 문제가 있다는 뜻이고, 그 층은 아직 어느 감사의 대상도 아니다.

페블러스가 이 자리에서 팔 물건은 없다. 대신 공백의 모양은 정확히 그려 둘 수 있다. 점수를 만드는 층, 그 점수를 검수하는 층, 검수를 다시 검수하는 층이 있고, 세 층 모두에 데이터 품질 문제가 있으며, 아래로 내려갈수록 아무도 재지 않는다. 우리가 발급하는 성적서도 같은 질문을 피하지 못한다. 이 점수는 어떤 잣대로 쟀고, 그 잣대의 결함률은 얼마이며, 고객이 그 수를 볼 수 있는가.

본문의 수치는 세 갈래다. 1번 논문의 표와 부록 값은 arXiv 전문을 직접 대조해 옮겼다. 2번부터 7번까지는 감사 대상이 된 벤치마크의 원 논문이며, 2.2절 대조표의 자기 서술 인용은 각 논문의 초록 또는 방법 절에서 직접 확인했다. 9번 시스템 카드는 원문 파일을 열지 못해 1번 논문의 인용과 2차 요약을 경유했고, 본문에도 그 사실을 적었다.

이 보고서의 뼈대 (1차 원문 대조)

• 1.Ali Ansari, Haoran Sun, Andy Zeyi Liu, Mark Jabbour 외 47인. "How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks." arXiv:2609.13009v1, 2026년 9월 11일 제출, CC BY 4.0. arXiv: 2609.13009 — 심사를 거치지 않은 사전 공개본이다. 저자 51명 가운데 데이터 감사자로 이름을 올린 사람은 39명이고, 물리 자문 12명 가운데 다섯 명은 그 39명에도 들어 있다(부록 G의 두 명단을 대조해 확인했다). 교신저자는 예일대의 John Sous이며, 연구비는 예일대 교무처 AI 이니셔티브와 Jump Trading Group의 기부에서 나왔다. 본문의 표 1·2, 부록 B·C·D·E·F 인용이 모두 이 판본에서 나왔다.

감사 대상이 된 벤치마크의 원 논문 (자기 서술 대조)

• 2.Center for AI Safety, Scale AI. "Humanity's Last Exam." arXiv:2501.14249. arXiv: 2501.14249 — 2.2절의 "모호하지 않고 쉽게 검증 가능한 해답" 인용은 초록, 5분 규칙과 "커뮤니티 피드백을 환영한다"는 §3.2 검토 절에서 가져왔다.
• 3.Zhu 외. "Probing the Critical Point (CritPt) of AI Reasoning." arXiv:2509.26574. arXiv: 2509.26574 — 문항당 평균 40시간 이상이라는 제작 노동량도 이 논문의 서술이다.
• 4.Pan 외. "CMT-Benchmark." arXiv:2510.05228. arXiv: 2510.05228
• 5.Qiu 외. "PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models." arXiv:2504.16074. arXiv: 2504.16074 — 표현 편집 거리(EED)와 이항 채점 대비 표본 효율 204%라는 서술의 출처다.
• 6.Zhao 외. "PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning." arXiv:2510.03185. arXiv: 2510.03185 — 이름이 비슷한 arXiv:2512.05930 "PRiSM"은 다른 논문이다.
• 7.Xu 외. "UGPhysics: A Comprehensive Benchmark for Undergraduate Physics Reasoning with Large Language Models." arXiv:2502.00334. arXiv: 2502.00334

인접 감사와 라벨 품질 문헌

• 8.Curtis G. Northcutt, Anish Athalye, Jonas Mueller. "Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks." NeurIPS 2021 Datasets and Benchmarks, arXiv:2103.14749. arXiv: 2103.14749 — 이미지넷 검증셋 라벨 오류율 5.83%, 정정된 부분집합 기준으로 다시 매긴 순위에서 1위 모델이 29위로, 34위 모델이 1위로 이동한 사례의 출처다. 이 연구의 분모는 테스트셋 전체이며 본문 4.2절에 그 차이를 적었다.
• 9.Anthropic. "Claude Fable 5.1 & Claude Mythos 5.1 System Card", 2026년 9월 1일, §8.9 CritPt-Corrected — 원문 파일을 직접 열지 못했다. 본문 6.2절의 서술은 1번 논문의 부록 B.2.3 인용과 공개된 2차 요약을 경유한 것이다.
• 10.Artificial Analysis. "Intelligence Index 방법론". artificialanalysis.ai — CritPt 리더보드 현재값(GPT-5.6-Sol Max 32.3%)은 2026년 9월 15일에 확인했다. 참조 정답의 정확성이나 채점기 신뢰도에 관한 검증 방법론은 이 문서에서 확인되지 않았다.
• 11.Bowman, Dahl (2021). "What Will it Take to Fix Benchmarking in Natural Language Understanding?" — 본문 4.1절의 통계적 검출력 논거와 "쓸 만한 벤치마크의 네 조건" 서술은 모두 1번 논문 §4가 요약한 형태를 경유해 옮겼고, 원문을 따로 대조하지 않았다.
• 12.Tan 외. "JudgeBench: A Benchmark for Evaluating LLM-Based Judges." arXiv:2410.12784. arXiv: 2410.12784 — 판정자 자체의 정확도를 객관적 정답 기준으로 벤치마크화한 드문 사례다.
• 13.Zheng 외. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena." arXiv:2306.05685. arXiv: 2306.05685 — 판정자 문헌이 대개 판정자와 사람의 일치율을 보고하고 절대 오류율은 보고하지 않는다는 5.3절 서술의 근거다.
• 14.Stanford HAI. "AI Index Report 2026". hai.stanford.edu — 벤치마크 수명이 개월 단위로 짧아진다는 배경 서술의 출처다.

페블러스 블로그 인접 글

• 15.정답지 오류로 AI 에이전트 실력을 낮게 매긴 벤치마크 — 이 글의 전편에 해당한다.
• 16.모델을 돌리지 않고 계산한 시각 벤치마크의 도달 가능한 최고값 — 결함률이 만드는 바닥의 반대편 개념이다.
• 17.결함과 포화로 퇴역한 코딩 벤치마크 — 본문 4.2절이 한 줄로 참조했다.
• 18.에이전트 벤치마크의 신뢰 문제 — 조작과 실수를 구분하기 위해 참조했다.
• 19.라벨러의 판정이 갈린 사례 — 5.3절에서 직접 비교가 불가능한 이유와 함께 참조했다.
• 20.평가 스위트의 중복을 통계로 감사한 연구 — 6.3절에서 이 글과의 차이를 적었다.