Executive Summary
논문을 AI에게 심사시키는 일은 더 이상 실험이 아니다. 2026년 AAAI 학술대회는 메인트랙에 올라온 논문 22,977편 전부에 AI가 쓴 심사 의견을 한 편씩 붙였다. 그렇다면 그 심사는 실제로 무엇을 잡아내는가. 케임브리지대학교와 플랫아이언연구소 등의 연구진이 그 물음을 재는 방식을 하나 내놨다. 실제 논문 서른 편에 정답을 아는 오류를 직접 심어 놓고, AI 심사 체계 열둘에게 찾아 보라고 시킨 것이다. 이 글이 옮기려는 것은 그 성적표의 순위가 아니라 무엇이 그 성적을 갈랐는가다.
한 문장짜리 지시를 똑같이 줬을 때, 최신 모델 셋 사이의 총 검출률이 약 50%포인트 갈렸다. 그 셋 가운데 가장 낮은 검출률과 가장 높은 검출률이 다섯 배 차이였다. 그런데 지시를 항목으로 길게 나눠 주자 그 폭이 대략 절반으로 좁아졌다. 다만 많이 올라간 쪽은 원래 약하던 모델이었고, 그 고침에는 값이 붙었다. 모델과 도구를 그대로 둔 채 시키는 말만 바꾼 한 구성에서 논문 한 편당 비용이 다섯 배로 뛰었다. 그리고 가장 많이 잡아내는 축이 가장 많이 헛짚는 축이기도 했다.
여기까지는 논문의 표와 부록에 적힌 수다. 「지시를 고치는 일은 약한 모델을 끌어올리는 일이다」와 「정답지가 있는 물음에서만 심판이 서로 맞는다」는 그 수를 놓고 우리가 한 읽기이고, 본문에서 그때마다 구분해 적었다. 이 글의 주장은 AI 심사를 믿지 말라가 아니다. 저자들은 자기 도구에 불리한 결과를 같은 표에 싣고, 자기선호 검정을 돌렸고, 비용까지 공개했다. 주장은 이것이다. 이 정도로 정직하게 측정해도 측정되지 않는 것이 이만큼 남는다. 본문의 수치는 arXiv 2611.17052 v1(2026년 11월 12일 공개)을 2026년 11월 16일에 읽은 값이다.
48.6%포인트
한 문장 지시에서 모델 셋이 벌린 검출률 폭
천체물리 묶음. 60.5% 대 11.9%다. 머신러닝 묶음에서는 52.8%포인트
24.0%포인트
항목을 나눈 지시로 바꿨을 때의 같은 폭
같은 묶음·같은 모델 셋. 좁혀 준 것은 모델 교체가 아니라 시키는 말이었다
비용 5배 · 시간 6배
지시만 바꿨을 때 논문 한 편에 더 드는 값
Claude Code 구성에서 모델·샌드박스·도구를 고정한 채 쟀다. 검출은 32.2%포인트 올랐다
0.90 → 0.32
정답지가 있을 때와 없을 때 심판들의 일치도
세 자리 중 둘이 겹치는 두 심판석이 검출 판정에서는 0.90~0.93, 오탐 판정에서는 0.32~0.58로 갈린다
정답을 아는 오류를 심어 놓고 센다
이 벤치마크에서 눈여겨볼 것은 묻는 방식이다. 연구진은 실제로 출판 절차에 올라간 논문 서른 편을 가져다, 사람이 정답을 알고 있는 오류를 357개 심었다. 그리고 AI 심사 체계 열둘에게 그 논문을 심사하게 한 뒤 심은 오류가 심사 의견에 몇 개나 나타나는지를 셌다. 정답지가 손에 있으니 「몇 개를 찾았나」가 추정이 아니라 셈이 된다.
이 방식이 왜 다른지는 비교해 보면 분명해진다. AI 심사를 평가하는 흔한 방법은 사람이 쓴 심사 의견과 얼마나 비슷한가를 재는 것이다. 그런데 그 자를 쓰면 사람이 놓친 오류는 영영 보이지 않는다. 논문의 도입부가 선행 연구의 이 공백을 직접 적는다. 평가가 대개 "alignment with human-written reviews"로 틀 지워지거나 머신러닝 논문만 대상으로 한 오류 주입으로 이뤄졌고, "false-positive rates or error detection as a function of the error severity"처럼 중요한 쟁점은 보통 다뤄지지 않았다는 것이다. 오탐률과 심각도별 검출률, 이 둘이 이 벤치마크가 새로 채우려는 칸이다.
1.1하루치 제출물에서 고른 서른 편
논문 묶음(코퍼스)은 두 벌이다. 천체물리 묶음은 2026년 4월 22일 하루 동안 arXiv astro-ph에 올라온 제출물 24편 가운데 20쪽을 넘지 않는 15편이고, 쪽수 중앙값은 13쪽이다. 머신러닝 묶음은 2026년 7월 15일 하루치 cs.LG 적격 제출물 74편에서 여덟 개 세부 분야에 걸쳐 층화 무작위로 뽑은 15편이며 중앙값은 9쪽이다. 두 묶음 모두 하루치이고 20쪽 이하라는 조건이 붙는다. 긴 원고와 다른 날의 제출물은 이 결과가 대표하지 않는다.
분야를 둘로 나눈 것이 설계의 핵심이다. 지금까지 나온 AI 심사 벤치마크는 거의 머신러닝 논문만 다뤘다. 평가받는 모델이 머신러닝 문헌을 이미 잘 알고 있는 영역에서만 쟀다는 뜻이다. 저자들은 천체물리 묶음에 대한 자기 실험을 두고 "the first controlled comparison of AI peer-reviewer systems on a real, non-ML scientific paper corpus"라고 적는다. 뒤에서 보겠지만, 이 두 묶음의 차이가 이 글에서 가장 많은 것을 설명한다.
1.2네 종류 오류 357개와 세 단계 심각도
심은 오류는 네 종류다. 인용·수치·수학·일반 이슈이고, 두 묶음을 합쳐 357개다. 종류마다 분량이 다른 것은 의도된 배분이다. 수치와 수학이 각각 119개로 가장 많고, 일반 이슈는 29개로 가장 적다.
| 오류 종류 | 천체물리 | 머신러닝 | 합 | 무엇을 건드리나 |
|---|---|---|---|---|
| 인용 | 45 | 45 | 90 | 인용한 논문이 실제로 말하지 않은 것을 말한 것처럼 적는다 |
| 수치 | 59 | 60 | 119 | 표와 본문의 수를 바꾼다 |
| 수학 | 59 | 60 | 119 | 식의 항을 지우거나 연산자를 바꾼다 |
| 일반 이슈 | 14 | 15 | 29 | 초록과 본문을 어긋나게 하거나 방법과 결과를 맞지 않게 한다 |
| 합계 | 177 | 180 | 357 |
심은 오류의 종류별 개수(논문 §2.2). 논문 한 편마다 오류를 심은 판본을 셋씩 만들었고, 판본 하나에 오류가 넷 안팎으로 들어간다.
여기에 심각도 사다리가 한 겹 더 얹힌다. 오류마다 미묘·분명·노골 세 단계가 있다. 인용 오류라면 미묘는 값을 오차 범위 한두 배만큼 옮기는 것이고, 분명은 조건절을 지우는 것이며, 노골은 결론의 방향을 아예 뒤집는 것이다. 수치 오류라면 소수 둘째 자리를 흔드는 것, 자릿수를 바꿔치기하는 것, 백분율 합을 100%가 넘게 만드는 것이 각각 세 단계에 해당한다. 사다리를 둔 덕에 「80%를 잡는다」가 무엇을 뜻하는지 되물을 수 있게 된다. 가장 강한 체계들은 가장 미묘한 단계에서도 57~73%를 잡았고, 가장 약한 구성은 노골적인 단계에서도 5%를 넘기지 못했다.
단서가 하나 붙는다. 심각도 라벨은 오류 종류 안에서만 보정됐고 종류 사이로는 보정되지 않았다. 수학의 「노골」과 인용의 「노골」이 같은 난이도라는 뜻이 아니다. 종류를 가로질러 심각도를 비교하는 문장은 이 자료로 쓸 수 없다.
1.3깨끗한 사본 열다섯 편을 함께 돌린다
이 설계에서 가장 값어치 있는 부분은 심은 오류가 아니라 심지 않은 논문이다. 연구진은 오류를 하나도 넣지 않은 깨끗한 사본 15편을 같은 체계들에 똑같이 돌렸다. 거기서 올라온 지적은 전부 헛짚음 후보다. 깨끗한 사본에 대고 낸 지적 가운데 거짓으로 판정된 비율이 이 글에서 말하는 오탐률이다.
검출률만 재는 자와 검출률·오탐률을 같이 재는 자는 다른 것을 본다. 앞의 자로는 「많이 잡는 검사기」와 「많이 헛짚는 검사기」를 구별하지 못한다. 선행 벤치마크 지형을 정리한 표에서 저자들은 이렇게 적는다. "No prior work grades severity levels or uses a cross-family adjudication panel; only one covers papers beyond ML/NLP; only one provides false-positive control; and only one integrates mechanical verifiers. This work is the first to combine all five." 다섯 가지를 한자리에 모은 것이 이번이 처음이라는 뜻이다. 거꾸로 읽으면, 오탐 통제를 갖춘 선행 연구가 그동안 하나뿐이었다는 말이기도 하다.
1.4왜 지금 이 측정이 필요한가
AI 심사가 아직 실험실 안의 이야기라면 이 측정은 급하지 않을 것이다. 그런데 이미 실험실 밖으로 나왔다. 2026년 AAAI 학술대회는 메인트랙에 올라온 논문을 전부, 그러니까 22,977편에 AI가 쓴 심사 의견을 한 편씩 붙였고 그 작업을 하루가 채 안 되는 시간에 끝냈다. 그 파일럿을 보고한 연구진은 저자와 프로그램 위원 설문에서 참가자들이 AI 심사를 유용하다고 답했을 뿐 아니라 "technical accuracy and research suggestions" 같은 축에서는 사람 심사보다 선호했다고 적는다. 설문 결과이지 정확성 측정이 아니라는 단서가 붙지만, 사람들이 「기술적으로 정확하다」고 느낀 바로 그 축을 이번 벤치마크가 수로 재서 50%포인트 갈린다고 말하는 셈이다.
배경의 압력도 같은 방향이다. arXiv는 2026년 9월 한 달에만 40,363건을 받아 월간 최고치를 새로 썼고, 10월 1일부터 한 사람이 한 달에 올릴 수 있는 논문을 두 편으로 제한했다. 심사 쪽 사정도 다르지 않아서, 이 블로그가 앞서 정리한 대로 ICLR 2026에 제출된 심사 의견 76,139건 가운데 21%가 전적으로 AI가 쓴 글로 분류됐다. 그쪽 이야기는 사람이 쓸 자리에 AI가 들어온 문제이고, 이번 이야기는 그렇게 들어온 AI가 실제로 무엇을 잡아내느냐의 문제다. 주어와 목적어가 뒤바뀐 두 문제가 같은 해에 나란히 서 있다.
1.5이 방법에는 족보가 있다
사실. 논문은 자기 설계의 계보를 직접 밝힌다. "Our 'dose-response' design extends perturbation-based behavioural evaluation with graded severity levels"라고 적고, 자연어 처리 모델을 일부러 흔들어 보는 시험 방법인 CheckList 계열을 조상으로 든다. 입력을 조금씩 망가뜨려 놓고 모델의 행동이 어떻게 달라지는지 보는 방식이다.
해석. 여기에 우리가 보태는 읽기가 있다. 소프트웨어 공학에는 꼴이 똑같은 더 오래된 방법이 있다. 1978년에 제안된 변이 시험이다. 멀쩡한 프로그램에 일부러 작은 결함을 심어 놓고, 그 결함을 지금 있는 시험 코드가 잡아내는지를 세어 시험의 품질을 매긴다. 잡아낸 결함의 비율이 그 시험이 받는 점수다. 반세기 가까이 프로그램이 아니라 프로그램을 검사하는 장치를 검사하는 데 쓰여 온 방법이, 지금 AI 심사자를 검사하는 데 같은 모양으로 돌아왔다. 데이터 쪽에서도 같은 생각을 쓴다. 이 블로그가 다룬 오류를 심은 배치로 데이터 검증 규칙을 시험하는 방식이 그것이다. 다만 변이 시험이라는 이름은 논문이 쓴 말이 아니라 우리가 잇는 비유다.
같은 말을 시켰더니 열에 하나와 열에 여섯
똑같은 한 문장을 들려주고 똑같은 논문을 맡겼는데, 한쪽은 열에 하나를 짚었고 다른 쪽은 열에 여섯을 짚었다. 최신 모델 셋에게 준 지시는 27개 낱말짜리 한 문장이다. 논문을 읽고 오류가 있으면 적어 달라는, 사람이 동료에게 부탁하듯 쓴 말이다. 그 조건에서 천체물리 묶음의 총 검출률은 GPT-5.5가 60.5%, Claude Opus 4.7이 36.7%, Gemini 3.1 Pro가 11.9%였다.
머신러닝 묶음에서도 순서와 간격이 거의 그대로 재현된다. 63.9%, 43.9%, 11.1%다. 논문은 이 간격을 직접 수로 적는다. "three frontier LLMs differ by up to 48.6 pp in total detection on astrophysics … and by 52.8 pp on ML." 초록에서는 이것을 "about 50 percentage points"로 줄여 쓴다. 심사 도구를 고르는 일이라고 생각했던 선택이, 실은 열 개 중 하나를 잡을지 여섯 개를 잡을지를 정하는 선택이었다.
| 모델 (한 문장짜리 지시) | 천체물리 총 검출률 | 머신러닝 총 검출률 |
|---|---|---|
| GPT-5.5 | 60.5% | 63.9% |
| Claude Opus 4.7 | 36.7% | 43.9% |
| Gemini 3.1 Pro | 11.9% | 11.1% |
| 최고−최저 | 48.6%포인트 | 52.8%포인트 |
논문 표 2에서 한 문장짜리 지시를 받은 단일 LLM 심사자 세 행만 뽑았다. 분모는 각 묶음에 심은 오류 전체(천체물리 177개, 머신러닝 180개)다. 맨 아랫줄의 두 수는 논문이 본문에 직접 적는 값이다.
간격이 어느 종류에서 벌어졌는지도 논문이 한 줄로 적는다. "Mathematics and numerics drive this discrepancy." 모델 사이를 벌린 것은 주로 수학과 수치 오류였다는 것이다. 이 두 종류는 4절에서 다시 나온다. 검출률이 가장 높게 나오는 종류이면서, 헛짚음이 가장 많이 몰리는 종류이기도 하다.
그리고 이 표는 몇 개를 잡았는지만 말할 뿐, 어느 것을 잡았는지는 말하지 않는다. 부록 L이 그 물음을 따로 쟀다. 천체물리 묶음에서 심사 체계 여섯이 오류 하나하나를 잡았는지 못 잡았는지 늘어놓은 기록을 서로 견주면, 쌍별 상관이 0.2에서 0.54 사이에 흩어진다. 저자들의 요약은 이렇다. 총 검출률이 비슷한 체계들이 눈에 띄게 다른 오류 집합을 잡아낸다.
가장 묘한 쌍은 양쪽 다 1등을 해 본 쌍이다. 저자들이 만든 다중 에이전트 체계와 항목을 나눈 지시를 받은 명령줄 도구 구성은 전체에서 0.27이고, 인용과 수치에서는 0.04 안팎이다. 각자가 모든 체계 가운데 가장 잘 잡는 바로 그 두 종류에서, 둘이 짚어 낸 오류가 서로 거의 겹치지 않는다. 반대로 생김새가 전혀 다른 둘도 지시를 같은 것으로 맞추면 0.48까지 올라간다. 단일 호출과 도구를 쓰는 에이전트 루프를 같은 지시로 묶었을 때의 값이다.
0.04를 「둘이 서로 반대로 간다」로 읽으면 안 된다는 단서가 붙어 있다. 검출률이 각각 80%와 91%인 두 체계는 그 비율만으로도 이미 넷 중 셋쯤은 같은 오류에서 겹친다. 상관이 0에 가깝다는 것은 그 이상으로는 겹치지 않는다는 뜻이지 어긋난다는 뜻이 아니다. 눈금을 논문 단위로 올리면 그림이 또 달라진다. 검출률이 바닥이 아닌 체계 열 사이에서, 어느 논문이 어려운 논문인가에 대한 평균 상관은 0.39다. 어떤 원고가 까다로운지에는 대체로 합의하면서, 그 원고 안에서 무엇을 짚을지는 제각각이라는 뜻이다.
2.1조건을 떼면 틀린 문장이 된다
이 50%포인트에는 조건이 붙어 있고, 그 조건이 이 글의 나머지를 끌고 간다. 한 문장짜리 지시를 똑같이 줬을 때라는 조건이다. 뒤에서 보겠지만 지시를 바꾸면 같은 모델 셋의 간격이 절반으로 좁아진다. 「모델에 따라 50%포인트 차이가 난다」만 떼어 내 옮기면, 참인 수로 거짓인 문장을 만들게 된다.
돌린 체계의 생김새도 제각각이다. 두 묶음에 걸쳐 돌아간 심사 체계는 모두 열둘인데, 여기에는 지시 방식이 다른 단일 LLM 여섯, 명령줄 도구를 붙인 구성 둘, 저자들이 만든 다중 에이전트 체계 하나, 그리고 바깥에서 가져온 공개 심사 도구 셋이 들어간다. 그중 하나는 천체물리 묶음에서만 돌렸다. 그래서 머신러닝 묶음의 행은 열하나다. 「열두 체계를 두 묶음에 모두 돌렸다」는 문장은 틀린다.
2.2같은 시험을 사람에게 냈을 때
오류를 심어 놓고 몇 개를 찾는지 세는 설계는 AI 이전에도 있었다. 사람 심사자를 대상으로 한 고전 실험 둘이 같은 모양이다. 1998년 미국의사협회지에 실린 연구는 원고 하나에 오류 여덟 개를 심어 심사자 420명에게 보냈고, 응답한 221명이 찾아낸 오류의 중앙값은 여덟 개 중 두 개였다. 다섯 개를 넘게 찾은 사람은 한 명도 없었고, 하나도 못 찾은 사람이 16%였으며, 오류가 그대로 남아 있는데도 게재를 권한 사람이 33%였다. 2008년 영국왕립의학회지에 실린 심사자 607명 대상 무작위 대조 실험에서는 주요 오류 아홉 개 가운데 평균 2.58개를 찾았고, 훈련을 받은 집단이라고 해서 올라가지 않았다.
두 수를 비율로 바꾸면 25%와 28.7%다. 이번 벤치마크에서 가장 약한 구성(11.1~11.9%)은 그보다 낮고, 가장 강한 구성(70.6~81.1%)은 그보다 높다. 다만 직접 비교는 아니다. 오류의 종류도 분야도 분모도 다르고, 무엇보다 이 벤치마크는 사람 기준선을 따로 재지 않았다. 같은 설계를 다른 집단에 돌렸을 때 나온 수가 이만큼이라는 것까지가, 이 두 수에서 말할 수 있는 전부다.
사람 쪽 숫자에는 한 겹이 더 있다. 정형외과 학술지 둘의 심사자 238명을 대상으로 한 무작위 대조 실험에서, 같은 원고에 심어 둔 오류를 게재를 추천한 심사자는 17.3% 찾았고 반려를 추천한 심사자는 39.1% 찾았다. 결론이 마음에 들면 덜 들여다본다는 뜻이다. 기계 심사자에게 결론 선호가 있는지는 이번 벤치마크가 묻지 않았지만, 「누가 보느냐」만큼 「어떤 마음으로 보느냐」가 검출률을 움직인다는 사실은 사람 쪽에서 이미 측정돼 있다.
2.3앞서 잰 것과 이번에 잰 것
이 블로그는 AI 심사를 네 번 다뤘고, 네 번 모두 간접 지표를 쟀다. 그 가운데 가장 가까운 글과 이번 글의 차이를 분명히 해 둘 값어치가 있다. 같은 논문을 다시 심사시키면 같은 점수가 나오는가를 본 글이 잰 것은 재현성이다. 같은 답을 내놓는가를 물었고, 가장 일관된 모델도 56.5%에 머물렀다. 이번에 재는 것은 정확성이다. 그 답이 맞는가를 묻는다. 두 축은 독립이다. 늘 같은 답을 내놓으면서 늘 틀릴 수 있고, 답이 흔들리면서도 맞는 자리를 짚을 수 있다.
세 번째 축도 이미 재 본 적이 있다. 내용을 그대로 두고 문장만 고쳐 쓴 논문 4,080편에서 AI 심사 점수가 갈린다는 결과다. 재현성·문체 민감도·정확성. 세 축 가운데 실무에서 가장 먼저 묻게 되는 것이 정확성인데, 공개된 수치가 가장 적었던 축도 정확성이었다.
지시를 고치자 모델 사이의 폭이 절반이 됐다
모델은 그대로 두고 시키는 말만 바꾸자, 2절에서 벌어졌던 48.6%포인트가 24.0%포인트로 줄었다. 머신러닝 묶음에서는 52.8%포인트가 30.0%포인트가 됐다. 두 수 모두 논문이 본문에 직접 적는 값이다. 대략 절반이다. 모델을 고르는 일과 시킬 말을 짓는 일이 같은 저울의 양쪽에 올라가 있고, 뒤쪽이 생각보다 무겁다.
여기서 바뀐 지시는 항목을 나눈 지시다. 무엇을 어떤 순서로 확인하고 무엇을 지적으로 올릴지를 항목별로 적어 둔, 5,946개 낱말짜리 긴 문서다. 한 문장짜리 지시가 27개 낱말이었으니 220배쯤 길어진 셈이다.
3.1많이 올라가는 쪽은 약한 모델이다
간격이 줄었다는 말은 양쪽이 가운데로 모였다는 뜻이 아니다. 아래쪽이 훨씬 많이 올라왔다. Gemini 3.1 Pro는 천체물리에서 25.4%포인트, 머신러닝에서 40.0%포인트 올랐다. 같은 지시를 받은 GPT-5.5는 천체물리에서 0.8%포인트 올랐다. 사실상 제자리다. 저자들은 그 이유를 한 구절로 적는다. 항목을 나눈 지시가 공급사 사이의 간격을 좁히는 것은 "by boosting the performance of the weakest models", 즉 가장 약한 모델의 성적을 끌어올려서라는 것이다.
다만 두 묶음을 나란히 놓아야 이 말이 정확해진다. 머신러닝에서는 Gemini 3.1 Pro가 40.0%포인트, Claude Opus 4.7이 28.3%포인트, GPT-5.5가 17.2%포인트 올랐다. 천체물리에서는 같은 순서로 25.4%포인트, 16.6%포인트, 0.8%포인트다. 두 묶음 모두 원래 약했던 순서대로 많이 올랐다는 점은 같지만, 제자리라고 부를 만한 칸은 천체물리의 GPT-5.5 하나뿐이다. 머신러닝에서는 가장 강한 모델도 17.2%포인트를 더 얻었다. 「좋은 모델에는 지시를 고쳐도 소용없다」가 아니라 「약한 쪽일수록 많이 얻는다」가 두 묶음에 걸쳐 참인 문장이다.
해석. 이 자리에서 우리가 읽는 것은 이렇다. 지시를 고쳐 쓰는 일은 모든 모델을 똑같이 밀어 올리는 일이 아니라, 이미 할 줄 아는 모델이 하지 않고 있던 일을 하게 만드는 일에 가깝다. 좋은 모델에 좋은 지시를 더한다고 두 배가 되지 않는다. 이미 하고 있었기 때문이다. 거꾸로 약한 모델에서는 같은 지시가 세 배를 만든다.
3.2모델과 도구를 고정하고 지시만 바꿨을 때
지시의 효과를 가장 깨끗하게 분리한 자리는 명령줄 도구 구성이다. 모델(Claude Opus 4.7)도, 샌드박스도, 쓸 수 있는 도구 목록도, arXiv 접근 권한도 전부 고정한 채 지시 문서만 갈아 끼웠다. 그 결과 검출률이 천체물리에서 32.2%포인트, 머신러닝에서 38.9%포인트 올랐다. 저자들은 같은 지시 교체가 "triggers extensive tool use"라고 적는다. 시킬 말이 바뀌자 같은 모델이 도구를 전혀 다르게 쓰기 시작했다는 것이다.
무엇이 달라졌는지는 실행 기록에 남았다. 항목을 나눈 지시를 받은 쪽은 에이전트 차례를 중앙값 9회, 많게는 26회까지 돌렸고, 천체물리 묶음을 도는 동안 여러 줄짜리 파이썬 스크립트 21개를 직접 써서 실행했다. 한 문장짜리 지시를 받은 쪽은 PDF를 읽고 답했을 뿐이고, 스크립트는 하나도 쓰지 않았다. 쓸 줄은 알았다고 저자들이 덧붙인다. 다만 둘 다 끝내 쓰지 않은 도구가 하나 있다. 지시가 권하는데도 컴퓨터 대수 도구는 어느 쪽도 부르지 않았다. 같은 모델에 같은 권한을 주고 시킬 말만 바꿔도 쓰임새가 질적으로 달라지지만, 시킬 말이 권한다고 해서 다 쓰는 것도 아니다.
조건이 넷 붙어 있다는 것을 다시 적어 둔다. 명령줄 도구 안에서, 모델·샌드박스·도구·arXiv 접근을 고정한 채, 지시만 바꿨을 때다. 「프롬프트를 바꾸면 32%포인트 오른다」를 모든 체계에 대한 일반 진술로 옮기면 틀린다.
3.3지시는 둘이 아니라 셋이다
여기까지만 읽으면 「그럼 지시를 길게 쓰면 되겠다」가 된다. 부록에 그 읽기를 깨는 실험이 하나 더 있다. 연구진은 긴 지시가 가진 두 가지 역할, 그러니까 무엇을 확인할지 알려 주는 역할과 어떻게 보고할지 정해 주는 역할을 갈라 보려고 471개 낱말짜리 짧은 항목 지시를 따로 썼다. 지시가 둘이 아니라 셋이 된 것이다. 27개 낱말, 471개 낱말, 5,946개 낱말.
중간 지시는 가성비가 좋아 보인다. 명령줄 도구 구성에서 긴 지시가 가져온 32.2%포인트 가운데 24.3%포인트를 이 짧은 항목 지시가 혼자 가져온다. 그런데 같은 자리에서 오탐률이 따라 올라간다. 단일 LLM 셋의 천체물리 오탐률이 짧은 항목 지시에서 17~27%가 된다. 한 문장짜리 지시에서는 1~9%, 항목을 나눈 긴 지시에서는 3~6%였다. 명령줄 도구 구성도 16.7%로, 한 문장짜리(7.4%)와 긴 지시(3.5%) 사이에서 혼자 솟는다. 늘어난 헛짚음은 대부분 수학 쪽이라고 저자들이 적는다.
중간 지시가 하는 일도 묶음에 따라 갈린다. 머신러닝에서는 이 짧은 항목 지시만으로 모델 사이의 폭이 52.8%포인트에서 27.2%포인트로 줄어, 긴 지시가 만든 30.0%포인트보다 오히려 더 좁았다. 천체물리에서는 48.6%포인트가 48.0%포인트가 됐을 뿐이다. 사실상 아무 일도 일어나지 않았고, 폭을 좁힌 것은 긴 지시 하나였다. 같은 지시가 한 묶음에서는 모델 차이를 거의 다 지우고 다른 묶음에서는 그대로 둔다. 「지시를 고치면 모델 사이가 좁아진다」도 어느 묶음에서 어느 지시로인지를 빼면 반만 참이다.
한 모델의 한 줄을 따라가면 그 모양이 선명하다. 천체물리 묶음의 Gemini 3.1 Pro다. 지시를 세 단계로 바꾸는 동안 검출률은 꾸준히 올라가는데, 오탐률은 중간에서 혼자 네 배로 솟았다가 다시 내려앉는다.
두 선의 분모가 서로 다르다는 점을 범례에 적어 두었다. 검출률은 심어 둔 오류 177개 가운데 몇 개를 찾았는가이고, 오탐률은 오류가 없는 깨끗한 사본 15편에 대고 낸 지적 가운데 몇 개가 거짓으로 판정됐는가다. 두 선이 같은 눈금 위에 그려져 있어도 같은 것을 세고 있지 않다.
3.4그 고침에는 값이 붙는다
돈과 시간도 따라 움직인다. 부록에 실린 비용 표가 이 글에서 가장 실무에 가까운 수다. 같은 명령줄 도구 구성에서 모델·샌드박스·도구를 고정한 채 지시만 바꿨을 때, 저자들은 논문 한 편당 비용이 "∼ 5×", 걸린 시간이 "∼ 6×"가 된다고 적는다. 실제 값으로는 0.33달러에서 1.73달러로, 1.4분에서 8.7분으로다.
| 구성 | 논문 한 편당 비용 | 논문 한 편당 시간 |
|---|---|---|
| 명령줄 도구 · 한 문장짜리 지시 | 0.33달러 | 1.4분 |
| 명령줄 도구 · 항목을 나눈 지시 | 1.73달러 | 8.7분 |
| 단일 LLM · 한 문장짜리 지시 | 0.45달러 | 약 1분 |
| 단일 LLM · 항목을 나눈 지시 | 0.55달러 | 약 2분 |
| 다중 에이전트 체계(Skepthical) | 2.41달러 | 약 24분 |
논문 부록 M 표 12에서 천체물리 묶음 기준으로 옮겼다. 묶음 전체 비용을 논문 판본 60개로 나눈 값이다. 24분은 Google Cloud Run 작업자 한 대(1 vCPU·2 GiB)에서 12쪽짜리 천체물리 논문 한 편을 돌린 기준이고, 모든 체계의 평균값과는 다르다. 자체 호스팅으로 돌린 공개 모델 둘은 API 비용이 0이라 이 표에 넣지 않았다.
벤치마크 전체를 돌리는 데 든 돈은 또 다른 이야기를 한다. 두 묶음을 합쳐 932.82달러인데, 그 내역에서 심사를 실행한 비용은 623.73달러이고 잡았는지 아닌지를 판정하는 데 264.52달러가 들었다. 전체의 28%가 「맞았는지 세는 일」에 들어갔다(표 13에서 계산한 값이다). 그러니까 심사를 돌리는 일보다 채점하는 일이 훨씬 비싸지는 않지만, 결코 덤도 못 된다. 6절에서 보겠지만 이 채점이 이 설계에서 가장 약한 고리이기도 하다.
두 수를 나란히 놓으면 실무에서 헷갈리기 쉬운 칸이 분명해진다. 위 표의 편당 비용은 심사를 한 번 돌리는 값이지, 그 심사가 맞았는지까지 확인하는 값이 아니다. 천체물리 묶음에서 벤치마크 전체 지출을 논문 15편으로 나누면 한 편에 34.78달러다(표 13에서 계산한 값이다). 가장 비싼 심사 체계를 한 번 돌리는 값 2.41달러의 열네 배쯤이다. 검수기를 돌리는 비용과 그 검수기가 제대로 돌았는지 재는 비용은 자릿수가 다르다. 그래서 대부분의 조직이 앞의 수만 갖고 있다.
저자들은 외부 API를 쓰는 체계들 사이에서 편당 비용이 "roughly sevenfold" 벌어진다고 적는다. 가장 싼 구성과 가장 비싼 구성이 일곱 배쯤 차이 난다는 말이다. 절대 금액으로는 작아 보인다. 한 편에 2.41달러면 논문 1,000편을 돌려도 2,410달러다. 하지만 심사 한 편에 24분이 걸린다는 쪽은 사정이 다르다. 투고가 몰리는 마감 주간에 수천 편을 돌려야 하는 쪽에서는 이 수가 비용이 아니라 설비 문제가 된다.
실무로 옮기면 세 줄이다. 모델을 바꾸는 일은 비싸고 시킬 말을 고치는 일은 싸 보인다. 그런데 이미 좋은 모델을 쓰고 있다면 지시를 고쳐도 돌아오는 것이 거의 없고(천체물리 GPT-5.5는 0.8%포인트였다), 어설프게 고친 지시는 헛짚음을 사 온다(짧은 항목 지시의 천체물리 오탐률 17~27%). 그리고 제대로 고친 지시에도 값이 붙는다. 편당 비용 다섯 배, 시간 여섯 배다.
가장 많이 잡는 축이 가장 많이 헛짚는다
헛짚음이 가장 많이 나온 자리는 성적이 가장 좋았던 자리다. 수학이다. 수학 오류는 강한 구성들이 70~90%대로 잡아내는 종류이고, 동시에 저자들이 "the least reliable"이라고 부르는 종류다. 프런티어 체계들의 수학 지적을 모아 보면 천체물리에서 30%, 머신러닝에서 67%가 거짓으로 판정됐다. 같은 계산을 일반 이슈 지적에 대고 하면 3%다. 그리고 두 묶음 모두에서 전체 헛짚음의 절반이 수학에서 나왔다.
왜 수학에서 몰리는지는 짐작할 만하다. 식을 다시 유도해 보는 일은 모델이 가장 적극적으로 덤비는 일이고, 그만큼 중간에 자기가 미끄러진 것을 저자의 오류로 적어 내기 쉽다. 중요한 것은 이 30%와 67%가 오탐률이 아니라는 점이다. 분모가 다르다. 아래 표가 이 글에 나오는 비율 셋을 갈라 둔 것이다.
| 이름 | 분모 | 이 글에서 나오는 값 |
|---|---|---|
| 검출률 | 그 묶음에 심어 둔 오류 전체(177개·180개) | 1.1%에서 81.1%까지 |
| 오탐률 | 깨끗한 사본 15편에 대고 낸 지적 전체 | 1.0%에서 59.1%까지 |
| 지적 중 거짓 비율 | 그 종류로 올라온 지적 전체 | 수학 30%·67%, 일반 이슈 3% |
셋 다 백분율이고 셋 다 「틀렸다」를 센다. 그런데 분모가 다르니 서로 바꿔 쓸 수 없다. 「수학 오탐률이 67%」라고 적으면 틀린 문장이 된다. 정확히는 머신러닝 묶음에서 프런티어 체계들이 내놓은 수학 지적 가운데 67%가 거짓으로 판정됐다는 뜻이고, 그마저도 한 체계의 값이 아니라 여럿을 모아 낸 값이다.
4.1오탐률 자체는 대체로 낮다
먼저 공정하게 적을 것이 있다. 깨끗한 사본에 대고 잰 오탐률은 전반적으로 낮았다. 자체 호스팅한 공개 모델 둘을 빼면 천체물리에서는 모든 체계가 9% 아래였고, 머신러닝에서는 아홉 가운데 여섯이 10% 아래였다. 예외는 항목을 나눈 지시를 받은 단일 LLM 셋으로, 11.5%에서 22.7% 사이에 놓인다. 저자들이 만든 다중 에이전트 체계는 양쪽 모두에서 낮다. 천체물리 2.8%(지적 106건), 머신러닝 4.0%(지적 99건)다.
「대부분의 체계가 10% 아래」라는 요약은 맞지만, 「모든 체계가」로 바꾸면 틀린다. 머신러닝에서 아홉 중 여섯은 3분의 2이고, 나머지 셋은 두 자릿수다. 그리고 공개 모델 둘은 18.5%와 59.1%였다.
지시를 바꿨을 때 오탐률이 어느 쪽으로 움직이는지도 묶음에 따라 갈린다. 저자들은 그 효과를 "mixed"라고 적는다. 천체물리에서는 공급사 사이의 폭이 좁아졌다. GPT-5.5가 8.7%에서 3.4%로 내려오고 Claude Opus 4.7이 1.0%에서 5.2%로 올라가 가운데서 만난다. 머신러닝에서는 세 공급사가 모두 올랐다. 양쪽에서 다 내려간 것은 명령줄 도구 구성 하나다. 검출률 쪽에서는 긴 지시가 어느 묶음에서나 도움이 됐지만, 헛짚음 쪽에서는 그렇지 않다.
4.2가장 낮은 오탐률의 정체
그런데 가장 낮은 오탐률을 낸 구성을 들여다보면 반전이 하나 있다. 천체물리에서 오탐률 1.0%로 1등을 한 구성은 한 문장짜리 지시를 받은 Claude Opus 4.7이다. 저자들이 그 구성을 설명하는 구절이 이렇다. 가장 낮은 값은 한 문장짜리 지시를 받은 단일 LLM들의 것인데, 그들은 "raise almost no mathematics or numerics flags", 즉 수학과 수치 지적을 사실상 내놓지 않는다는 것이다.
같은 구성의 검출률이 36.7%였다는 것을 떠올리면 그림이 맞춰진다. 헛짚지 않는 가장 쉬운 방법은 아무것도 지적하지 않는 것이다. 오탐률만 보고 검사기를 고르면, 조용한 검사기가 1등을 한다. 이 블로그가 다룬 데이터 정제 에이전트 일곱을 비교한 실험에서도 같은 교환 관계가 반대 방향으로 나타났다. 거기서는 오류를 가장 잘 찾아낸 구성이 멀쩡한 값도 가장 많이 건드렸다.
그 1.0%에는 따져 볼 것이 하나 더 있다. 깨끗한 사본에 올라온 지적을 판정할 때 패널이 내릴 수 있는 답은 셋이다. 실재하는 문제, 명백한 헛짚음, 그리고 가리지 못함이다. 오탐률의 분자로 세는 것은 가운데 하나뿐이다. 천체물리에서 1.0%를 받은 그 구성은 명백한 헛짚음이 1건이었고, 패널이 참인지 거짓인지 가리지 못해 「애매」로 분류한 지적이 18건 더 있었다. 그 18건은 분자에 들어가지 않으면서 분모에는 남아, 비율을 낮추는 쪽으로만 작용한다. 가장 깨끗해 보이는 칸 뒤에 판정이 유보된 지적 열여덟 건이 서 있었다는 뜻이다. 판정을 유보하게 만드는 것이 무엇인지는 6절에서 다시 본다.
4.3분모가 줄면 개선이 악화로 보인다
이 글에서 가장 오래 들여다볼 값어치가 있는 칸은 한 모델의 한 칸이다. 머신러닝 묶음의 GPT-5.5가 한 문장짜리 지시에서 항목을 나눈 지시로 옮겨 갔을 때, 오탐률은 9.2%에서 13.0%로 올랐다. 숫자만 보면 헛짚음이 늘어난 것처럼 읽힌다. 그런데 실제로 헛짚은 건수는 12건에서 9건으로 줄었다. 올라간 것은 비율뿐이다.
분모가 반 토막 났기 때문이다. 같은 모델이 내놓은 지적의 총수가 131건에서 69건으로 줄었다. 저자들이 그 메커니즘을 직접 적는다. 항목을 나눈 지시는 "roughly halves the number of general-issue flags, which are rarely wrong", 즉 좀처럼 틀리지 않는 일반 이슈 지적의 수를 대략 반으로 줄이기 때문에, 헛짚은 건수가 줄어도 오탐률은 오를 수 있다는 것이다. 틀릴 일이 거의 없는 지적이 분모에서 빠져나가면, 남은 지적들의 평균 품질은 그대로여도 비율은 나빠 보인다.
막대의 길이는 그 구성이 깨끗한 사본에 내놓은 지적의 총수이고, 오렌지색 부분이 거짓으로 판정된 건수다. 오렌지색 조각은 작아졌는데 막대가 더 많이 짧아져서, 조각이 차지하는 몫은 커졌다.
이 한 칸이 품질 지표를 다루는 모든 자리에 그대로 옮겨 간다. 비율만 적힌 보고서는 이 칸에서 거짓말을 한다. 검출 건수와 지적 총수를 같이 적어 두지 않으면, 개선을 악화로 읽고 되돌리는 일이 생긴다. 심판의 눈금을 어떻게 긋느냐에 따라 없던 차이가 만들어지는 장면은 채점 척도의 바닥 하나가 LLM 판정을 흔든 사례에서 이미 본 적이 있다. 이번에는 눈금이 아니라 분모다.
이 글이 바로 그 혼동을 지적하는 글이므로, 우리 쪽에서도 규칙을 하나 걸어 두었다. 비율이 두 개 이상 한 문단에 나오면 각각에 분모 이름을 붙인다. 검출률의 분모는 심은 오류, 오탐률의 분모는 깨끗한 사본에 낸 지적, 지적 중 거짓 비율의 분모는 그 종류의 지적 전체다.
도구가 이기는 자리는 생각보다 좁다
모델에 검증 도구를 붙이면 어디서 이길까. 그 자리는 생각보다 좁다. 저자들이 만든 다중 에이전트 체계 Skepthical은 네 갈래를 동시에 돌린다. 여러 계열의 LLM을 모아 논문을 통독하는 일반 이슈 모듈, 식을 컴퓨터 대수로 다시 유도해 보는 수학 모듈, 코드를 실제로 돌려 수를 다시 계산하는 수치 모듈, 그리고 인용된 논문의 PDF를 받아 와 원문과 맞춰 보는 인용 모듈이다. 천체물리 묶음에서 이 체계가 총 검출률 70.6%로 1위였다.
발판을 한 칸씩 쌓아 올린 사다리를 보면 그 자리가 어디쯤인지 가늠이 된다. 같은 항목 지시를 고정한 채 단일 호출에서 명령줄 도구로, 다시 다중 에이전트 체계로 올라가면 천체물리 총 검출률이 53.3%, 61.0%, 70.6%로 간다. 머신러닝에서는 72.2%, 73.3%, 76.7%다. 천체물리에서는 한 칸마다 눈에 띄게 오르는데, 머신러닝에서는 두 칸을 다 올라가도 4.5%포인트다. 도구와 발판이 벌어 주는 몫이 묶음에 따라 이만큼 다르다.
첫 칸이 무엇을 벌어 줬는지도 종류별로 갈린다. 모델과 지시를 그대로 두고 도구만 붙인 그 한 칸은 천체물리에서 수치 12.0%포인트, 수학 16.4%포인트를 올렸다. 둘 다 스크립트로 확인할 수 있는 종류다. 머신러닝에서는 확인할 수와 식 자체가 적어 유의한 변화가 없었다. 도구는 확인할 거리가 있는 원고에서만 값을 한다.
이긴 자리는 분명하다. 인용 오류 검출에서 46.7%로, 차점인 명령줄 도구 구성(26.7%)을 20.0%포인트 앞섰다. 일반 이슈에서도 26.7%포인트 앞섰고, 저자들은 두 차이가 모두 통계적으로 유의하다고 적는다. 인용된 논문을 실제로 열어 보는 모듈이 있으니 당연해 보이는 결과다.
그런데 그 20.0%포인트가 어디서 왔는지가 이 절에서 가장 실무에 가까운 대목이다. 차점을 한 명령줄 도구 구성도 arXiv 접근 권한을 똑같이 갖고 있었고, 받은 지시도 같은 항목 문서였다. 그런데 실행 기록을 열어 보니 인용된 논문을 실제로 받아 온 일이 한 번도 없었다. 다중 에이전트 체계에서는 그 단계를 건너뛸 수 없다. 저자들은 이 대비를 두고 검증 단계를 「제공하는 것」이 아니라 「강제하는 것」이 분명히 이기는 사례라고 적는다. 도구를 쥐여 주는 일과 쓰게 만드는 일은 다른 일이다.
5.1묶음을 바꾸면 그 우위가 사라진다
그런데 머신러닝 묶음으로 옮기면 인용 우위가 없어진다. Skepthical의 인용 검출률은 53.3%인데, 항목을 나눈 지시를 받은 단일 LLM들이 57.8%, 명령줄 도구 구성이 60.0%다. 초록이 이 결과를 직접 적는다. "This citation lead, however, is not observed on ML, where the models appear to know the literature better and Skepthical's citation detection rate is statistically indistinguishable from that of the best single LLM." 저자들이 자기 도구에 불리한 이 문장을 초록에 넣었다.
부록이 이유를 파고든다. 연구진은 심은 인용 오류 45개를 두 무리로 갈랐다. 하나는 그 분야를 아는 사람이라면 인용된 논문을 열어 보지 않고도 틀렸다고 말할 수 있는 오류이고, 다른 하나는 원문을 확인해야만 알 수 있는 오류다. 앞 무리가 머신러닝 묶음에 14개, 천체물리 묶음에 4개다. 세 배가 넘는다. 머신러닝 문헌은 모델이 이미 외우고 있어서, 원문을 열어 보는 일이 덜 필요했던 것이다.
다만 구성 차이만으로 다 설명되지는 않는다. 저자들은 머신러닝 오류가 천체물리와 같은 비율로 무리에 흩어져 있었더라도 단일 LLM들이 39.6%를 잡았을 것이라고 계산하고, 따라서 "about a quarter of the gain therefore comes from the composition and the rest from higher detection within every group"이라고 적는다. 이득의 4분의 1만 구성 때문이고 나머지는 무리마다 고르게 잘 잡아서라는 뜻이다. 본문의 한 줄이 이 절 전체를 요약한다. "Retrieval makes a difference when the model does not already know the literature." 초록은 같은 말을 더 넓게 적는다. 도구와 발판은 모델이 스스로 대지 못하는 것을 보탤 때 도움이 된다는 것이다.
인용 검증 한 과제만 떼어 보면 또 다른 그림이 나온다는 것도 함께 적어 둔다. 이 블로그가 다룬 인용 검증 과제에서 값싼 LLM 심판이 프런티어 모델과 맞먹은 사례가 그렇다. 이번 벤치마크에서 인용은 네 종류 가운데 하나이고, 네 종류 가운데 모든 체계가 가장 못 잡은 종류이기도 하다.
5.2이긴 자리도 그 도구 덕이 아닐 수 있다
부록에 더 묘한 수가 있다. 연구진은 Skepthical이 찾아낸 오류를 네 모듈 가운데 어느 쪽이 집어낸 것인지 되짚어 봤다. 수치 쪽은 기대대로였다. 심사 의견에 나타난 수치 오류 36건 가운데 27건, 75%를 전용 모듈이 집어냈다. 인용은 21건 가운데 11건이다. 그런데 수학은 31건 가운데 7건뿐이었다. 나머지 24건은 컴퓨터 대수를 돌린 모듈이 아니라, 논문을 통독하던 일반 이슈 모듈이 찾아냈다.
저자들은 이 결과를 자기에게 유리한 쪽으로도 읽는다. 이 체계가 잘한 이유가 단지 벤치마크의 오류 분류가 자기 모듈 이름과 닮아서라는 설명에 반대되는 증거라는 것이다. 맞는 말이다. 동시에 이 결과는 전용 검증 모듈을 붙이는 일의 수익이 이름만큼 크지 않을 수 있다는 뜻이기도 하다. 수학을 잡은 것은 수학 전문가가 아니라 전부를 읽던 쪽이었다. 한 가지 더. 이 귀속 작업 자체를 모델이 한 번에 처리했다고 저자들이 밝혀 둔다.
반대쪽 이야기도 저자들이 한 문단으로 적어 둔다. 검출률 표는 기계 검증의 몫을 실제보다 작게 보이게 한다는 것이다. 어떤 모델이 수치 검출률 80%를 혼자 맞혔다는 것과, 도구를 돌려 결정론적으로 계산해 같은 80%에 닿았다는 것은 말하는 바가 다르다. 뒤쪽은 어느 계산을 어떻게 했는지가 소스에 남아 되짚을 수 있고, 앞쪽은 한 번의 추론이라 왜 맞았는지 열어 볼 수가 없다. 명령줄 도구 구성은 그 사이에 있다. 같은 도구를 쥐고 있지만 일부에서만 실제로 돌리니, 되짚을 수 있는 자리도 그만큼만이다. 검출률만 봐서는 이 차이가 보이지 않는다. 검수 결과를 받아 드는 쪽에서는 몇 개를 잡았는가만큼 그 판단을 다시 돌려 볼 수 있는가가 중요해진다.
1위라는 자리도 누구와 견주느냐에 따라 달라진다. 본문이 적는 우위는 항목을 나눈 긴 지시를 받은 GPT-5.5를 상대로 한 값이고, 천체물리에서 9.3%포인트다. 머신러닝에서는 그 GPT-5.5가 오히려 4.4%포인트 앞서는데 유의하지는 않다. 상대를 3절에서 본 짧은 항목 지시의 GPT-5.5로 바꾸면 폭이 더 줄어든다. 천체물리 1.7%포인트, 머신러닝 0.6%포인트이고 둘 다 유의하지 않다. 저자들이 그 의존을 부록에 그대로 적는다. 본문에 적힌 우위는 어떤 지시를 받은 상대와 견주었느냐에 달려 있다는 것이다.
5.3이미 공개된 심사 도구들은 어땠나
비교군에는 바깥에서 가져온 공개 심사 도구 셋이 들어 있다. 성적을 먼저 적으면, 자체 호스팅으로 돌린 공개 모델 둘은 심어 둔 오류를 사실상 하나도 못 잡았다. 천체물리에서 1.1%와 2.3%, 머신러닝에서 1.7%와 2.8%다. 머신러닝은 두 모델이 학습한 본고장인데도 그렇다. 오탐률은 반대로 가장 높아 18.5%에서 59.1% 사이였다.
조건을 빼고 이 수를 옮기면 불공정해진다. 둘은 심사 의견을 쓰도록 학습된 소형 공개 모델이다. 하나는 ICLR·NeurIPS 심사 의견 약 7만 9천 건으로 미세 조정한 80억 개 매개변수 모델이고, 다른 하나는 140억 개 매개변수 모델이다. 오류를 찾으라고 만든 물건과는 쓰임이 다르다. 게다가 둘 중 하나는 입력이 앞 15쪽에서 잘렸다. 그러니 「공개된 AI 심사 도구는 쓸모없다」가 아니라, 심사 의견처럼 보이는 글을 쓰는 능력과 오류를 찾아내는 능력은 다르다고 적는 것이 정확하다. 찾아내는 일과 고치는 일이 또 다르다는 것은 이 블로그가 AI가 실수를 찾아내고도 제대로 고치지 못한다는 벤치마크에서 다룬 적이 있다.
셋째 도구는 스탠퍼드 머신러닝 그룹이 무료로 공개한 에이전트 심사 서비스다. 천체물리 묶음에서만 돌렸고 총 검출률 40.7%로, 중간쯤이다. 흥미로운 것은 성적이 아니라 이 서비스가 스스로 공개해 둔 수치다. 기술 소개 쪽에는 이렇게 적혀 있다. 사람 심사자 둘 사이의 상관이 0.41인데 AI 점수와 사람 점수 사이의 상관은 0.42라는 것이다. 채택 여부 예측 AUC는 0.75로, 사람 점수(0.84)보다 낮다.
가장 널리 열려 있는 AI 심사 도구가 내놓는 수치가 「사람 점수와 얼마나 비슷한가」이고 「틀린 것을 얼마나 잡는가」가 아니라는 점이, 이 절에서 남는 사실이다. 해석을 덧붙이면, 사람끼리의 상관이 0.41인데 AI와 사람 사이가 0.42라는 수는 「AI가 사람만큼 한다」로도 읽히지만 「사람끼리도 그다지 맞지 않는 축에서 쟀다」로도 똑같이 읽힌다. 뒤쪽 읽기는 우리 것이다. 앞쪽 사실은 논문 도입부도 지적하는 바다.
끝으로 이해관계를 한 문장으로 적어 둔다. 1위를 한 Skepthical은 이 논문의 저자들이 직접 만든 참조 구현이고, 저자들은 한계 절에서 이 비교가 자원 동등하지 않다고 스스로 적는다. LLM 호출 수가 더 많고 공급사를 셋 쓴다는 것이다. 머신러닝에서 인용 우위가 사라진다는 것도, 수학 검출이 전용 모듈에서 나오지 않았다는 것도 저자들이 직접 쓴 내용이다. 논문에는 이해상충이 없다고 적혀 있다. 벤치마크 저장소에는 심은 오류 357개와 모든 체계의 판정 기록, 평가 코드가 데이터 CC-BY-4.0·코드 MIT로 공개돼 있다. 판단할 재료를 다 내놓은 쪽이라고 적는 것이 공정하다.
이 시험지를 만든 것도 모델이다
오류 357개를 심은 것은 사람의 손이 아니라 에이전트다. 천체물리 묶음은 Claude Sonnet 4.6이, 머신러닝 묶음은 Gemini 3.1 Pro가 맡았고, 심은 뒤에는 기계 검증을 통과한 것만 남겼다. 채점하는 자리도 마찬가지다. 심사 의견이 그 오류를 짚었는지를 판정한 것은 서로 다른 계열에서 고른 Claude Sonnet 4.6, GPT-5.4, Gemini 3 Flash가 한 표씩 던지는 3심 패널이다.
이 절의 목적은 이 설계를 흠잡는 데 있지 않다. 저자들이 한계를 가장 길게 적어 둔 자리가 여기이고, 그 기록이 이 글에서 가장 값어치 있는 대목이기 때문이다. 정답지를 모델이 만들었다는 사정은 이 블로그가 정답지 오류 때문에 AI 에이전트의 실력이 낮게 매겨진 벤치마크와 문제도 채점도 AI가 한다는 말을 실제로 세어 본 글에서 이미 다룬 문제이기도 하다.
6.1정답지가 있을 때만 심판들이 맞는다
패널이 내린 판정은 두 종류다. 하나는 심은 오류를 심사 의견이 짚었는가(검출 판정)이고, 다른 하나는 깨끗한 사본에 올라온 지적이 거짓인가(오탐 판정)다. 앞쪽에는 정답지가 있다. 어떤 오류를 어디에 심었는지 기록이 남아 있으니 대조만 하면 된다. 뒤쪽에는 정답지가 없다. 지적된 대목이 사소하지만 실재하는 문제인지 아예 헛짚음인지를 판단해야 한다.
거의 같은 심판들이 같은 논문을 보고 내린 판정인데, 두 종류에서 서로 맞는 정도가 전혀 다르다. 검출 판정에서 심판 쌍의 상관은 천체물리에서 0.90~0.91, 머신러닝에서 0.90~0.93이다. 오탐 판정에서는 0.32~0.58과 0.37~0.53으로 떨어진다. 저자들은 앞쪽을 두고 "high agreement is what one expects when an objective key exists"라고 적고, 뒤쪽을 두고는 판단이 "ambiguous when no key is available"하다고 적는다. 바뀐 것은 물음에 정답지가 붙어 있느냐뿐이다.
두 심판석이 완전히 같은 셋은 아니라는 것을 적어 둔다. 세 자리 가운데 둘은 같은 모델이고, 나머지 한 자리만 검출 판정에서 Gemini 3 Flash, 오탐 판정에서 Gemini 3.1 Pro로 바뀐다. 범위를 하나 더 좁혀야 한다. 0.32~0.58은 깨끗한 사본에 올라온 지적 가운데 일반 이슈 지적을 판정한 패널의 값이다. 나머지 세 종류는 다른 길로 간다. 수치 지적은 파이썬으로 다시 계산해 보고, 수학 지적은 컴퓨터 대수 도구로 확인하며, 인용 지적은 인용된 논문 PDF를 붙인 2심 패널이 본다.
이 조건이 대비를 흐리지는 않는다. 오히려 선명하게 만든다. 기계로 확인할 수 있는 종류는 기계로 확인했고, 사람의 판단에 해당하는 종류만 모델 셋에게 물었다. 일치도가 무너진 자리는 정확히 그 마지막 자리다. 4.2절에서 본 「애매」라는 셋째 답이 왜 필요했는지도 여기서 설명된다.
세 자리 가운데 둘이 같은 모델인 두 심판석이, 같은 묶음의 같은 심사 의견을 두고 낸 두 범위다. 아래쪽 띠가 넓은 것은 심판이 달라서가 아니라 물음에 정답지가 없어서다. 코언의 카파로 다시 계산해도 두 범위는 0.03 안쪽에서만 움직인다고 저자들이 적는다.
해석. 이 대비가 이 글에서 가장 깊은 데이터 품질 교훈이다. 심판을 LLM으로 세울 때 신뢰도를 가르는 것은 심판의 성능이 아니라 물음의 성질이다. 대조할 기록이 있는 판정은 모델을 바꿔도 거의 같은 답이 나오고, 대조할 것이 없는 판정은 같은 모델끼리도 절반밖에 맞지 않는다. 그래서 이 벤치마크의 검출률은 오탐률보다 믿을 만한 수다. 뒤집어 말하면, 이 글에 나오는 오탐률들은 앞의 검출률만큼 단단하지 않다.
판정 절차 자체는 꼼꼼하다. 두 묶음에 걸친 4,084건의 판정 가운데 93.5%가 첫 판에서 3대 0 만장일치였고, 6.5%만 2대 1로 갈렸다. 갈린 건과 일부 조건에 해당하는 건, 전체의 34.9%는 PDF를 붙여 다시 판정했으며 그중 92.3%가 첫 판의 다수 의견을 그대로 확인했다. 최종적으로 97.3%가 첫 판 또는 재판정에서 확정됐고 2.7%만 뒤집혔다.
6.2사람이 확인한 한 편에서 어긋난 다섯
사람이 직접 대조해 본 것은 논문 한 편이다. 저자 가운데 한 사람이 천체물리 묶음에서 무작위로 뽑은 논문 한 편(arXiv 2604.20975)에 대해, 패널의 판정도 어느 체계가 쓴 심사 의견인지도 모르는 상태에서 모든 검출 판정에 라벨을 달았다. 비교 가능한 132건 가운데 127건이 일치했다. 96.2%이고 코언의 카파는 0.914다. 꽤 높은 일치다.
132라는 수가 어디서 나오는지도 적어 둔다. 그 논문의 오류 심은 판본 셋에 각각 넷씩, 모두 열두 개가 들어갔다. 판본마다 체계 열둘이 심사해 심사 의견 36편과 판정 144건이 나왔다. 그 가운데 열두 건은 패널 판정이 기록되지 않은 심사 의견 셋에 걸려 있어 비교에서 빠졌다. 사람과 기계를 맞대 본 자리는 논문 한 편, 판정 132건이 전부다.
값어치 있는 것은 어긋난 다섯 건이다. 다섯 건이 전부 같은 방향이었다. 사람이 인정하지 않은 검출을 패널이 인정해 준 쪽이다. 그래서 이 논문 한 편에 대한 검출률이 패널 기준으로는 34.8%, 사람 기준으로는 31.1%가 된다. 기계 심판이 조금 더 후했다.
이것을 「검출률이 부풀려졌다」로 읽으면 과하다. 한 편이고 한 사람이다. 정확한 서술은 이렇다. 사람이 확인한 한 편에서는 패널이 더 후했고, 어긋난 다섯 건이 모두 같은 방향이었다. 저자들 스스로 세 가지 한계를 적어 둔다. 천체물리 논문 한 편만 봤다는 것, 라벨을 단 사람이 하나뿐이라 사람들 사이의 일치도를 잴 수 없다는 것, 그리고 이 확인이 검출 판정만 다뤘다는 것이다. 부록 D가 둘 중 덜 믿을 만하다고 보인 오탐 판정 쪽은 사람과 대조해 보지 않았다.
6.3제 식구를 봐주는지도 검정했다
LLM에게 채점을 맡기면 자기 계열이 쓴 글에 후해진다는 의심이 있다. 2024년에 이 현상을 보고한 연구가 있고, 저자들은 그 연구를 인용하며 자기 패널에 같은 검정을 돌렸다. 결과는 반대 방향이었다. 같은 계열 심판이 더 후했다면 평균이 양수여야 하는데, 천체물리에서 −1.37%포인트(95% 신뢰구간 −2.41에서 −0.39), 머신러닝에서 −0.17%포인트(−0.97에서 +0.66)다. 2대 1로 갈린 건에서 같은 계열 심판이 홀로 반대 의견을 낸 비율도 천체물리 25.2%, 머신러닝 23.2%로, 자기선호가 있다면 넘어야 할 3분의 1보다 낮다. 심판별로 전체적으로 얼마나 후했는지는 세 공급사가 3%포인트 안쪽에서 비슷했다.
이 검정을 빼놓고 「모델이 모델을 채점했으니 믿을 수 없다」고 적으면 불공정하다. 저자들은 가장 흔한 의심을 직접 검정했고, 그 증거는 나오지 않았다. 다만 모델을 심판으로 세운 설계의 모든 위험이 자기선호 하나인 것은 아니다. 오탐 판정의 낮은 일치도는 자기선호와 무관하게 남아 있는 문제다. 재려던 것과 실제로 재진 것이 어긋나는 경우가 있다는 이야기는 벤치마크가 이름대로 재고 있는지를 따진 글에서 다뤘다.
6.4이 벤치마크가 재지 않는 것
한계 절에서 저자들이 밝히는 범위는 좁다. 이 벤치마크는 "novelty, significance, adequacy of experiments, missing controls, interpretive judgement, or alignment with human-written reviews"를 다루지 않는다. 새로운가, 중요한가, 실험 설계가 적절한가, 빠진 통제는 없는가, 해석이 타당한가. 심사의 본령에 가까운 물음들이 전부 빠져 있다. 여기서 재는 것은 이미 틀려 있는 것을 짚어 내는 능력 하나다.
저자들은 배치 위험도 셋 적어 둔다. 종류별 검출률이 고르지 않은 데서 오는 잘못된 안심, 알려진 약점을 노린 공략, 그리고 심사 기반이 몇몇 LLM 공급사에 몰리는 것이다. 첫 번째가 실무에 가장 가깝다. 전체 평균이 70%여도 인용 오류만 20%대라면, 그 체계를 통과했다는 사실이 인용에 대해서는 거의 아무것도 보증하지 않는다.
마지막으로 한 줄. 머신러닝 묶음에 오류를 심은 모델과, 한 문장짜리 지시에서 꼴찌로 평가된 모델이 같은 Gemini 3.1 Pro다. 논문은 이 겹침을 어디서도 따로 다루지 않는다. 부록의 자기선호 검정은 심판 패널을 대상으로 한 것이지 오류를 심은 모델을 대상으로 하지 않는다. 심은 쪽은 에이전트로 여러 차례 돌린 구성이고 잡는 쪽은 한 문장 지시를 받은 단일 호출이라 조건도 다르다. 같은 이름이 양쪽에 있다는 사실만 적어 둔다.
페블러스 관심의 이유
이 논문은 학술 출판 기사가 아니라 검사기를 검사하는 기사다. 페블러스가 데이터 품질 진단에서 가장 먼저 하는 일과 설계가 같다. 우리가 심은 결함을 이 파이프라인이 몇 개나 잡는가. 다른 점은 하나다. 저들은 그 수를 공개했고, 비용과 시간까지 적어 두었다. 대부분의 검수 파이프라인은 그 수를 재 본 적이 없다.
재 본 쪽에서는 효과가 나타난다는 증거도 있다. 심리학 논문 30,717편의 통계 보고를 자동으로 검사한 2016년 연구는 논문의 49.6%에 p값 불일치가 적어도 하나 있고 12.9%는 결론이 바뀔 수준이라고 보고했다. 같은 검사기를 심사 절차에 실제로 끼워 넣은 학술지들에서는 그 뒤로 불일치 유병률이 뚜렷이 줄었다. 검사기를 붙이는 일이 숫자를 세는 데서 끝나지 않고 유병률 자체를 움직인 사례다.
7.1이 글이 남기는 품질 교훈 다섯
본문에서 나온 발견을 데이터 품질 쪽 언어로 옮기면 다섯 줄이 된다.
- 검출만 재면 반쪽이다. 오탐을 같이 재지 않으면 많이 잡는 검사기와 많이 헛짚는 검사기가 구별되지 않는다. 그리고 헛짚지 않는 가장 쉬운 방법은 아무것도 지적하지 않는 것이다. 오탐률 1.0%의 정체가 그것이었다.
- 분모가 바뀌면 같은 개선이 악화로 보인다. 헛짚은 건수가 12에서 9로 줄었는데 오탐률은 9.2%에서 13.0%로 올랐다. 지적 총수가 131에서 69로 줄었기 때문이다. 대시보드에 비율만 남겨 두면 이 칸을 거꾸로 읽게 된다.
- 난이도 사다리를 두면 성능 곡선이 보인다. 미묘·분명·노골 세 단계가 없으면 「80% 잡는다」가 무엇을 뜻하는지 알 수 없다. 가장 미묘한 단계에서 57~73%인 체계와 가장 노골적인 단계에서도 5%를 못 넘는 체계가 평균 하나로는 구별되지 않는다.
- 정답지가 있는 판정과 없는 판정은 신뢰도가 다르다. 거의 같은 심판 셋이 정답지가 있을 때는 0.90으로 맞고 없을 때는 0.32~0.58로 갈린다. 우리 품질 지표 가운데 정답지 없는 판정에 기대고 있는 칸이 어디인지가 그대로 물음이 된다.
- 정답지를 누가 만들었는지가 결과의 상한이다. 이 벤치마크의 정답지도 채점자도 모델이었고 사람 확인은 한 편이었다. 그 한 편에서 어긋난 다섯 건이 전부 기계 쪽이 더 후한 방향이었다.
7.2검수를 AI에 맡길 때 물어야 할 다섯
고객·파트너와 검수 자동화를 이야기할 때 그대로 쓸 수 있는 물음 다섯이 이 논문에서 나온다. 다섯 다 논문 심사에서만 쓰이지 않는다. 코드 리뷰, 계약서 점검, 데이터 검증에 그대로 옮겨 간다.
- 우리 검수기는 일부러 심은 오류를 몇 개나 잡는가. 심어 본 적이 없다면 답을 모른다는 뜻이다.
- 멀쩡한 것을 몇 번 건드리는가. 그때 분모는 무엇인가. 결함이 없는 깨끗한 표본을 같이 돌리지 않으면 이 수는 아예 존재하지 않는다.
- 종류별로 고르게 잡는가. 한 종류가 바닥이면 전체 평균이 잘못된 안심을 만든다. 저자들이 적은 배치 위험 가운데 첫 번째다.
- 모델을 바꾼 것인가, 시킬 말을 바꾼 것인가. 그 값은 얼마였나. 지시 수정은 싸 보이지만 여기서는 편당 비용 다섯 배, 시간 여섯 배였다.
- 우리 품질 판정 가운데 정답지가 없는 칸은 어디인가. 거기가 제일 먼저 흔들린다.
7.3이 글이 서는 자리
이 블로그는 시험지와 채점자를 의심하는 자리를 여러 번 따져 왔다. 정답지 오류가 실력을 낮게 매긴 일, 문제도 채점도 AI가 하는 설계의 실제 비율, 편향 검사가 정작 추론 실력을 재고 있던 일, 같은 줄에 정답이 둘 달려 있던 시험지가 그것이다. 이번 글은 그 계열에서 처음으로 반대편을 다룬다. 그럼 제대로 재려면 어떻게 하는가의 본보기다.
결함 목록을 심어 두고 검사기를 검사하는 방식에는 한계도 뚜렷하다. 심어 둔 종류만 잡히는지 알 수 있고, 심을 생각을 못 한 종류는 여전히 보이지 않는다. 반대 방향으로 가는 설계도 있다. 불량 목록 대신 정상 모습을 학습하는 공장 검사 AI가 그쪽이다. 두 방식 다 완전하지 않고, 둘 다 돌려 보는 쪽이 어느 한쪽만 믿는 쪽보다 낫다.
1절부터 6절까지는 저자들이 측정한 것과 이 리포트가 1차 자료에서 확인한 것을 옮긴 것이고, 이 7절은 그 논문이 하지 않은 일이다. 나눠서 읽어 주시기 바란다. 본문의 수치와 영문 축자는 arXiv 공개본의 본문과 부록 전문에서 직접 대조했다. 표 13의 단계별 지출을 나눠 얻은 비율처럼 이 리포트가 계산한 값은 그 자리에 계산이라고 적었다. 그림 1의 심각도 단계별 개별 수치는 논문이 그림으로만 제시해 본문에 적힌 57~73% 말고는 옮기지 않았다. arXiv 판본은 이 글을 쓰는 시점까지 v1 하나다.
참고문헌
본문의 수치는 세 갈래다. 1번 논문의 본문·표·부록 값은 arXiv 공개본 전문에서 직접 옮겼고, 2번 저장소는 그 논문이 공개한 데이터와 코드다. 3번부터는 1번 논문이 근거로 든 문헌이거나, 이 리포트가 바깥 기준선으로 따로 가져온 연구다. 사람 심사자 기준선(9~11번)은 이 벤치마크가 측정한 값이 아니라 다른 집단에 같은 설계를 돌린 옛 실험의 값이므로 따로 묶었다.
이 보고서의 뼈대 (1차 원문 대조)
- 1.Zubeldia, Í., Bolliet, B., Villaescusa-Navarro, F., Villanueva-Domingo, P., & Cranmer, M. "Auditing AI peer reviewers: a benchmark on real scientific papers." arXiv:2611.17052v1, 2026년 11월 12일 제출. NeurIPS 2026 채택작. arXiv: 2611.17052 — 묶음 선정과 오류 주입 절차는 §2, 검출률 표는 표 2, 오탐 수치는 §3.2와 그림 2, 심판 사이 일치도는 부록 D, 자기선호 검정은 부록 E, 사람 대조는 부록 F, 지시 세 단계 비교는 부록 H 표 11, 모듈별 귀속은 부록 I, 인용 오류 분류는 부록 J, 비용과 자원은 부록 M 표 12·13에서 옮겼다.
- 2.벤치마크 공개물
github.com/inigozubeldia/skepthical-benchmark(데이터 CC-BY-4.0 / 코드 MIT) — 심은 오류 357개의 기록, 모든 심사 체계의 판정 로그, 평가 파이프라인이 올라와 있다. 심사 체계 자체는skepthical-ai.org에서 Denario Labs 이름으로 공개돼 있고, 한 번에 논문 한 편을 PDF로만 받는다.
AI 심사의 현장 배치
- 3.Biswas, J. 외. "AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot." arXiv:2604.13940, 2026년 4월 15일 제출. arXiv: 2604.13940 — 1절의 22,977편과 하루 미만이라는 수치, 그리고 저자·프로그램 위원 설문 결과가 여기서 나왔다. 설문은 그 파일럿을 수행한 연구진이 직접 보고한 것이고, 선호도는 정확성 측정이 아니다.
- 4.Jiang, Y., & Ng, A. Stanford Agentic Reviewer (스탠퍼드 에이전트 심사자), Stanford ML Group. paperreview.ai/tech-overview — 5.3절의 사람 점수 상관 0.42(사람끼리 0.41)와 채택 예측 AUC 0.75는 이 기술 소개 쪽에 공개된 값이다. 검출률과 오탐률은 공개돼 있지 않다.
측정 방법의 계보
- 5.Ribeiro, M. T., Wu, T., Guestrin, C., & Singh, S. "Beyond Accuracy: Behavioral Testing of NLP Models with CheckList." ACL 2020. — 1번 논문이 자기 설계의 조상으로 직접 드는 연구다.
- 6.DeMillo, R. A., Lipton, R. J., & Sayward, F. G. "Hints on Test Data Selection: Help for the Practicing Programmer." IEEE Computer 11(4), 1978. doi:10.1109/C-M.1978.218136 — 1.5절의 변이 시험이다. 1번 논문이 인용하는 계보가 아니라 이 리포트가 잇는 비유다.
- 7.Panickssery, A., Bowman, S. R., & Feng, S. "LLM evaluators recognize and favor their own generations." NeurIPS 2024. / Verga, P. 외. "Replacing judges with juries: Evaluating LLM generations with a panel of diverse models." arXiv:2404.18796 (2024). / Ye, J. 외. "Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge." arXiv:2410.02736 (2024). — 6.3절의 자기선호 검정과 3심 교차 패널 설계가 이 셋을 근거로 삼는다.
- 8.Dycke, N., & Gurevych, I. "Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework." arXiv:2508.21422 (2025). / Xi, S., Rao, V., Payan, J., & Shah, N. B. "FLAWS: A Benchmark for Error Identification and Localization in Scientific Papers." arXiv:2511.21843 (2025). — 1.3절의 선행 지형이다. 앞의 연구가 오탐 통제를 갖춘 유일한 선행으로 꼽힌다.
사람 심사자 기준선 (이 벤치마크가 측정한 값이 아님)
- 9.Godlee, F., Gale, C. R., & Martyn, C. N. "Effect on the Quality of Peer Review of Blinding Reviewers and Asking Them to Sign Their Reports: A Randomized Controlled Trial." JAMA 280(3), 237–240 (1998). — 2.2절의 여덟 개 중 두 개(중앙값), 16%, 33%가 여기서 나왔다.
- 10.Schroter, S., Black, N., Evans, S., Godlee, F., Osorio, L., & Smith, R. "What errors do peer reviewers detect, and does training improve their ability to detect them?" Journal of the Royal Society of Medicine 101(10), 507–514 (2008). — 2.2절의 아홉 개 중 평균 2.58개다.
- 11."Testing for the Presence of Positive-Outcome Bias in Peer Review: A Randomized Controlled Trial." JAMA Internal Medicine(옛 Archives of Internal Medicine) — 2.2절의 17.3% 대 39.1%다. 정형외과 학술지 두 곳의 심사자 238명을 대상으로 했다.
오류 유병률과 심사 부하
- 12.Nuijten, M. B., Hartgerink, C. H. J., van Assen, M. A. L. M., Epskamp, S., & Wicherts, J. M. "The prevalence of statistical reporting errors in psychology (1985–2013)." Behavior Research Methods 48(4), 1205–1226 (2016). / Nuijten, M. B., & Wicherts, J. M. Advances in Methods and Practices in Psychological Science (2024). — 7절의 49.6%·12.9%와, 검사기를 심사 절차에 넣은 학술지에서 유병률이 줄었다는 결과다.
- 13.arXiv 공식 블로그 blog.arxiv.org — 1.4절의 2026년 9월 월간 제출 40,363건과 2026년 10월 1일부터 적용된 1인당 월 2편 제한이다.
페블러스 블로그 인접 글
- 14.ICLR 논문을 AI가 다시 심사하면 같은 점수가 나올까?, 문장만 고쳐 쓴 논문 4,080편에서 AI 심사 점수가 갈렸다 — 2.3절에서 참조했다. 재현성과 문체 민감도를 각각 잰 글이다.
- 15.AI가 AI를 심사한다 — ICLR 2026, 리뷰 76,139편의 21%가 AI였다, 다운스트림 코드를 읽어 데이터 검증 규칙을 만드는 PrismaDV — 1절에서 참조했다.
- 16.데이터 정제 에이전트 일곱 중 값을 제대로 고친 건 없었다, 채점 척도의 바닥이 만들어 낸 LLM 판정 편향 — 4절에서 참조했다. 검출과 오탐의 교환 관계, 그리고 눈금 설계가 판정을 만드는 장면이다.
- 17.값싼 LLM 심판도 인용 검증에서 프런티어 모델과 맞먹었다, AI는 실수를 찾아내고도 제대로 고치지 못한다 — 5절에서 참조했다.
- 18.정답지 오류로 AI 에이전트 실력을 낮게 매긴 벤치마크, AI 벤치마크, 문제도 채점도 AI가 한다는 말은 사실일까?, AI 편향 검사, 정작 재는 건 추론 실력, 이상 징후 찾는 AI의 시험지, 같은 줄에 정답이 둘 — 6절과 7절에서 참조했다. 시험지와 채점자를 의심하는 자리를 따진 글들이다.
- 19.공장 검사 AI, 불량 목록 대신 '정상 모습'을 학습 중 — 7.3절에서 참조했다. 결함을 심어 두는 방식의 반대편 설계다.