Executive Summary

주요 수치

출처: Li et al.(2026) 본문·부록의 실측값. 네 수치 모두 본문에서 다시 다룬다.

메릴랜드대학교와 버지니아공대, MBZUAI, 워털루대학교 연구진이 2026년 8월 10일 arXiv에 올린 「How Can Rhetoric Reward-Hack AI Reviewers?」는 AI 심사위원을 관찰한 논문이 아니라 원고 쪽을 통제한 실험이다. 설계는 단순하다. 같은 논문의 과학적 내용을 고정한 채 서술만 바꾸고, 그 변형이 점수를 얼마나 움직이는지 격자로 재는 것이다. 이런 실험에서 결과의 신뢰도를 정하는 것은 결론이 아니라 통제의 범위다. 무엇을 잠그고 무엇을 풀었는지가 이 연구의 전부라고 해도 지나치지 않다.

페블러스 블로그가 AI 동료심사를 다룬 것은 처음이 아니다. 다만 축이 다르다. ICLR 2026 리뷰의 21%가 AI가 쓴 것으로 분류된 사건은 리뷰를 누가 썼는가의 문제였고, 대응 수단은 탐지였다. 이 글이 다루는 것은 그 심판이 무엇에 반응하는가다. 심판 모델 사이의 편향 차이와도 다르다. 여기서 흔들리는 것은 같은 심판이 같은 내용을 다르게 서술한 입력을 만났을 때의 판정이다.

1.1무엇을 잠갔고 무엇을 풀었나

연구진은 ICLR 2026 제출물을 OpenReview API로 모아 철회분과 데스크리젝트를 걷어내고, 사람 평균 평점 기준 여섯 구간에서 각 20편씩 뽑아 120편을 만들었다. 각 논문의 arXiv 공개 LaTeX 소스를 메타데이터로 매칭하고, 버전이 여럿이면 정규화 텍스트와의 유사도로 최적 버전을 골랐다. 그다음 에이전트 익명화 하네스로 저자명과 소속, 감사의 글, 투고 상태 문구, 신원이 드러나는 링크를 지웠다. 편집 범위가 신원 영역을 벗어나지 않았는지는 소스 diff 검사와 사람 검수로 확인했다.

리라이트 단계의 통제는 두 층으로 나뉜다. 프로그램 검사로 강제한 층에서는 인용과 상호참조 키, 라벨, URL, 그림 경로, 수식과 코드 환경, 참고문헌 파일이 잠겼다. 위반하면 에이전트에 되돌려 수리하게 했고 끝내 해결되지 않거나 컴파일에 실패한 원고는 버렸다. 반대로 표현과 구성, 강조, 캡션, 표, 보고된 결과의 서술과 해석은 열어 뒀다. 방법과 실험 설정, 보고 값, 비교, 핵심 발견을 보존하라는 제약은 프롬프트 수준에 있었을 뿐, 문장 단위의 의미 동일성까지 요구하지는 않았다.

실험의 규모는 그 위에 쌓인다. 여섯 개 차원을 각각 긍정과 부정 두 방향으로 적용해 열두 개 조건을 만들고, 리라이터 두 종이 각각 원고를 다시 썼다. 단일 차원 리라이트만 2,880편이고, 여섯 축을 한꺼번에 적용한 동시 리라이트와 3라운드 반복, 리뷰 피드백을 받아 한 번 더 고친 조건을 더해 4,080편이 나왔다.

원문 Table 1과 부록 B.3 기준. 심사위원에게는 어떤 조건으로 고쳐 썼는지도, 어느 모델이 고쳐 썼는지도 알리지 않았다.

아래 도식은 원고 한 편이 채점표 여러 장으로 불어나는 경로를 정리한 것이다. 왼쪽에서 오른쪽으로 갈수록 편수가 늘고, 아래쪽 두 줄이 그 과정에서 잠긴 것과 풀린 것을 나눈다.

1.2절차는 공개됐고 원자료는 확인되지 않았다

연구진은 프로젝트 저장소를 MIT 라이선스로 열어 뒀다. 리라이트와 리뷰 프롬프트, 파이프라인 코드, 익명화 하네스, 컨테이너 정의까지 들어 있어 절차를 다시 밟는 문턱은 낮다. 다만 저장소 용량이 36KB에 그치므로 원고 4,200편과 리뷰 레코드 42,396건의 원자료가 여기 담겨 있지는 않다. 데이터 공개의 범위는 이번 조사에서 확인하지 못했다. 비용이 3만 달러에 가까운 실험이라 전량 재실행도 현실적이지 않다. 재현성은 절차 수준에서 성립하고 원자료 수준에서는 미확인으로 남는다.

여섯 개 차원은 논문이 미리 정한 것이다. 참신성 주장, 범위 프레이밍, 근거 프레이밍, 기여 부각, 기술적 표현, 어휘와 구문의 복잡도. 각 축을 긍정 방향으로 한 번, 부정 방향으로 한 번 적용한 뒤 총평 점수의 평균 변화를 재고, 두 방향의 차이를 대비로 계산했다. 대비가 크면 그 축을 어느 쪽으로 쓰느냐에 따라 심판의 점수가 그만큼 갈렸다.

여섯 축 가운데 셋이 뚜렷하게 움직였고 나머지 셋은 사실상 움직이지 않았다. 움직인 셋 중에서도 근거 프레이밍과 참신성 주장이 앞선다. 반대쪽 끝에서는 어휘와 구문을 어렵게 만드는 조작의 대비가 0.011로, 소수점 둘째 자리에서 이미 0에 붙는다.

원문 Table 3, 리라이터·심판·프로토콜을 모두 평균한 값. 총평 점수(1~10) 기준 변화폭이다.

두 방향의 낙차를 나란히 놓으면 상위 세 축과 하위 세 축이 갈라지는 자리가 눈에 들어온다. 아래 막대는 각 축의 대비를 같은 눈금으로 그린 것이다.

방향의 비대칭도 함께 봐야 한다. 참신성 주장과 범위 프레이밍은 부정 방향의 하락이 긍정 방향의 상승보다 훨씬 크다. 주장을 약하게 쓰면 점수가 확실히 깎이는데, 세게 쓴다고 그만큼 오르지는 않는다. 근거 프레이밍만 양방향 모두 크게 움직였다. 이 방향성은 우연이 아니었다. 근거와 참신성, 범위 세 축 모두 120편 중 100편 이상에서 의도한 순서, 즉 긍정 쪽이 부정 쪽보다 높은 점수를 받는 순서가 그대로 나타났다.

점수 자체보다 실무에 가까운 지표는 합격선이다. 논문은 총평 6점 이상을 약한-채택으로 정의했다. 6점은 루브릭상 수용 가능 등급이고, ICLR 2026 채택 논문의 평균 리뷰 평점 5.39점보다 높다. 이 기준으로 보면 근거 프레이밍 하나가 약한-채택 확률을 13.0%포인트 갈랐고, 참신성 주장이 12.0%포인트, 범위 프레이밍이 9.0%포인트를 갈랐다. 표준 채점에서는 참신성 쪽이 조금 더 강하고, 엄격 채점에서는 근거 쪽이 더 강해진다.

2.10.93점은 평균이 아니다

논문 초록에는 긍정적 근거 프레이밍이 총평을 최대 0.93점 올리고 부정적 참신성 주장이 최대 0.73점 내린다는 문장이 있다. 이 숫자가 인용될 때 가장 자주 생기는 오류는 평균으로 옮겨 적는 것이다. 0.93과 0.73은 리라이터 Opus 4.8과 심사위원 Gemini 3.5 Flash-Lite, 엄격 프로토콜이 겹친 한 칸의 값이다. 전 조합 평균은 위 표대로 +0.289와 -0.353이다. 두 자리 사이의 거리가 이 논문의 요지에 가깝다. 평균 하나로 요약되지 않는 것이 이 감도의 성질이다.

2.2장황함 편향의 확장이 아니다

LLM 심판의 표면 형식 민감도는 새 주제가 아니다. 후보를 제시하는 순서가 쌍대 선호를 뒤집는다는 보고가 있었고, 응답 길이가 자동 승률을 크게 바꾼다는 결과는 길이 통제 방식의 벤치마크를 낳았다. 그래서 이번 결과도 "길고 화려하면 이긴다"의 연장으로 읽히기 쉽다. 그런데 이 논문에서 분량과 난이도에 해당하는 조작은 거의 반응을 얻지 못했다. 어휘 복잡도의 대비가 0.011이고 기술적 표현이 0.108이다. 움직인 것은 문체가 아니라 주장의 프레이밍이었다.

가장 가까운 선행은 다른 쪽에 있다. 답의 정확도가 그대로여도 확신을 낮추는 표현이 붙으면 평가가 내려간다는 연구가 2025년에 나왔다. 이번 논문은 그 한 가지 표지를 여섯 축으로 늘리고, 초록이 아니라 전문에 적용하고, 양방향으로 밀었다. 선행 연구 상당수가 점수를 올리는 개정을 찾아내는 최적화 프레임이었던 것과도 다르다. 유리한 후보만 남겨 상승 폭을 보고하는 대신, 이 논문은 축을 미리 지정하고 점수가 내려간 결과까지 전부 보존한 채 리라이터 2종과 심판 5종, 프로토콜 2종의 격자에서 본다. 그래서 나오는 답이 "얼마나 뚫리는가"가 아니라 어느 축이, 어느 점수대에서, 어떤 심판 아래서 움직이는가다. 공격 성공률이 아니라 감도의 지도다.

평균만 보면 근거 프레이밍은 총평을 0.289점 올린다. 그런데 이 평균을 원본 점수대별로 쪼개면 하나의 값이 아니라 기울기가 나온다. 심판이 원본에 낮은 점수를 준 논문일수록 리라이트 후 점수가 크게 올랐고, 높은 점수를 준 논문에서는 오히려 내려갔다. 두 리라이터를 논문 안에서 풀링한 표준 채점 기준으로, 원점수 1~3점 구간의 평균 변화는 +1.05였고 8~10점 구간은 -0.19였다.

여섯 축을 한꺼번에 적용한 동시 리라이트에서는 같은 기울기가 더 가팔라진다. 낮은 구간 +1.42, 높은 구간 -0.88이다. 네 값을 한 눈금에 놓으면 이 감도가 점수대에 따라 방향까지 바뀐다는 사실이 드러난다.

같은 기울기를 사람 평점 구간에 대고 보면 나타나지 않는다. 사람 리뷰어들이 매긴 원래 평점이 높든 낮든, 리라이트 후 AI 심판의 점수 변화에는 일관된 방향이 없었다. 기울기를 만드는 것은 논문의 실제 수준이 아니라 심판이 처음에 매긴 값이라는 뜻이다. "좋은 논문은 더 강건하다"는 직관은 여기서 성립하지 않는다.

실무에서 이 성질이 가장 아프게 작동하는 자리는 합격선 근처다. 약한-채택 컷을 사이에 두고 4~5점 구간에서는 위로 넘어가는 교차가, 6~7점 구간에서는 아래로 떨어지는 교차가 동시에 발생했다. 방향 대비가 가장 선명한 곳도 이 중간 구간이다. 통과와 탈락이 갈리는 곳에서 판정이 가장 크게 흔들린다.

3.1저자들이 스스로 단 한정

이 패턴을 두고 저자들은 두 번에 걸쳐 자기 한정을 달았다. 관찰은 서술적이며, 척도의 경계 효과와 평균 회귀를 부분적으로 반영할 수 있다는 것이다. 낮은 점수는 위로만 갈 여지가 있고 높은 점수는 아래로만 갈 여지가 있으니 눈금 자체가 기울기를 만들 수 있다. 평균 회귀는 반복 측정 자료에서 흔한 현상이고, 측정오차가 클수록, 그리고 기준값으로 나눈 하위집단을 볼수록 두드러진다. 역학 문헌이 오래전에 정리한 대로, 관찰된 변화의 가능한 원인으로 항상 검토해야 하는 후보다.

다만 같은 논문의 다른 표를 함께 보면 이 한정만으로 폭이 전부 설명되기는 어려워 보인다. 부록 F의 신뢰성 감사에서 연구진은 같은 PDF를 세 번 독립적으로 채점해 평균낸 추정치와 한 번 채점한 추정치를 비교했다. 열두 개 기준-대응 효과에서 두 추정치의 상관은 0.995였고 평균 절대차는 0.040점이었다. 채점 노이즈가 이 정도로 작다면, 오차가 클수록 커지는 평균 회귀만으로 ±1점대의 이동을 설명하기는 쉽지 않다. 여기서는 단정하지 않고 조건부로만 적어 둔다. 저자들의 한정은 정당하고, 그 한정이 전부는 아닐 가능성도 열려 있다.

평가 파이프라인에서 편향이 보고되면 가장 먼저 나오는 대응은 프롬프트를 조이는 것이다. 이 논문은 그 대응을 실험 조건으로 넣었다. 표준 프로토콜은 통상적인 학회 루브릭을 그대로 옮긴 것이고, 엄격 프로토콜은 높은 평점을 주려면 구체적 근거를 대라고 요구하면서 과학적 판단을 바꾸지 않는 표현은 보상하지 말라고 명시적으로 지시한다. 이 문제를 아는 사람이 쓸 법한 프롬프트다.

결과는 세 갈래로 갈렸다. 점수대는 확실히 내려갔고, 논문 사이의 순서는 대체로 보존됐고, 문장에 대한 민감도는 줄지 않았다. 마지막 항목이 이 절의 요지다.

점수대의 하락은 크고 일관적이다. 평균 총평이 6.296에서 4.934로 내려갔고 논문의 95%가 더 낮은 점수를 받았다. 그러면서도 표준과 엄격 사이의 논문 순위 상관은 0.862였다. 절대 점수는 통째로 이동했는데 상대적 서열은 대체로 남았다는 뜻이다. 여기까지는 프롬프트 강화가 통한 것처럼 보인다.

문제는 세 번째 칸이다. 표현을 보상하지 말라고 명시한 프로토콜에서, Opus 4.8이 고쳐 쓴 원고의 근거 프레이밍 효과는 오히려 0.320에서 0.560으로 커졌다. 원문이 세 번째 발견으로 정리한 문장도 같은 취지다. 엄격 프롬프트는 리라이트 효과를 일관되게 강화하지도, 약화하지도 않는다. 눈금을 통째로 아래로 옮겼을 뿐 강건성을 만들지는 못했다.

4.1눈금은 원래도 사람과 어긋나 있었다

절대 점수의 위치를 보면 프롬프트를 조인 이유가 더 분명해진다. 표준 프로토콜에서는 다섯 심판이 모두 사람 평균보다 높은 점수를 줬다. 차이는 +0.418점에서 +2.934점까지 벌어졌다. 엄격 프로토콜에서는 GPT-5 mini와 GPT-5.5, Sonnet 5가 사람보다 낮아졌고 Qwen 3.5 Flash는 거의 일치했으며 Gemini 3.5 Flash-Lite만 여전히 1.676점 높았다. 논문 단위 절대오차는 1.029점에서 2.934점, 사람 평점과의 순위 상관은 0.395에서 0.621이었다.

이 점수 인플레이션은 이 논문만의 현상이 아니다. ICLR과 NeurIPS 논문 1,441편을 모아 본 다른 연구에서도 사람 평균 5.70에 LLM 평균 6.86으로, 같은 방향의 1.16점 격차가 보고됐다. 다만 여기서 결론을 "AI 심판은 사람과 안 맞는다"로 옮기면 이 보고서의 논점을 놓친다. 동료심사라는 같은 과제를 다룬 선행 연구들에서 사람과 사람 사이의 상관 자체가 0.14에서 0.41 사이에 머문다. 상관의 절대 수준이 문제가 아니라, 같은 내용을 다르게 서술했을 때 그 판정이 움직인다는 사실이 문제다.

4.2프로토콜 조건이 제도가 되고 있다

실험실 안에서 프로토콜은 변인이었다. 그런데 같은 것이 지금 학회 규정으로 나오고 있다. ICML 2026의 LLM 사용 정책은 허용과 금지의 이분법을 버리고 논문 단위로 저자가 심사 체제를 고르게 했다. Policy A는 리뷰 전 단계에서 LLM 사용을 전면 금지하고, Policy B는 논문 이해와 리뷰 문장 다듬기를 허용하되 품질 평가와 강약점 식별, 리뷰 작성 위임은 금지한다. A를 요구한 논문은 A를 지키는 리뷰어에게만 배정되고, A를 요구한 저자는 자신이 리뷰어일 때도 A를 지켜야 한다.

ICLR 2026은 다른 방향에서 같은 문제를 다뤘다. 리뷰어 가이드는 LLM을 작문 보조 도구 범위에서 허용하면서 리뷰 양식에 사용 여부를 적는 신고 필드를 신설했고, 신고하지 않으면 리뷰어 본인의 논문이 데스크리젝트 위험에 놓인다고 명시했다. 자기 이름으로 나간 리뷰의 내용에 대한 책임도 전적으로 리뷰어에게 있다. 규범이 강해진 것은 분명하다. 다만 방향을 보면 두 정책 모두 누가 썼는가를 다룬다. 그 심판이 무엇에 반응했는지를 묻는 조항은 아니다.

격자 실험의 값은 여기에 있다. 같은 원고, 같은 차원인데 리라이터를 바꾸고 심판을 바꾸면 결과가 어떻게 달라지는지 볼 수 있다. 원문의 정리는 역할 분담에 가깝다. 리라이터는 긍정과 부정 사이의 대비 폭을 정하고, 심판은 그 효과의 크기와 부호를 정한다. 부호라는 단어가 여기 들어간다는 점이 중요하다. 심판을 바꾸면 같은 조작이 점수를 올리기도 하고 내리기도 했다.

원문 §6.1과 Table 3 기준의 정성 요약. 심판별 개별 수치는 원문 표에 조건별로 흩어져 있어 여기서는 방향과 폭만 옮겼다.

Sonnet 5의 행이 이 보고서에서 지워지면 안 되는 반례다. "AI 심판은 화려한 문장에 넘어간다"는 요약은 이 행 하나로 무너진다. 원문의 결론도 수사가 보편적인 리워드 해킹은 아니라는 것이다. 위험은 모두가 같은 방향으로 속는 데 있지 않다. 어느 심판을 쓰느냐에 따라 같은 개입의 부호가 달라지는데, 파이프라인을 운영하는 쪽은 대개 그 사실을 모른 채 심판을 교체한다는 데 있다.

더 불편한 관찰이 옆에 있다. 다섯 심판은 논문의 순위에 대해서는 비교적 잘 합의한다. 그런데 어떤 논문이 리라이트로 이득을 보는지에 대해서는 합의하지 못한다. 품질에 대한 합의는 개입 효과에 대한 합의를 보장하지 않는다. 여러 심판의 점수를 평균해 안정성을 확보했다고 믿는 파이프라인이 놓치는 자리가 정확히 여기다.

5.1점수 변화가 기록된 자리

논문은 총평 외에 soundness와 presentation, contribution 점수도 함께 받았다. 문장만 바꿨으니 변화가 있다면 presentation에 기록되는 것이 상식적이다. 실제 결과는 반대였다. 총평의 변화는 presentation과는 약하게, contribution 및 soundness와는 더 강하게 동반 이동했다. Qwen 3.5 Flash는 주로 contribution 쪽에, 엄격 프로토콜의 Gemini 3.5 Flash-Lite는 contribution과 soundness 양쪽에 강하게 연동됐다. Sonnet 5는 연동이 약하고 불안정했다.

세분화된 루브릭이 채점의 해명을 준다는 전제는 LLM 심판 도입의 주요 근거 가운데 하나였다. 이 결과는 그 전제를 흔든다. 바꾼 것은 문장인데 모델은 그것을 "표현이 좋아졌다"가 아니라 "기여와 타당성이 달라졌다"로 적어 넣는다. 감사 기록에 남는 문장이 그렇게 남는다.

5.2더 정교한 루프는 이득을 주지 못했다

그렇다면 여섯 축을 한꺼번에 적용하고, 여러 번 반복하고, 심판의 리뷰를 받아 다시 고치면 점수가 계속 오르는가. 논문은 세 조건을 모두 돌렸고 답은 대체로 아니오였다.

• 동시 적용. Opus 4.8은 표준 +0.289, 엄격 +0.463으로 단일 축 평균보다 0.160만큼 나았지만, GPT-5.5는 +0.021과 +0.045로 거의 0이었고 단일 축 평균보다 0.074 열위였다. 한꺼번에 하면 더 오른다는 명제는 성립하지 않는다.
• 3라운드 반복. Opus 4.8은 대부분의 이득을 2라운드에서 확보했고(표준 0.410, 엄격 0.624) 3라운드는 거의 보태지 못했다. 일부 심판의 궤적은 평탄해지거나 이전 라운드의 이득을 되돌렸다.
• 리뷰 피드백 반영. 심판이 쓴 리뷰를 받아 한 번 더 고친 조건에서 전체 평균은 0.204에서 0.250으로 올랐다. 그런데 피드백 없이 두 번 고친 조건과 비교하면 네 조합 모두 열위였다. 심판의 말을 듣고 고치는 것이 그냥 한 번 더 고치는 것보다 나았다고 말할 수 없다.

이 수확 체감을 안심의 근거로 읽고 싶어진다. 그러나 그러기 전에 층위를 구분해야 한다. 이 논문이 측정한 것은 프롬프트 수준의 얕은 루프다. 같은 감도가 학습 신호로 들어갔을 때 무슨 일이 생기는지는 다른 문헌이 답한다. 루브릭을 보상으로 삼아 강화학습을 돌린 연구에서, 학습에 쓴 심판의 점수는 계속 오르는데 더 강한 심판으로 채점한 점수는 정점을 찍고 내려갔다. 격차는 한 벤치마크에서 3점, 다른 벤치마크에서는 22점이었다. 고정된 편향이라면 두 곡선이 평행하게 움직여야 하는데 반대 방향으로 갈라졌다.

학습까지 가지 않는 중간 사례도 있다. 다른 연구진은 밴딧 탐색으로 특정 심판의 점수를 올리는 의미 보존 문체 편집을 찾아 나갔고, 탐색은 그런 편집을 실제로 찾아냈다. 축을 미리 정해 놓고 순서대로 적용한 이 논문의 반복 루프가 수확 체감으로 끝난 것과 결과가 갈린다. 같은 감도를 두고도 정해진 축을 밀어 보는 방식과 점수를 보며 탐색하는 방식이 다른 답을 낸다는 뜻이다. 감도의 크기만 재고 상대가 어떤 방식으로 찾는지를 빼놓으면 위험을 낮춰 잡게 된다.

5.3비어 있는 칸도 데이터다

계획된 리뷰 42,480건 가운데 유효 레코드는 42,396건이었다. 빠진 84건을 연구진은 대체값으로 메우지 않고 결측으로 남겼다. 그 결측이 어디에 몰렸는지가 이 실험에서 가장 색깔 있는 세부다. 탈옥 기법을 다룬 「JULI: Jailbreak Large Language Models by Self-Introspection」한 편에 대해, Sonnet 5가 26개 평가 셀에서 반복적으로 유효 레코드를 만들지 못했다. Qwen의 엄격 동시 평가 한 건은 공급자의 콘텐츠 검사로 명시적으로 거부됐다. 저자들은 세이프가드 작동과 일치하는 패턴으로 보되 원인을 단정하지는 않았다.

이 관찰이 실무에 주는 함의는 간명하다. 평가 파이프라인의 결측은 무작위가 아니다. 안전 필터가 특정 주제의 판정을 체계적으로 비우고, 집계된 평균만 보는 사람에게 그 공백은 보이지 않는다. 심판이 답을 거부한 항목이 조용히 사라지는 파이프라인에서는, 판정이 없다는 사실 자체가 특정 주제에 대한 판정이 된다.

앞의 다섯 장이 한 방향을 가리킨다. 크게 반응한 축은 근거와 참신성처럼 읽는 쪽의 판단이 필요한 속성이었고, 거의 반응하지 않은 축은 어휘와 문체처럼 표면에서 바로 확인되는 속성이었다. 점수 변화가 기록된 자리도 presentation이 아니라 기여와 타당성이었다. 심판 쪽을 흔들어 본 연구도 결이 같다. 평가자에게 주는 지시문을 의미를 보존한 채 다시 쓴 실험에서, 판정의 안정성을 가른 것은 모델의 크기가 아니라 평가하려는 속성이 확인 가능한 것인가였다. 원고 쪽을 흔들든 심판 쪽을 흔들든 불안정성은 검증하기 어려운 속성에 몰린다. 조직이 모델에게 넘기고 싶어 하는 판단이 정확히 그 속성들이라는 점이 이 장의 출발점이다.

6.1이 결과가 말하지 않는 것

저자들은 결과가 닿는 범위를 스스로 좁혀 놓았다. 첫째, 표본은 ICLR 2026 제출물 중 전문 소스와 공개 리뷰 메타데이터를 복원할 수 있었던 것에 한정된다. 다른 학회나 다른 분야로 일반화된다는 보증은 없다. 둘째, 앞서 본 결측이 무작위가 아닐 수 있다. 셋째, 여섯 차원은 서로 직교하지 않는다. 각 리라이트는 전문에 대한 개입이므로 각 축의 값을 개별 언어 특징의 독립 계수처럼 읽으면 안 된다. 넷째, 대부분의 원고는 한 번만 채점됐다. 결과는 테스트된 모델과 프롬프트를 특징짓는 것이지 사람 리뷰나 가능한 모든 변형을 대표하지 않는다.

저자들의 윤리 고지도 이 자리에 필요하다. 이들은 통제된 리라이팅이 수사 민감도를 진단하는 데 쓰일 수도 있고 연구를 개선하지 않은 채 AI 심판의 취향에 맞추는 데 쓰일 수도 있다는 이중 용도를 명시했다. 그러면서 점수 상승을 과학적 실력 향상으로 해석하는 것과, 진행 중인 심사에 이 프레임워크를 적용하는 것을 명시적으로 경계했다. 이 글도 같은 선을 지킨다. 여기서 다루는 것은 통과 요령이 아니라 판정 시스템의 결함이다.

6.2탐지가 닿지 않는 영역

AI 심사에 대한 기존 공격 연구는 대부분 탐지 가능한 개입을 다뤘다. 원고에 사람 눈에 안 보이는 지시를 숨겨 평점을 부풀리거나, 문자와 단어와 문장 수준의 인위적 섭동으로 판단을 흔드는 방식이다. 이런 개입은 잡아낼 수 있고, 잡히면 부정행위로 처리된다. 이번 논문의 개입에는 그 성질이 없다. 근거를 더 또렷하게 쓰고 기여를 앞세우는 것은 지도교수가 학생에게 시키는 일이다. 평범한 학술 개작과 구분되지 않는 변형이 판정을 움직인다면, 탐지 기반 방어는 원리적으로 닿지 않는다. 남는 수단은 심판 쪽의 강건성뿐이다.

반대 방향에서 같은 판정 시스템을 겨눈 실험도 있다. 다른 연구진은 논문의 결과와 해석과 주장 사이의 관계를 일부러 훼손한 원고를 만들고, 의미를 보존한 편집본을 대조군으로 두었다. 자동 리뷰어는 그 훼손을 잡아내지 못했다. 설계도 모델도 과제도 달라서 두 실험을 한 실험의 양면이라고 부를 수는 없다. 다만 나란히 놓으면 방향이 읽힌다. 내용이 망가진 원고는 그대로 통과하고, 내용이 그대로인 원고는 서술이 바뀌었다는 이유로 점수가 움직인다. 심사를 모델에 맡기는 쪽이 확인해야 할 것이 부정행위 탐지 하나로 좁혀지지 않는 이유다.

그런데 지난 1년간 세워진 규범은 대부분 탐지와 신고 축에 서 있다. 학회 정책은 앞 장에서 봤고, 출판사 쪽도 축이 같다. 확인한 범위에서 Elsevier와 Springer Nature, Wiley의 지침은 미공개 원고를 생성형 AI에 올리지 말 것, 인간 책임은 이전되지 않을 것, 사용 사실을 신고할 것으로 모인다. 고영향 저널의 83%가 AI 지침을 갖췄다는 분석도 나왔다. 정책의 밀도는 올라갔는데 방향은 하나다. AI가 관여한 판정이 내용 보존 변형에 대해 안정적인지를 요구하는 조항은 확인한 범위에서 한 곳도 없었다.

부재에 대한 주장이므로 범위를 한정해 적는다. 이 조사는 학회 정책 두 건을 공식 페이지에서 직접 확인했고, 출판사 지침은 요약본 수준에서 대조했다. 확인하지 못한 규정에 그런 조항이 있을 가능성은 배제하지 않는다.

6.3여섯 가지 요건

아래 여섯 줄은 이 논문의 결과에서 곧바로 따라 나오는 검사 항목이다. 각 항목에 그 검사를 하지 않았을 때 무엇을 잃는지를 붙였다. 새로 발명해야 하는 것은 하나도 없다.

6.4도구는 논문에 있고 제품에는 아직 없다

이 여섯 줄이 당위에 그치지 않는 이유는 재료가 이미 있기 때문이다. 불변성 테스트는 2020년 ACL 최우수 논문에서 형식화됐고, 심판의 프롬프트 감도를 재는 전용 벤치마크도 연구 쪽에는 나와 있다. 반면 상용과 오픈소스를 통틀어 이번 조사에서 확인한 평가 플랫폼 가운데, 같은 내용을 다르게 서술한 입력에 판정이 유지되는지를 1급 기능으로 제공하는 곳은 확인되지 않았다. 사람 라벨에 심판 프롬프트를 맞추는 정렬 기능을 갖춘 플랫폼은 있었지만, 사람에게 맞추는 것과 입력 변형에 흔들리지 않는 것은 다른 성질이다.

플랫폼 비교는 공식 문서를 개별 확인하지 않은 2차 요약에 기반한다. 특정 제품이 해당 기능을 제공하지 않는다고 단정하지 않으며, 확인 범위 안에서 그런 기능을 찾지 못했다는 진술로만 읽어야 한다.

수요 쪽 규모는 이미 작지 않다. 엔지니어와 프로덕트 매니저, 임원을 포함해 1,340명이 답한 2025년 말 설문에서 응답자의 53.3%가 품질과 사실 정확성, 가이드라인 준수를 평가하는 데 LLM 심판을 쓰고 있다고 답했다. 59.8%는 사람 리뷰를 여전히 병행한다. 조직 절반 이상이 이미 모델에게 판정을 맡기고 있는데, 그 판정이 서술 변형에 안정적인지 조사한 설문은 찾지 못했다. 그 공백 자체가 이 장의 논거다.

Editor's Note. 아래는 본문의 분석이 아니라 이 주제를 다루는 편집팀의 관점이다. 앞의 여섯 장은 원 논문과 외부 연구, 공개된 정책 문서를 근거로 썼고, 이 장은 페블러스가 그것을 어디에 놓고 읽는지를 밝힌다.

7.1판정 주체가 모델로 넘어갈 때

페블러스는 DataClinic에서 데이터 품질을 판정하고, AI-Ready Data 파이프라인에서 그 판정을 게이트로 쓴다. 판정의 주체가 사람에서 모델로 넘어가는 순간 품질 지표의 성격이 바뀐다. "데이터가 어떤 상태인가"의 함수였던 것이 "모델이 그 데이터를 어떻게 읽었는가"의 함수가 된다. 이 논문은 내용을 고정하고 서술만 바꾸는 방식으로 그 함수의 불안정성을 정면으로 쟀다. 평가 자동화를 파는 쪽이든 쓰는 쪽이든 통과해야 하는 시험이라고 보는 이유다.

7.2평가 결과는 그 자체로 새 데이터다

모델의 평가 결과는 보고서로 끝나지 않는다. 랭킹과 필터링, 라벨, 보상으로 재사용되는 순간 서술 방식에 반응한 점수 차이가 학습 데이터의 분포로 굳는다. 이것은 추측이 아니라 이미 측정된 경로다. 루브릭을 보상으로 쓴 강화학습에서 학습 심판의 점수는 오르는데 더 강한 심판의 점수는 정점 후 내려갔고, 한 벤치마크에서 그 격차가 22점이었다. EU AI Act 15조가 편향된 출력이 미래 입력이 되는 피드백 루프를 설계 단계에서 줄이라고 쓴 것도 같은 걱정이다.

페블러스 블로그가 다뤄 온 축에 놓으면 자리가 분명해진다. 벤치마크 오염은 학습 데이터가 평가로 새는 경로였고, 심판 사이의 편향 차이는 어느 모델에게 물었느냐의 문제였으며, 조용한 모델 교체는 평가된 모델과 실제 서빙되는 모델이 같은가를 물었다. 이 글은 네 번째 축이다. 같은 심판이, 같은 내용을, 다르게 서술한 입력에 대해 다르게 판정한다.

7.3도입 첫날에 정해야 하는 다섯 줄

모델 판정을 품질 게이트로 쓰기로 한 조직이 첫날 답해야 하는 질문은 어느 심판 모델이 더 좋은가가 아니다. 6장의 요건을 실무 문장으로 옮기면 다섯 줄이 된다. 같은 내용을 다르게 서술한 입력으로 재채점하는 회귀 테스트가 있는가. 심판 모델을 바꾸면 결론의 부호가 뒤집히는지 확인했는가. 절대 점수를 쓰는가 순위를 쓰는가. 합격선 근처 사례를 이중 확인하는가. 판정 실패와 거부가 기록에 남는가. 다섯 줄 모두 도입 이후에 붙이기보다 도입 전에 정하는 편이 싸다.

7.4흔들리는지 먼저 재는 일

시장은 더 좋은 심판 모델을 판다. 페블러스가 말할 수 있는 것은 그보다 앞선 자리에 있다. 판정이 흔들리는지 먼저 재는 방법이다. 데이터 품질 진단이 데이터를 재듯, 평가 파이프라인 진단은 판정을 재야 한다. 방법이 없어서 못 하는 일이 아니다. 불변성 테스트는 2020년에 이미 정식화됐다. 비어 있는 것은 그 검사를 LLM 심판 자신에게 적용하는 관행이고, 그 공백을 메우는 일은 벤치마크 신뢰성 시리즈의 다음 편으로 이어진다.

이 보고서의 수치는 원 논문의 본문과 표, 부록을 1차 근거로 한다. 외부 대조는 학술 논문과 공식 통계, 표본이 명시된 설문으로 한정했다. 학회 정책 두 건은 공식 페이지를 직접 확인했고, 출판사 지침과 평가 플랫폼 기능은 요약본 수준의 대조에 그쳐 본문에서도 그 한계를 밝혀 두었다. 이 논문에 대한 2차 보도는 2026년 8월 16일 기준 확인되지 않아 인용하지 않았다.

1차 자료

• 1.Li, M., Wang, C., Li, X., Zeng, X., Li, D., Shi, P., Zhou, D., & Zhou, T. (2026). "How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review." arXiv:2608.08975v1 [cs.CL], 2026-08-10. 이 보고서 수치의 정본.
• 2.프로젝트 저장소(MIT). MingLiiii/Dissecting_AI_Reviews. 리라이트·리뷰 프롬프트, 파이프라인 코드, 익명화 하네스, 컨테이너 정의 공개.

학술 · LLM 심판의 편향과 강건성

• 3.Zheng, L., et al. (2023). "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena." NeurIPS 36, 46595–46623. 위치·장황함·자기선호 편향의 정본 프레임.
• 4.Wang, P., et al. (2024). "Large Language Models are not Fair Evaluators." ACL 2024, 9440–9450. 후보 제시 순서가 쌍대 선호를 뒤집는다.
• 5.Dubois, Y., et al. (2024). "Length-Controlled AlpacaEval." arXiv:2404.04475. 길이 편향과 길이 통제 디바이어스.
• 6.Stureborg, R., et al. (2024). "Large Language Models are Inconsistent and Biased Evaluators." arXiv:2405.01724.
• 7.Panickssery, A., et al. (2024). "LLM Evaluators Recognize and Favor Their Own Generations." NeurIPS 37, 68772–68802.
• 8.Lee, D., et al. (2025). "Are LLM-Judges Robust to Expressions of Uncertainty?" NAACL 2025. 정확도가 그대로여도 인식적 표지가 평가를 낮춘다. 이번 논문의 가장 가까운 선행.
• 9.Bhat, S., & Varma, V. (2026). "All Prompts Are Created Equal? Evaluating Robustness of LLM Judges Against Non-Adversarial Prompt Variations." Findings of ACL 2026, 38730–38745. 안정성은 모델 규모가 아니라 평가 속성의 검증 가능성에 좌우된다.
• 10.Verga, P., et al. (2024). "Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models." arXiv:2404.18796. 소형 심판 패널(PoLL)의 근거와 panel selection이라는 미해결 과제.
• 11.Ribeiro, M. T., Wu, T., Guestrin, C., & Singh, S. (2020). "Beyond Accuracy: Behavioral Testing of NLP Models with CheckList." ACL 2020, 4902–4912 (Best Paper). 불변성 테스트(INV)의 형식화.
• 12.Yang, S., et al. (2026). "Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges." arXiv:2605.26156. 탐색 기반 의미보존 문체 편집.

학술 · AI 동료심사와 원고 측 개입

• 13.Yang, Z., et al. (2026). "No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions." arXiv:2606.13044.
• 14.Baumann, J., et al. (2026). "Stop Automating Peer Review Without Rigorous Evaluation." arXiv:2605.03202. 저자 항의 58건과 탐지 라벨의 86.2% 일치.
• 15.Kaneko, M. (2026). "Paraphrasing Adversarial Attack on LLM-as-a-Reviewer." arXiv:2601.06884.
• 16.Li, X., et al. (2026). "Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community." arXiv:2606.10159.
• 17.Du, J. (2025). "TRAP: Probing Presentation Bias in LLM-Based Scientific Reviewing." Proc. 5th Workshop on Evaluation and Comparison of NLP Systems, 119–125.
• 18.Dycke, N., & Gurevych, I. (2026). "Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers." TACL 14, 465–488. 내용을 훼손해도 자동 리뷰어가 알아채지 못한다.
• 19.Ye, R., et al. (2024). "Are We There Yet? Revealing the Risks of Utilizing LLMs in Scholarly Peer Review." arXiv:2412.01708. 은닉 프롬프트 인젝션.
• 20.Lin, R., et al. (2025). "Breaking the Reviewer." EMNLP Findings 2025, 4819–4839. 문자·단어·문장 수준 섭동.

학술 · 평가 점수가 학습 신호가 될 때

• 21.Gao, L., Schulman, J., & Hilton, J. (2023). "Scaling Laws for Reward Model Overoptimization." ICML 2023, PMLR 202:10835–10866.
• 22.Coste, T., et al. (2023). "Reward Model Ensembles Help Mitigate Overoptimization." arXiv:2310.02743. 앙상블은 완화하되 제거하지 않는다.
• 23.(2026). "Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning." arXiv:2606.04923. 학습 심판과 gold 심판의 발산, HealthBench-Hard 3점 · ResearchQA 22점 격차.

통계 · 감사

• 24.Barnett, A. G., van der Pols, J. C., & Dobson, A. J. (2005). "Regression to the Mean: What It Is and How to Deal with It." International Journal of Epidemiology 34(1):215–220. (정오표: IJE 44(5):1748, 2015)
• 25.(2021). "Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment." arXiv:2109.09774. 위원회 간 불일치 25.0%.
• 26.(2023). "Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment." arXiv:2306.03262. 불일치 23%, 채택 목록의 약 절반이 재현되지 않을 것으로 추정.
• 27.(2026). "Impact of Large Language Models on Peer Review Opinions." arXiv:2604.19578. ICLR·NeurIPS 1,441편에서 사람 5.70 대 LLM 6.86.
• 28.Paper Copilot. "ICLR 2026 Statistics"(집계 2026-01-28). 채택 논문 평균 리뷰 평점 5.39. 원문 각주 인용값을 이 출처에서 재확인했다.
• 29.ICLR. "A Retrospective on the ICLR 2026 Review Process"(2026-03-31). 유효 제출 19,525편, 리뷰 76,139건, 채택률 27.4%.

정책 · 기관 · 설문

• 30.ICLR. "ICLR 2026 Reviewer Guide." LLM 사용 신고 필드 신설과 미신고 시 제재. 공식 페이지 직접 확인.
• 31.ICML. "ICML 2026 Policy for LLM Use in Reviewing." Policy A·B 이중 정책. 공식 페이지 직접 확인.
• 32.Wang, Y., et al. (2026). "A Cross-Disciplinary Analysis of AI Policies in Academic Peer Review." Learned Publishing, doi:10.1002/leap.2035. 고영향 저널 83%가 AI 지침 보유.
• 33.Elsevier, "Generative AI policies for journals." 본문에서는 요약본 수준의 대조임을 밝혀 인용했다.
• 34.Springer Nature, "AI editorial policies." Wiley 저자·리뷰어 가이드라인과 함께 요약본 수준의 대조임을 밝혀 인용했다.
• 35.EU AI Act, Art. 15(정확도·강건성·사이버보안) 및 Art. 12(기록보관). 고위험 시스템 대상 조문이다.
• 36.NIST. "AI RMF to ISO/IEC 42001 Crosswalk." MEASURE 2.1의 TEVV 문서화 요구.
• 37.LangChain. "State of Agent Engineering"(조사 2025-11-18~12-02, n=1,340). LLM 심판 사용 53.3%, 사람 리뷰 병행 59.8%.