Executive Summary

주요 수치

출처: Nature Computational Science(2026-08-24) 본문 및 보충 자료

AI 학회의 심사는 규모에 눌려 있다. ICML 제출 논문은 2017년 1,676편에서 2025년 12,107편으로 늘었고, NeurIPS는 3,240편에서 21,575편이 됐다. 경험 있는 리뷰어는 그 속도로 늘지 않아서 학부생과 대학원생이 리뷰를 맡고 대형 언어모델이 리뷰에 동원된다. 심사가 얼마나 흔들리는지는 이미 측정된 적이 있다. NeurIPS 2021은 제출작의 10퍼센트를 독립된 두 심사위원회에 각각 맡겼고, 두 위원회의 채택 판정은 23퍼센트에서 갈렸다. 심사를 처음부터 다시 돌리면 채택작 명단의 절반가량이 바뀔 것으로 추정됐다.

연구진이 던진 질문은 그래서 심사가 허술하다는 쪽이 아니라, 같은 논문에 대해 더 나은 신호를 가진 사람이 따로 있는가 하는 쪽이었다. 저자는 자기 연구의 이론적 기반과 한계, 앞으로 어디까지 갈 수 있는지를 리뷰어보다 잘 안다. 그중 상당 부분은 논문 본문이나 짧은 반박문에 담기지 않는다. 문제는 그 지식을 어떻게 정직하게 꺼내느냐였다.

저자에게 자기 논문의 점수를 매기라고 하면 모두 최고점을 준다. 그래서 연구진은 점수 대신 순위를 물었다. 논문을 두 편 이상 낸 저자에게 자기가 낸 논문들끼리 강한 순서를 매기게 하면, 모든 논문을 1등이라고 답할 수 없다. 어느 쪽이 더 강한지는 몇 점짜리인지보다 답하기 쉬운 질문이기도 하다. 순위를 심사 점수와 결합해 두 신호를 함께 쓰는 수학적 설계는 2021년에 아이소토닉 메커니즘이라는 이름으로 먼저 제안됐고, 이번 실험이 그 이론을 실제 학회에서 대규모로 검증했다.

설문은 2023년 1월 26일 제출 마감 직후 나갔고 리뷰가 공개되기 전인 2월 10일에 닫혔다. 응답이 심사에 영향을 주지 않으며 누구에게도 공개되지 않는다는 점이 명시됐고, 설문은 채택 여부나 앞으로 받을 인용을 예측해 보라거나 기여도를 평가해 보라는 식으로 프레이밍되지 않았다. 저자가 답한 것은 자기가 보기에 어느 쪽이 더 좋은 논문인가 하는 순서였고, 인용은 그 순서에 정보가 들어 있는지 나중에 재려고 가져다 붙인 외부 지표다. 전체 6,538편, 저자 18,535명 가운데 5,634명이 응답했고(30.4퍼센트), 그중 복수 투고자 1,342명이 순위를 냈다. 최소 한 명의 저자가 순위를 매긴 논문은 2,592편으로 전체의 39.6퍼센트였다.

인용은 시맨틱 스칼라 API로 2023년 7월부터 2024년 11월까지 약 16개월간 모았다. 제목이 개정판에서 바뀌거나 저자가 추가되는 경우를 감안해 제목과 저자명의 편집 거리로 논문을 맞췄고, 최종 분석에는 저자 797명과 고유 제출작 1,527편이 남았다. 이 1,527편의 평균 인용은 14.73회, 중앙값은 4회였다.

저자가 자기 포트폴리오에서 최상위로 꼽은 논문의 평균 인용은 19.99회였고, 최하위로 꼽은 논문의 정확히 두 배였다(윌콕슨 부호순위검정, P < 0.001). 이 격차가 단순히 채택된 논문이 더 인용된다는 사실의 반복일 수 있으므로, 연구진은 최종 결정별로 나눠 다시 셌다. 채택된 논문만 놓고 보면 최상위 논문 평균이 27.64회로 최하위의 2.00배였고, 탈락하거나 철회된 논문만 놓고 보면 12.42회로 1.95배였다. 학회가 붙인 합격 도장을 지운 뒤에도 저자의 순위는 그대로 작동했다.

순위를 최상위와 최하위 둘로만 나누지 않고 자기 논문을 3편 이상 낸 저자들을 따로 보면 계단이 더 선명해진다. 채택된 논문에서는 1위부터 순서대로 41.57회, 19.39회, 14.32회, 최하위 12.83회였고, 탈락한 논문에서는 9.75회, 8.40회, 6.34회, 6.18회였다. 순위가 한 칸 내려갈 때마다 인용도 함께 내려갔다.

평균은 인용이 몰린 소수의 논문에 끌려가기 쉬우므로, 연구진은 상위 꼬리를 따로 확인했다. 데이터셋 1,527편 가운데 인용 150회를 넘긴 논문은 22편이었고, 그중 17편은 적어도 한 명의 저자에게 1등으로 꼽혔던 논문이다. 2등으로 꼽힌 논문이 3편, 최하위로 꼽힌 논문이 5편이다(공저자에 따라 1등과 최하위로 함께 꼽힌 한 편, 어느 쪽으로도 꼽히지 않은 한 편이 있어 합이 22를 넘는다). 같은 22편을 저자 순위 대신 반박 전 심사 점수로 걸러 내면 14편이 잡힌다. 이 22편은 전체의 1.44퍼센트로, 주요 AI 학회에서 구두발표로 뽑히는 비율과 비슷한 규모다.

데이터셋에서 인용을 가장 많이 받은 논문에서는 두 신호가 서로 반대를 가리켰다. 저자들은 이 논문을 자기 논문 중 1등으로 꼽았지만, 반박 이후의 심사 점수는 같은 저자의 다른 제출작보다 오히려 낮았고 최종 결정도 포스터 채택에 그쳤다. 이 논문의 인용은 979회로 데이터셋 최다였고, 채택 논문 가운데 최하위로 꼽힌 논문의 최댓값과 견주면 세 배에 가깝다.

심사 점수와의 직접 비교에서도 순위 쪽이 더 일관됐다. 반박 후 점수는 채택 논문 묶음에서 유의했지만(P = 6.66 × 10⁻³), 반박 전과 반박 후 어느 쪽도 탈락 논문 묶음에서는 유의하지 않았다. 저자의 자기 순위는 채택 묶음(P = 6.00 × 10⁻³)과 탈락 묶음(P < 0.001) 양쪽에서 모두 유의했다. 심사 점수, 리뷰어 확신도, 최종 결정, 포트폴리오 크기, 리뷰 개수, 순위 완전성을 모두 통제한 음이항 회귀에서는 최하위 순위에서 최상위 순위로 옮겨가는 것이 예상 인용 1.81배와 연관됐다. 앞의 2.00배는 원본 평균의 비교이고 이 1.81배는 통제 후의 회귀계수다.

점수를 아예 붙들어 놓고 봐도 순위는 살아남았다. 연구진은 짝을 이루는 두 논문의 심사 점수가 같은 구간에 들어올 때만 그 짝을 세는 방식으로, 3점대부터 6점대까지 네 구간을 따로 봤다. 구간 안에서도 저자가 위로 꼽은 논문이 대체로 인용을 더 받았고, 점수가 높은 구간일수록 그 격차가 오히려 벌어졌다. 심사 점수가 같다는 것은 두 논문이 리뷰어에게 같게 보였다는 뜻인데, 그 안에서 인용이 갈렸다면 순위에는 점수에 담기지 않은 정보가 남아 있었다는 말이 된다.

다른 설명들도 하나씩 무너졌다. 자기인용을 빼고 다시 세도 격차는 유지됐다. 저자가 자기가 밀기로 한 논문을 더 홍보해서 생긴 차이라면 컨퍼런스 이후에 인용이 벌어져야 하는데, 학회 개막 직후 두 달만 봐도 채택 논문의 최상위는 1.65회, 최하위는 0.69회였다. 인용이 쌓이는 데 보통 몇 달이 걸린다는 점을 생각하면 이 시점의 격차는 홍보로 설명하기 어렵다. 최상위 논문과 최하위 논문의 평균 arXiv 게시일도 3월 4일과 3월 8일로 거의 같아 먼저 공개돼서 더 인용됐다는 설명도 지워졌다. 구글 스칼라 인용과 깃허브 스타로 지표를 바꿔도 같은 방향이 나왔다.

저자가 무엇을 더 아는지는 원고 밖에 있다. 실험을 어디까지 밀어붙여 봤는지, 어떤 가정이 약한지, 다음 논문에서 무엇을 이어 붙일 수 있는지 같은 것들이다. 리뷰어는 마감 안에서 원고를 읽어야 하고, 그 조건에서는 벤치마크 수치처럼 계량하기 쉬운 개선이 장기적 중요성보다 먼저 눈에 들어온다. 연구진은 저자와 리뷰어가 같은 논문에 대해 서로 다른, 서로를 보완하는 정보를 갖는다고 정리한다.

그렇다면 원고를 더 잘 읽는 기계는 저자를 대신할 수 있을까. 연구진은 저자 한 명이 매긴 논문 쌍 263개를 뽑아 GPT-4o mini에게 텍스트만 주고 어느 쪽이 더 나은지 고르게 했다. 채택된 논문으로 한정한 비교다. 모델이 선호한 논문의 평균 인용은 21.69회, 선호하지 않은 논문은 19.61회였다. 같은 논문 쌍을 저자 자신이 줄 세웠을 때는 27.00회와 13.82회로 갈렸다.

연구진은 이 비교의 크기를 스스로 제한한다. 263개 쌍은 작고 대상도 채택 논문에 한정돼 있어, 더 강한 모델이나 더 넓은 논문 풀에서 결과가 어떻게 달라질지는 알 수 없다고 적었다. 그러니 기계가 사람을 대신할 수 없다는 결론으로 옮기면 논문보다 앞서 나가는 것이 된다. 다만 원고 텍스트만으로는 저자가 가진 만큼의 신호가 나오지 않았다는 사실은 남는다. 논문은 이 대목을 비교하는 형식과 판단하는 주체가 둘 다 중요하다는 문장으로 닫는다.

이 실험을 학술출판 바깥으로 옮기면 익숙한 그림이 된다. 하나의 대상에 두 종류의 라벨이 붙었다. 하나는 전문 리뷰어 여러 명이 몇 주에 걸쳐 붙인 라벨이고, 다른 하나는 저자가 몇 분 만에 붙인 라벨이다. 들인 자원은 비교가 되지 않는데 미래 인용을 맞히는 정확도는 값싼 쪽이 앞섰다.

라벨링 기법이 아무 몫도 하지 않았다는 뜻은 아니다. 점수 대신 순위를 물은 설계는 정직한 응답을 끌어냈고 답하기 쉬운 질문을 만들었다. 논문의 보조 시뮬레이션에서는 리뷰어에게 순위를 물어도 점수 보정이 개선됐다(다만 이 시뮬레이션은 편향과 잡음 값을 ICML 데이터에서 추정하지 않은 점검용이다). 그래서 논문도 형식과 주체가 둘 다 중요하다고 적는다. 다만 형식을 고정한 채 주체만 바꿔 본 비교가 하나 있었다. GPT-4o mini는 저자와 똑같이 두 논문을 견주는 형식으로, 똑같은 텍스트를 읽고 판정했는데도 같은 격차를 만들지 못했다. 형식이 같을 때 남는 변수는 라벨을 붙이는 쪽이 그 대상에 대해 무엇을 아는가다.

500번 반복한 홀드아웃 예측에서 상위 사분위 논문을 찾아내는 성능은 자기 순위 지표가 정밀도 0.318, 재현율 0.307이었고 반박 후 심사 점수 지표가 0.307과 0.297이었다. 전체로 보면 근소한 차이다. 그런데 이 차이는 채택된 논문에서 작아지고(이 묶음에서는 자기 순위의 정밀도와 재현율이 모두 0.261이다) 탈락하거나 철회된 논문에서 벌어진다. 인용 150회를 넘긴 22편 가운데 7편은 ICML에서 떨어진 논문이고, 그중 4편은 적어도 한 명의 저자가 1등으로 꼽았던 논문이다. 이미 통과한 것들의 우열을 가리는 일보다, 떨어진 더미에서 좋은 것을 건져내는 일에서 저자 순위가 제 몫을 했다는 뜻이다.

데이터 파이프라인에도 떨어진 더미가 있다. 규칙에 걸러진 샘플, 신뢰도가 낮아 재작업으로 넘어간 라벨, 애매해서 보류된 케이스가 그것이다. 그 더미를 다시 볼 때 우리는 보통 더 비싼 경로를 고른다. 전문 애노테이터를 붙이거나 라벨링 가이드를 다시 쓴다. 이 논문이 보여 준 것은 그 앞에 물어볼 질문이 하나 더 있다는 사실이다. 이 데이터에 대해 가장 많이 아는 사람이 지금 파이프라인 어디에 앉아 있는가. 그리고 우리는 그 사람의 판단을 애초에 수집하고 있는가.

물론 저자가 자기 논문을 심사해도 된다는 이야기는 아니다. 실험 설계에서 순위가 심사와 완전히 분리돼 있었다는 점, 즉 이 응답이 자기 결과에 아무 영향을 주지 않았다는 점이 정직한 답을 가능하게 했다. 만드는 쪽과 판정하는 쪽을 분리해 두는 설계는 그대로 두고, 만드는 쪽이 가진 정보를 별도 신호로 한 줄 더 받는 것이 이 실험의 구조다.

이 결과는 제안 단계에 머물러 있지 않다. ICML 2026은 2023년 실험을 근거로 저자 자기순위를 심사 품질 점검에 쓰는 정책을 도입했다. 반박 전 점수가 나오면 아이소토닉 메커니즘이 저자 순위와 정합하는 예측 점수를 계산하고, 실제 심사 점수와 그 예측이 크게 어긋나는 제출작을 불일치 항목으로 영역의장과 수석영역의장에게 표시한다. 어느 방향으로 어긋났는지는 알려 주지 않는다. 표시된 논문은 긴급 재심사나 기존 리뷰 재검토로 넘어간다. 약 1,000편이 고위험 또는 최고위험으로 표시됐고, 영역의장 한 사람이 평균 한 편꼴로 받아 보는 양이다.

이 설계에서 순위는 결정을 대신하지 않는다. 어느 논문을 다시 보라고 가리키는 데만 쓰이고, 다시 보는 일은 사람이 한다. 값싼 신호를 비싼 신호의 대체재가 아니라 비싼 신호를 어디에 쓸지 정하는 배분 장치로 쓴 셈이다.

여기서 논문이 남겨 둔 조건이 하나 있다. 2023년 실험이 정직한 답을 얻은 것은 순위가 아무것도 좌우하지 않는다는 약속 위에서였다. 순위가 실제로 결정에 영향을 주기 시작하면 저자의 유인도 달라진다. 비교 형식이 모든 논문을 1등이라 답할 길을 막아 주기는 하지만, 그것만으로 충분한지는 아직 답이 없고, 순위와 심사 점수를 함께 묶는 메커니즘이 필요한 이유도 여기에 있다.

이 연구는 관찰연구다. 저자 순위가 인용을 만들었다고 말할 수 없고, 한 학회의 한 해 데이터이며, 응답한 30.4퍼센트는 스스로 응답을 선택한 사람들이다. 성적표로 쓴 인용도 완전한 척도가 아니다. 인용은 뒤에 온 연구자가 그 논문을 봤고 연결할 만하다고 여겼다는 표시일 뿐이다. 그 인용이 긍정인지 중립인지 비판인지는 가려 주지 않고, 논문이 옳은지도 재지 않는다. 같은 실험이 ICML 2024와 2025, NeurIPS 2025에서도 진행됐지만 그쪽은 인용이 쌓이기를 기다리는 중이다.

논문 스스로도 자기평가가 동료심사를 대체한다고 말하지 않고 보완할 수 있다고 적는다. 같은 저널이 이 논문에 해설 기사를 함께 실었는데, 그 요약도 저자가 사적으로 매긴 순위가 심사 점수보다 미래 인용을 더 안정적으로 예측했다는 한 문장에 머문다.

남는 것은 비용 감각이다. 이 실험이 추가로 쓴 자원은 마감 직후에 나간 설문 한 통이었다. 우리가 매번 더 비싼 라벨링 경로로 손을 뻗을 때, 이미 답을 아는 사람에게 한 번 물어보는 선택지는 대체로 검토 목록에 없다.

학술 문헌

• 1.Su, B. 외 (2026). "Self-rankings as a predictor of scientific impact beyond peer review." Nature Computational Science, 2026-08-24. (오픈 액세스, CC BY 4.0)
• 2.AlShebli, B. (2026). "When authors are the best judges of their work." Nature Computational Science News & Views, 2026.
• 3.Beygelzimer, A., Dauphin, Y. N., Liang, P. & Vaughan, J. W. (2023). "Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment." arXiv:2306.03262.