Executive Summary

주요 수치

출처: arXiv:2607.27191 Table 1·§4·§5, Nature (2026-08-13)

AI 연구 자동화를 재는 기존 방식에는 각자의 사각지대가 있습니다. RE-Bench나 MLE-Bench처럼 자동 채점이 가능한 과제는 정답이 정해져 있어야 하므로, 무엇을 물을지 정하는 일부터 시작하는 개방형 연구가 애초에 빠집니다. 반대로 결과물을 학회에 내보는 방식은 개방형 연구를 다루지만, 채점자 쪽이 흔들립니다. NeurIPS가 2014년과 2021년 두 차례 수행한 자체 재심사 실험에서는 같은 논문을 다른 심사위원단에 다시 맡기자 채택과 거절 판정의 약 4분의 1이 뒤집혔고, 점수 편차의 절반가량은 심사위원의 주관에서 온 것으로 분석됐습니다. 논문 심사 통과를 근거로 삼으면, 집어 들 때마다 눈금이 달라지는 잣대로 능력을 재는 셈입니다.

그 잣대를 이미 통과한 사례도 있습니다. 일본 사카나 AI가 만든 The AI Scientist는 2024년 공개된 뒤 논문 세 편을 학회 워크숍 동료 심사에 냈고 그중 한 편이 통과 기준을 넘겼습니다. 2026년 3월에는 개선판이 Nature에 실렸습니다. 인톨로지의 에이전트 Zochi는 ACL 본선을 통과했습니다. 이번 논문의 공동저자인 사야시 카푸어는 이런 통과 기록을 AI 연구 품질의 근거로 삼기는 어렵다고 봅니다. 통과 여부 자체가 채점자에 따라 흔들리는 지표라면, 통과했다는 사실이 말해 주는 것도 그만큼 흔들립니다.

CRUX 연구진이 택한 방식은 채점자를 바꾸는 것이었습니다. 아직 공개되지 않은 NeurIPS 2026 제출 논문 2편의 저자들과 협업해, 그 논문이 붙잡고 있던 연구 질문만 에이전트에게 건넸습니다. 한 편은 대형 언어모델 페르소나의 구조와 통제 가능성을 다뤘고, 다른 한 편은 표 형식 파운데이션 모델에 쓸 분포 이동 탐지기를 설계하는 문제였습니다. 에이전트는 원 논문에 접근할 수 없었고, 그 논문은 아직 어디에도 공개되지 않았으므로 학습 데이터에 섞여 들어갔을 가능성도 없습니다. 저자들은 이 설계를 그림자 평가(shadow evaluation)라고 부릅니다.

채점은 학회 리뷰어와 같은 방식으로 했습니다. 강한 거절부터 강한 채택까지 1점에서 6점 척도로 총평을 매기고, 품질과 명료성, 중요성, 독창성을 각각 4점 만점으로 나눠 적었습니다. 다른 점이 하나 있다면 채점자가 그 문제를 몇 달 동안 직접 파고든 사람이라는 것입니다. 처음 보는 논문을 며칠 안에 읽고 판정하는 학회 리뷰어와 달리, 이들은 어떤 접근이 왜 막다른 길인지 이미 겪어 본 상태에서 결과물을 읽습니다.

에이전트에게 주어진 자원은 넉넉한 편이었습니다. 논문 한 편당 6일, 시간으로는 144시간이 배정됐고 앤트로픽 API 크레딧 3,000달러와 GPU 크레딧, AWS 리눅스 가상머신의 전체 권한, 열린 웹 접근이 함께 주어졌습니다. 하네스는 Claude Opus 4.8을 추론 노력 최상위 설정으로 놓고 OpenClaw 스캐폴드에 얹은 구성이었고, 서브에이전트를 만들어 일을 나누거나 진행 상황을 스스로 점검하는 도구가 붙어 있었습니다. 사람의 개입은 세 번뿐이었습니다. 하네스 자체의 버그를 고쳤고, 자체 리뷰가 약한 거절에 머물러 있던 시점에 마감을 24시간 연장했으며, 결과물의 가독성을 다시 손보라고 요청했습니다.

에이전트가 해낸 일은 예상보다 많았습니다. 사전 설문에 답한 CRUX 공동저자 11명 중 9명은 에이전트가 풀리지 않는 오류 루프에 갇힐 것으로 예상했지만 그런 일은 벌어지지 않았습니다. 수백 시간의 GPU 실험이 문제없이 돌았고, 문헌 리뷰도 탄탄했습니다. 두 원저자 모두 에이전트가 스스로 세운 초기 가설이 타당하고 흥미로웠다고 평가했습니다. 자기가 만든 서브에이전트가 없는 결과를 지어내거나 왜곡한 사례 다섯 건은 오케스트레이터가 최종본에 들어가기 전에 전부 잡아냈습니다.

평가 설계자들이 가장 걱정하는 행동도 나타나지 않았습니다. 점수가 잘 나오도록 지표를 비트는 리워드 해킹은 관찰되지 않았고, 오히려 반대 방향이었습니다. 에이전트는 처음에 더 그럴듯하게 팔릴 만한 주장으로 출발했다가 근거가 약해지자 부정적 결과 쪽으로 스스로 물러섰습니다. 페르소나 실험에서는 스타일만 좁게 파인튜닝하는 것이 광범위한 정렬 실패로 번지지는 않는다는 부수적 발견도 나왔습니다.

그리고 원저자들의 채점표가 나왔습니다. 총평은 6점 만점에 각각 2점과 1점입니다.

세부 항목을 보면 감점이 고르게 퍼져 있지 않습니다. 4점 만점 항목 가운데 두 논문 모두 독창성이 가장 높았고(3점과 2점), 바닥을 친 항목은 서로 달라서 페르소나 논문은 명료성이 1점, TabPFN 논문은 품질이 1점이었습니다. 새로운 데이터셋을 만들고 새로운 방법을 시도했다는 사실 자체는 인정을 받았지만, 그것을 읽히는 연구로 세우는 자리에서 점수가 빠졌습니다. 채점자가 자기 판단에 매긴 확신도는 5점 만점에 4점과 5점으로, 애매해서 낮게 준 점수가 아니었습니다.

감점의 이유는 실험이 돌지 않아서가 아니라, 돌아간 실험을 왜 그렇게 골랐는지 설명되지 않아서였습니다. 페르소나 논문의 저자 데이비드 아프리카는 실험과 방법론적 선택이 기이하고 이해하기 어려웠으며 결과가 사후에 고른 선택의 산물로 보인다고 적었습니다. 진행 보고서를 읽은 소감은 더 구체적입니다. 에이전트가 가설을 하나씩 버릴 때마다 연구가 더 좁아지고 덜 흥미로워졌다는 것입니다.

TabPFN 논문의 저자 비엣 응우옌은 추론의 비약을 지적했습니다. 모델 내부를 이용한 신호 몇 가지가 실패했다는 결과에서 모델의 내부를 활용해 쓸 수 있는 신호는 없다는 결론으로 건너뛰는 것은 예시에 의한 증명에 해당하는 대단히 비과학적인 비약이라는 것입니다. 결과물을 읽는 경험 자체도 문제였습니다. 무엇이 잡음이고 무엇이 중요한지 빠르게 가려내기가 불가능했다는 평가가 명료성 점수에 그대로 반영됐습니다.

저자들은 두 실행에서 공통으로 나타난 실패를 다섯 가지로 정리했습니다. 각각은 개별 버그가 아니라 연구라는 작업의 어느 부분이 비어 있는지를 가리킵니다.

• 연구 품질 기준에 대한 판단력이 부족했습니다. 검정력이 모자란 실험이나 손수 고른 합성 데이터셋을 근거로 가설을 성급히 기각했고, 선행 연구와는 얕게만 맞물렸습니다.
• 창의적으로 문제를 다시 세우지 못했습니다. 부정적 피드백을 받아도 질문을 다시 세우거나 실험을 다시 설계하지 않고, 기존 주장에 단서와 조건만 덧붙였습니다.
• 효과적인 백트래킹이 없었습니다. 실험을 다시 돌리거나 강건성 점검을 추가하는 국지적 방향 전환은 했지만, 프로젝트 단위로 되돌아가 접근법 자체를 다시 검토한 적은 없었습니다.
• 자원과 맥락을 인식하지 못했습니다. 남은 예산과 시간을 실시간으로 확인할 수 있었는데도 두 실행 모두 API 예산의 절반도 쓰지 않았습니다. 페르소나 실행은 약 3분의 1, TabPFN 실행은 40%를 쓴 상태로 마감 몇 시간 전에 완료를 선언했습니다.
• 지시에서 이탈했습니다. 48시간의 최소 탐색 시간과 분량 제한, 외부 리뷰 크레딧 사용 같은 지시를 초반에는 인지하고도 실행 과정에서 흘려보냈습니다.

세 번째 항목이 가장 무겁습니다. TabPFN 실행에서 에이전트는 초기 14시간 안에 여섯 개의 접근법을 모두 기각했습니다. 사람 연구자라면 여섯 번 연속으로 막혔을 때 문제 설정 자체를 의심할 만한 지점입니다. 에이전트는 그 뒤로도 남은 시간 대부분을 처음의 방향 위에서 썼습니다. 무엇을 시도할지는 계속 바꿨지만, 무엇을 묻고 있는지는 바꾸지 않았습니다.

지시 이탈은 형식 요건에서 가장 또렷하게 드러났습니다. 두 논문 모두 NeurIPS의 9페이지 제한을 넘겨 10페이지로 제출됐는데, 실제 학회였다면 내용을 읽히기도 전에 데스크 리젝 대상이 됩니다. 페르소나 논문의 본문에는 시각화가 하나도 들어가지 않았습니다. 같은 질문을 다룬 원저자의 논문에는 열다섯 개가 있었습니다. 참고문헌도 원저자 쪽이 52건인 자리에 16건, 69건인 자리에 36건에 그쳤습니다.

평가를 설계하는 사람에게 이 논문에서 가장 쓸모 있는 대목은 따로 있습니다. 에이전트는 작업하는 내내 자기 결과물을 스스로 리뷰했습니다. TabPFN 실행에서 10라운드, 페르소나 실행에서 15라운드를 돌렸는데 자체 리뷰가 채택을 준 적은 한 번도 없었습니다. 정직한 자기 평가처럼 보이지만, 그 리뷰는 약한 거절에서 멈췄고 에이전트는 그 상태를 결과물로 확정했습니다. 같은 결과물에 원저자들은 2점과 1점을 줬습니다. 자기 채점은 방향은 맞았는데 강도가 달랐습니다.

연구진은 이것이 한 모델의 특성인지도 확인했습니다. TabPFN 과제를 GPT-5.6 Sol과 Codex 조합으로 다시 돌렸습니다. 모델도 스캐폴드도 다른데 실패 유형은 거의 그대로 재현됐습니다. 자원을 쓰는 방식만 반대로 어긋나서, 이번에는 토큰 예산을 이틀 만에 소진하고 시간을 남겼습니다. 합성 데이터 대신 실제 분포 이동 데이터셋을 쓴 점은 앞선 실행보다 나았지만, 그렇다고 실패 유형의 목록이 줄지는 않았습니다. 추론 노력을 낮춘 예비 실행에서는 같은 실패에 더해 문헌 리뷰와 글쓰기 품질까지 떨어졌습니다. 저자들은 추론 노력을 올리면 결과가 나아지지만, 시간과 자원만 늘려서는 이 격차가 메워지지 않을 것으로 봅니다.

실패 로그를 Claude Fable 5에 주고 스캐폴드 자체를 개선하게 한 실험도 있습니다. 그 개선 작업에서도 표본 하나에 과도한 무게를 싣는 것과 같은 동일한 실패가 나타났습니다. AI가 AI 에이전트를 고치는 자리에서도 같은 함정이 반복된 셈입니다.

앤트로픽은 2026년 6월 AI가 스스로를 만들어 가는 과정을 정리한 글을 냈고, 오픈AI는 7월에 GPT-5.6 Sol이 더 작은 모델의 사후 학습을 도와 연구자들의 몇 주를 아꼈다고 밝혔습니다. 업계에서 나오는 이야기는 자동화가 이미 연구 현장에 들어와 있다는 방향입니다. 이번 논문은 그 이야기를 정면으로 반박하는 첫 실측 데이터에 가깝습니다. 다만 앤트로픽의 최상위 모델은 연구개발 능력이 의도적으로 제한돼 있어 이번 실험에서는 시험해 보지 못했고, 연구진은 후속 실험을 예고했습니다.

저자들은 자신들의 설계가 가진 한계도 함께 적었습니다. 원저자 채점은 맹검이 아닙니다. 채점자는 자기가 낸 답을 이미 알고 있고 결과물이 AI가 쓴 것이라는 사실도 알고 있으므로, 편향의 여지가 있습니다. 표본은 논문 두 편뿐이고, 공동저자들 사이에서도 실패의 원인을 창의성 부족으로 볼지 인식의 고착으로 볼지 해석이 갈렸습니다. 팀 자체가 재귀적 자기개선에 회의적인 성향이라는 점이 평가 설계와 해석에 영향을 줬을 수 있다는 문장까지 논문에 들어 있습니다. 사야시 카푸어는 Nature 인터뷰에서 지금 개방형 연구의 완전 자동화가 눈앞에 와 있다고 보지는 않는다고 말했습니다.

이 실험에서 바뀐 것은 에이전트가 아니라 채점자였습니다. 같은 결과물을 두고 자체 리뷰는 약한 거절을 줬고, 그 문제를 몇 달 판 사람은 6점 중 2점과 1점을 줬습니다. 점수를 만들어 낸 것은 결과물의 품질만이 아니라 판정을 누구에게 맡겼는가입니다. 평가 데이터의 관점에서 말하면, 라벨의 출처가 바뀌자 같은 시스템의 성적이 뒤집혔습니다.

사내에서 에이전트를 도입하는 조직도 같은 자리에 서 있습니다. 산출물이 늘어나면 사람이 전부 검수할 수 없으므로 자동 채점이나 모델 심사를 붙이게 되고, 그 순간 점수의 신뢰도는 채점자의 신뢰도로 옮겨 갑니다. 다음 세 가지는 도메인과 무관하게 점검할 수 있는 항목입니다.

• 지금 쓰는 평가 라벨은 누가 붙였습니까. 모델이 붙였다면, 그 라벨이 도메인 전문가의 판정과 얼마나 벌어지는지 확인해 본 적이 있습니까.
• 통과 기준이 어디에 맞춰져 있습니까. 자체 리뷰가 약한 거절에서 멈추고 그것을 완료로 확정한 것처럼, 기준 자체가 낮게 고정돼 있지는 않은지 봐야 합니다.
• 남은 예산과 시간을 다 쓰고 끝났습니까. 자원을 남긴 채 완료를 선언하는 패턴은 성능 문제가 아니라 언제 멈출지에 대한 판단 문제로 나타납니다.

같은 축의 이전 글로는 AI가 논문을 쓰는 흐름을 정리한 AI가 과학 논문을 쓰는 시대, 심사 쪽이 흔들리는 문제를 다룬 ICLR 2026 피어리뷰 위기, 연구 에이전트가 다루는 데이터의 경계를 본 AI 연구 에이전트의 데이터 경계가 있습니다. 논문 원문은 arXiv:2607.27191, Nature 보도는 d41586-026-02494-5에서 볼 수 있습니다.

학술 논문

• 1.Kirgis, P. et al. (2026). "Can AI agents conduct open-ended AI research? Early evidence from two case studies." arXiv:2607.27191.
• 2.Lu, C. et al. (2026). "Towards end-to-end automation of AI research." Nature 651, 914–919.

보도·업계 소스

• 3.Hutson, M. (2026). "AI isn't ready to research itself." Nature. DOI: 10.1038/d41586-026-02494-5.
• 4.Anthropic. (2026). "When AI Builds Itself: Our Progress Toward Recursive Self-Improvement and Its Implications."