Executive Summary

연구를 대신 돌리는 AI 옆에 검사만 전담하는 AI를 따로 붙였더니, 과학자가 잡아내는 오류가 14배로 늘었다. 스탠퍼드를 중심으로 UC버클리·UCSF·SLAC 연구자가 함께 쓰고 11월 16일 arXiv에 올린 DiscoveryAgent 논문에 담긴 결과다. 논문은 이 검사 담당을 감사 에이전트(audit agent)라 부른다.

14배를 사람과 AI가 겨룬 결과로 읽기 쉽지만, 맞붙은 양쪽 모두 사람이다. 같은 연구 기록을 놓고 감사 에이전트와 함께 본 과학자들이 코드와 보고서만 받아 혼자 본 과학자들보다 일부러 심어 둔 오류를 그만큼 더 찾아냈다. 다만 두 집단은 각각 네 명이었고 검토 시간은 한 시간이었다. 표본이 작다는 뜻이고, 그래서 숫자의 크기와 함께 그 숫자가 나온 조건을 본다.

1절부터 4절까지는 논문에 적힌 내용이다. 5절은 페블러스의 해석이다.

주요 수치

논문을 가늠하는 숫자는 넷이다. 감사를 붙였을 때 벌어진 차이, 감사 에이전트 자체의 정확도, 과학자가 가설을 조종했을 때 나온 모델 성적, 그리고 그 숫자들이 나온 실험의 규모다.

출처: DiscoveryAgent: A Framework for Scientist-centric Agentic AI (arXiv:2611.21950, 2026-11-16).

14배

감사 에이전트를 함께 썼을 때 과학자가 더 찾아낸 오류

1인당 평균 3.50개 대 0.25개

0.965

오염된 주장을 골라낸 감사 에이전트의 F1

뽑아낸 주장 50개 가운데 25개를 일부러 틀리게 바꿔 두고 측정했다

105개

단백질 변이 효과 예측기가 앞선 기준 모델

과학자가 가설을 조종한 버전이 ProteinGym 기준 모델 106개 가운데 하나에만 뒤졌다

4명

14배를 낸 집단 한쪽의 인원

두 집단 각 4명, 검토 시간은 한 시간이었다

1

과학자가 라운드마다 가설을 바꿔 끼운다

DiscoveryAgent가 다른 AI 과학자 시스템과 갈라지는 지점은 자율성의 크기보다 과학자가 끼어드는 방식이다. 연구는 라운드 단위로 돌아가고, 라운드와 라운드 사이에서 과학자가 다음에 검증할 가설을 고르거나 다듬거나 통째로 갈아 끼운다. 분야를 가리지 않는 구조로 설계했고, 논문은 이를 과학자 중심(scientist-centric)이라 적었다.

구조로 보면 고리가 둘이다. 바깥 고리에서는 가설 가지를 하나 고르고, 그 가지 안쪽 고리에서는 디렉터 에이전트가 문헌 검색과 데이터 분석과 검토를 맡은 하위 에이전트들을 불러 써 가며 가설 하나를 혼자 검증한다. 과학자가 손을 대는 자리는 바깥 고리다. 안에서 돌아가는 일은 건드리지 않고, 다음에 어느 가지로 갈지를 정한다.

이 설계를 떠받치는 것이 체크포인트다. 에이전트가 어떤 데이터를 어떻게 다뤘고 무엇을 근거로 다음 단계로 넘어갔는지를 단계마다 기록으로 남긴다. 기록이 남아 있으니 나중에 주장 하나를 집어 들고 그것이 어디서 나왔는지 거슬러 올라갈 수 있고, 같은 분석을 다시 돌려 볼 수도 있다. 자율성과 감시를 맞바꾸는 대신, 자율적으로 돌아가되 되짚을 수 있게 만드는 길을 택한 셈이다.

DiscoveryAgent 구조 — 바깥 고리와 안쪽 고리 바깥 고리 — 과학자가 다음 가지를 고른다 안쪽 고리 — 디렉터 에이전트가 가설 하나를 검증 디렉터 에이전트 문헌 검색 데이터 분석 검토 가설 가지 A 가설 가지 B — 선택됨 가설 가지 C 체크포인트 — 매 단계의 근거를 기록해 나중에 되짚을 수 있게 한다
▲ 페블러스 원본 도식 (논문의 구조 설명을 재해석했다)

조종이 성적으로도 나타난 사례가 있다. 단백질 변이 효과를 예측하는 과제에서 과학자가 가설을 조종한 버전은 ProteinGym 기준 모델 106개 가운데 105개를 앞섰다. 그보다 나은 기준 모델은 하나뿐이었다. 변광성 분류 과제에서도 비교한 기준 모델 가운데 가장 좋은 분류기가 나왔다고 논문은 적었다.

조종이 실제로 어떻게 생겼는지는 세 건의 사례 연구에 남아 있다. 논문은 천체물리와 경제학과 유전체학에서 각각 그 분야 연구자와 짝을 지어 연구를 한 건씩 돌렸다. 천체물리 사례에서는 머신러닝을 다룰 줄 아는 천문학자가 16라운드에 걸쳐 방향을 잡았고, 그사이 에이전트는 모델 구성 190개를 훈련했다. 그렇게 나온 모델은 측광 자료와 이미지를 함께 썼고, 저적색편이 은하의 적색편이 산포를 이미지만 쓴 CNN보다 18.6%, 측광만 쓴 MLP보다 39.3% 줄였다.

2

감사 에이전트는 믿을 만한가

감사 에이전트가 하는 일은 완성된 보고서에 평을 다는 데서 멈추지 않는다. 체크포인트와 코드와 로그에 직접 들어가 주장 하나하나를 추적하고, 필요하면 분석을 다시 돌려 숫자가 재현되는지 확인한다. 논문은 이것을 규모를 키울 수 있는 감독 방식이라고 부른다. 사람 전문가를 더 투입하는 길은 금방 한계에 부딪히지만, 기록을 읽는 에이전트는 늘릴 수 있기 때문이다.

성능은 두 갈래로 측정했다. 먼저 감사 에이전트만 놓고 측정한 실험이다. 세 가지 에이전트 시스템의 연구 기록에서 주장을 50개씩 뽑고 그중 25개를 일부러 틀리게 바꿔 다섯 벌을 만든 다음, 감사 에이전트가 오염된 주장을 골라내게 했다. DiscoveryAgent 자신의 기록에서는 F1 0.965가 나왔다.

두 번째가 사람을 넣은 실험이다. 과학자들을 두 집단으로 나누고 오류가 심어진 연구 결과물을 한 시간 동안 검토하게 했다. 한쪽은 코드와 보고서만 받아 직접 들여다봤고(코드 집단), 다른 쪽은 감사 에이전트를 함께 썼다(감사 집단). 결과는 1인당 평균 3.50개 대 0.25개였고, 여기서 14배가 나왔다. 집단마다 네 명이었다는 점은 논문도 숨기지 않는다. 방향은 분명하지만 폭의 정확한 크기는 더 큰 표본에서 다시 확인할 일이다.

한 시간 동안 한 사람이 되찾은 오류의 개수 코드 집단 코드와 보고서만 0.25개 감사 집단 감사 에이전트와 함께 3.50개 두 집단 각 4명, 검토 시간은 한 시간. 막대 길이는 1인당 평균 개수에 비례한다
▲ 페블러스 원본 도식. 논문이 보고한 1인당 평균 복구 개수를 그대로 옮겼다
3

감사가 되는 시스템과 안 되는 시스템

같은 감사 에이전트를 다른 시스템의 기록에 붙이면 성적이 달라졌다. 자율 연구 에이전트 Kosmos와 일반 코딩 에이전트가 남긴 기록을 감사할 때는 정확도가 떨어졌고, Terra와 Luna 모델에서 낙폭이 특히 컸다고 논문은 보고했다.

여기서 책임 소재가 옮겨 간다. 감사가 잘되느냐 안 되느냐는 검사하는 쪽의 똑똑함만으로 정해지지 않는다. 검사받는 쪽이 무엇을 어떤 형태로 남겼는지가 먼저다. 체크포인트를 설계에 넣어 둔 시스템은 주장을 뜯어볼 수 있고, 결과만 내놓는 시스템은 아무리 좋은 감사 도구를 붙여도 확인할 자료가 없다.

0.965는 감사 에이전트 혼자 세운 기록이 아니라 DiscoveryAgent와 짝을 이뤘을 때의 값이다. 감사 가능성은 나중에 붙이는 기능이라기보다 처음부터 설계에 들어가야 하는 성질에 가깝다.

4

감사가 찾아낸 것, 사람이 끝내 해야 했던 것

남은 두 사례도 결과는 냈다. 경제학 사례에서 DiscoveryAgent와 경제학자는 플로리다 주택보험료가 갈수록 역진적으로 바뀌어 왔다는 것을 보였다. 중간값 보험료는 2013년 1,200달러에서 2023년 2,200달러로 83% 올랐고, 2023년에 소득 최하위 4분위는 소득의 6.6%를 보험료에 썼다. 최상위 4분위는 1.2%였다. 유전체학 사례에서는 계산생물학자와 함께 CD4 양성 T세포에서 신호를 많이 받고 많이 내보내는 릴레이 유전자를 추렸고, 자가면역 GWAS 유전자가 오즈비 2.44로, 1차 면역결핍 유전자가 11.66으로 그 집합에 몰려 있었다. 후보는 TUFM, CALHM6, ATXN2L, FOSL2 넷까지 좁혀졌다.

사후 감사에서 드러난 오류 하나는 유전체학 연구에서 나왔다. DiscoveryAgent는 3라운드에서 유전자 기호의 앞글자만 보고 파랄로그를 정의했다. CD로 시작하는 유전자를 전부 한 집안으로 묶는 식이어서, 생물학적으로 말이 되지 않는 가짜 계열이 만들어졌다. 감사가 잡아냈다는 말인 동시에, 분석이 돌아가는 동안에는 아무도 못 봤다는 말이기도 하다.

사람이 끝까지 붙잡고 있어야 했던 몫도 분명하다. 경제학 사례에서 DiscoveryAgent는 기술 통계로 충분한 자리에서 평소보다 센 가정을 세우고 인과 추론으로 치달았고, 경제학자가 세게 방향을 잡아 줘야 했다. 유전체학 사례의 연구자는 에이전트가 통계 검정을 대량으로 돌린 뒤 엄격한 필터를 통과한 결과만 강조하고, 그것이 탐색적 분석이라는 사실은 앞세우지 않는 경향을 지적했다. 처음 올라온 가설 자체도 생물학적으로 의미 있는 질문이 되기까지 상당한 손질이 필요했다.

종합하면 이 논문은 검증을 사람 손에서 떼어 냈다고 말하지 않는다. 과학자 한 명이 한 시간에 볼 수 있는 자리가 넓어졌다고 말한다. 무엇이 틀렸는지를 판단하는 마지막 칸은 여전히 분야를 아는 사람에게 남아 있고, 가짜 파랄로그가 생물학적으로 말이 안 된다는 것도 그 분야를 아는 사람이라야 읽어 낸다.

5

페블러스가 이 논문에 주목하는 이유

데이터와 모델의 품질을 사람 손으로 확인해 온 눈으로 이 실험을 보면, 14배라는 숫자는 검사하는 사람의 역량을 가리키지 않는다. 코드 집단이 0.25개밖에 못 찾은 것은 그들이 게을러서가 아니라 손에 코드와 보고서뿐이었기 때문이다. 같은 한 시간에 세 개 반을 찾은 감사 집단은 기록을 뒤질 수 있는 도구를 들고 있었다. 병목에 놓여 있던 것은 검사 능력보다 검사할 수 있게 남겨진 기록이었다.

데이터 품질 작업에도 같은 구도가 있다. 라벨이 왜 그렇게 붙었는지, 어떤 규칙으로 걸러졌는지, 어느 버전의 기준이 적용됐는지가 남아 있지 않으면 검수는 결과물만 보고 짐작하는 일이 된다. 그 상태에서 검사하는 쪽을 자동화하면 속도는 빨라지지만 들여다보는 범위는 넓어지지 않는다. 검사 자체가 또 하나의 믿어야 할 블랙박스가 된다는 걱정은 바로 이 지점에서 현실이 된다.

논문이 주는 답은 순서에 있다. 감사 도구를 좋게 만드는 일보다 감사받을 쪽이 무엇을 남기게 할지를 먼저 정하는 것이다. 자동화된 검수를 들이기 전에 점검할 것은 네 가지다.

  • 지금 돌아가는 데이터 처리 과정이 단계마다 되짚을 수 있는 기록을 남기는가, 아니면 최종 산출물만 남기는가.
  • 품질 판정 하나를 집어 들었을 때 그 판정이 어느 규칙과 어느 데이터에서 나왔는지 거슬러 올라갈 수 있는가.
  • 같은 입력으로 같은 결과가 다시 나오는지 확인해 본 적이 있는가. 다시 돌려 보려면 며칠이 걸리는가.
  • 자동 검수가 통과시킨 건과 걸러 낸 건을 사람이 표본으로 다시 열어 보는 절차가 있는가.

네 질문 모두 검사 도구를 고르자는 물음이 아니라 검사받을 준비가 됐는지 묻는 물음이다. 데이터가 AI를 쓸 준비가 됐다는 말은 형식이 깔끔하다는 뜻만이 아니다. 왜 그렇게 되었는지를 나중에 다시 꺼내 볼 수 있다는 뜻이기도 하다. DiscoveryAgent의 14배는 더 똑똑한 검사자를 구해서 나온 숫자가 아니라, 검사할 것을 남겨 둔 시스템에서 나온 숫자다.

R

참고문헌

1차 출처

비교·배경 연구

  • 2."Kosmos: An AI Scientist for Autonomous Discovery." arXiv:2511.02824. DiscoveryAgent가 감사 정확도를 비교한 자율 연구 에이전트.
  • 3."OSVerify." arXiv:2610.18089. 전문가 검토가 제한된 조건에서의 검증을 다룬 선행 연구.
  • 4."ScientistOne." arXiv:2605.26340. 연구 무결성 감사 개념을 앞서 제시한 연구.