Executive Summary
AI 에이전트가 실험 결과를 얼마나 맞히는지 측정한 벤치마크가 공개됐다. 이름은 Science Prediction Universe(SPU)이고, 서른여섯 명이 함께 쓴 논문이 2026년 11월 11일 arXiv에 올라왔다. 문제의 꼴은 단순하다. 실험 설정과 후보 조건 몇 가지를 주고, 실제로 측정하면 어느 조건이 더 좋은 값을 낼지 순서대로 줄을 세우게 한다. 자료를 찾든 계산을 돌리든 수단은 제한하지 않는다. 공개 과제 100개에 더해, 실험실에서 직접 돌리고 아직 어디에도 발표하지 않은 습식실험 16개가 비공개 과제로 들어갔다.
열두 개 프런티어 모델에 걸친 열세 가지 에이전트 구성이 공개 과제를 풀었고, 과제 보정을 거친 평균 순위 상관은 0.227에서 0.478 사이에 흩어졌다. 더 눈에 띄는 숫자는 그 뒤에 있다. 채점된 궤적 1,155개를 뜯어 보니 구성들이 서로 매긴 순위끼리의 상관은 0.52인데, 같은 순위와 실제 측정값의 상관은 0.33이다. 모델들이 실험실보다 서로를 더 닮았다는 뜻이다. 논문은 그 원인으로 모델들이 공유하는 단조 가정을 지목한다. 조건을 키우면 결과도 한쪽으로만 따라 움직이리라는 기대다.
1절부터 4절까지 옮긴 수치와 인용은 arXiv에 공개된 SPU 논문의 본문과 부록에서 가져왔고, 예측이 맞을지 스스로 가늠하는 문제를 먼저 짚은 SciPredict 논문을 4절에서 한 번 참조했다. 여러 모델의 의견이 모이는 일을 검증 신호로 쓰는 작업 흐름에 이 결과를 겹쳐 읽은 5절은 페블러스의 해석이다.
주요 수치
앞의 두 숫자는 지금 에이전트가 해내는 정도를 가리킨다. 뒤의 두 숫자는 그 점수가 왜 쉽게 오르지 않는지에 관한 것이다.
출처: arXiv:2611.15049 본문 표 1, 4.2절, 6절, 부록 E.8.
0.478
가장 높은 구성의 과제 보정 평균 순위 상관
Opus 5.5. 안전 거부 탓에 공개 과제 100개 중 44개만 채점됐다
0.52 / 0.33
에이전트끼리의 일치도와 실제 측정값과의 일치도
채점된 공개 궤적 1,155개를 분석해 얻은 값이다
25% / 11%
조건을 따라 한 방향으로 줄을 세운 답의 비율과, 실제 측정이 그랬던 비율
수치 조건이 달라지는 95개 그룹을 같은 잣대로 센 값이다
0건
점수와 실행 시간·도구 호출·웹 조회·GPU 사용량 사이에서 잡힌 상관
도구 호출 227,103건을 훑었는데 어느 쪽에서도 검출되지 않았다
실험 결과를 가린 채 후보의 순서를 묻는다
논문은 벤치마크 설명보다 기준 설정으로 시작한다. 자연현상을 설명하려는 노력이 오래됐고, 그 설명이 맞는지 가려내는 가장 중요한 시험은 실험 결과를 믿을 만하게 예측하는 일이라고 적었다. 그러니 범용 인공지능이 사람의 과학 능력을 넘어서려면 실험 결과도 사람보다 더 믿을 만하게 예측해야 한다는 것이다. SPU는 그 문장을 점수표로 바꿔 놓았다.
과제 하나는 이렇게 생겼다. 어떤 실험을 어떤 장비로 어떻게 돌리는지 설명하고, 바꿔 볼 수 있는 후보 조건들을 함께 준다. 에이전트는 자료 검색이든 분자 계산이든 필요한 수단을 아무거나 써서, 측정 결과가 좋은 순서대로 후보를 줄 세워 제출한다. 채점은 제출한 순서와 실제 측정 순서가 얼마나 같은 방향인지로 매긴다. 맞힌 개수를 세는 객관식이 아니라 순서를 견주는 방식이라, 절댓값을 몰라도 우열만 알면 점수를 받는다.
공개 과제 100개는 네이처 포트폴리오 계열 저널 11종에 2025년 1월부터 2026년 8월 사이 실린 논문 85편에서 뽑았다. 32개 하위분야에 걸쳐 있고, 유기촉매와 비대칭합성부터 전해질, 효소공학, 단백질 설계, 종양학까지 들어간다. 분야별로 세면 화학 42개, 재료과학 31개, 생물학 31개, 의학 12개로 합이 116개다. 이 분야별 숫자는 공개 100개와 비공개 16개를 합친 전체 기준이다.
출처는 저널 열한 종에 고르게 흩어져 있지 않다. 네이처 커뮤니케이션스에 실린 논문 41편에서 43개, 네이처에 실린 28편에서 40개가 나왔다. 나머지 아홉 종이 보탠 몫은 17개다. 한 출판 계열, 그중에서도 두 저널에 기댔다는 점은 저자들도 한계로 적어 두었다.
나머지 16개가 이 벤치마크의 보험이다. 파트너 실험실과 협업해 받은 미발표 습식실험이고, 결과를 공개하지 않았다. 네 묶음으로 나뉜다. 사스코로나바이러스-2 스파이크 단백질에 붙는 VHH 나노바디 8개 과제에는 실험 155건이 걸려 있고, 벤질화와 술포닐화, 환원적 아민화의 반응 조건을 훑는 3개 과제가 있다. 1몰 농도 육플루오린화인산리튬을 단일 용제에 녹여 이온전도도를 측정하는 전해질 2개 과제는 실험 18건, 인간 CD47을 표적으로 하는 단클론항체 변이체 3개 과제는 실험 62건이다.
이 과제들이 묻는 것은 실험실이 실제로 측정하는 값의 순서다. 나노바디 과제는 ELISA 희석 곡선 아래 면적이나 리터당 밀리그램으로 적히는 발현 수율로 후보를 줄 세운다. 반응 조건 과제는 목적 생성물의 수율을 쓴다. 전해질 쪽 실험 18건은 이온전도도를 측정한 용액 열 개와 전기화학 윈도우를 측정한 여덟 개로 채워져 있고, 항체 변이체 과제는 수율과 순도, 그리고 표면 플라스몬 공명으로 구한 친화도를 쓴다.
공개 과제는 원칙상 모델의 학습 데이터에 이미 들어 있을 수 있다. 논문도 이 위험을 인정하고 정보 정책과 네 가지 안전장치로 검색과 암기를 제약했다고 밝혔지만, 완전히 막았다고 주장하지는 않는다. 비공개 16개는 그 의심을 끊는 자리다. 어느 논문에도 답이 적혀 있지 않으니, 그 점수는 외운 것일 수 없다.
가장 높은 점수도 0.478에 머문다
점수는 스피어만 순위 상관이다. 1에 가까우면 제출한 순서가 실제 측정 순서와 거의 같고, 0이면 순서를 아무렇게나 매긴 것과 구별되지 않는다. 과제마다 후보 개수와 난도가 다르니 그것을 보정한 평균을 썼다. 공개 과제 100개에서 나온 열세 가지 구성의 성적은 아래와 같다.
| 구성 | 채점된 과제 | 과제 보정 평균 상관 |
|---|---|---|
| Opus 5.5 | 44 | 0.478 |
| Astra Medium (GPT-6, Codex) | 100 | 0.431 |
| Opus 5 | 99 | 0.424 |
| Fable 5.1 | 30 | 0.421 |
| Astra Max (GPT-6, Codex) | 100 | 0.409 |
| Sonnet 5.5 | 97 | 0.393 |
| Doubao | 100 | 0.315 |
| GPT-6.1 Sol (Codex) | 94 | 0.308 |
| Kimi-K3.1-Pro | 95 | 0.296 |
| DeepSeek-V4.1 | 100 | 0.254 |
| HY4 | 100 | 0.245 |
| GLM-5.3 | 98 | 0.239 |
| Qwen3.8-Max | 98 | 0.227 |
▲ SPU 공개 과제 100개 기준 열세 가지 에이전트 구성의 성적 전체. | 출처: arXiv:2611.15049, 표 1
표 왼쪽 칸에 적힌 구성은 모델 이름보다 한 겹 좁은 단위다. 논문은 모델과 추론 강도, 그리고 에이전트를 실행하는 하네스를 묶어 구성 하나로 센다. 이름 뒤에 Codex가 붙은 세 줄이 Codex CLI에서 돌았고, 그중 Astra는 중간 강도와 최대 강도로 두 번 올라와 있다. 나머지 열 줄은 Claude Code에서 최대 강도로 돌았다. 모델은 열둘인데 줄이 열셋인 것은 그래서다.
목록을 위에서 아래로 훑으면 두 덩어리로 갈린다. 0.39 위쪽 여섯과 0.32 아래쪽 일곱 사이에 눈에 띄는 간격이 있다. 반대로 덩어리 안에서는 1위와 5위의 95% 신뢰구간이 겹쳐서, 둘 중 어느 쪽이 더 낫다고 말하기 어렵다. 순위표의 한 칸 차이보다 두 덩어리 사이의 간격이 읽을 만한 신호다.
두 덩어리의 경계는 눈대중이 아니다. 저자들이 구성끼리 짝지어 윌콕슨 검정을 돌리고 홀름 보정을 건 결과, 앞쪽 여섯 안에서도 뒤쪽 일곱 안에서도 차이가 검출되지 않았다. 앞 덩어리에서 한 줄 위에 있다는 사실만으로는 더 낫다고 말할 근거가 없다는 뜻이다.
1위 수치에는 단서가 하나 붙는다. Opus 5.5는 공개 과제 100개 가운데 56개에서 안전 거부로 답을 내지 않았고, 거부는 화학과 생물, 의학 쪽에 몰렸다. 남은 44개로 계산한 평균이 0.478이다. Fable 5.1도 30개만 채점돼 사정이 같다. 어떤 과제를 건너뛰었느냐가 평균을 밀어 올렸을 수 있다고 저자들이 직접 한계로 적었으니, 이 두 줄은 100개를 다 푼 구성과 같은 잣대로 견줄 수 없다.
그 단서를 빼고 보면 전 과제를 푼 구성 중 최고가 0.431이다. 순서를 반쯤 맞히는 수준이다. 실험 결과 예측은 아직 포화와 거리가 멀고, 모델 사이의 격차가 상당하다는 것이 논문 초록의 표현이다.
논문의 표 1에는 위에 옮기지 않은 칸이 하나 더 있고, 평균만 봐서는 놓치는 것이 거기 있다. 저자들은 과제마다 유효한 제출을 무작위로 4,000개 만들어 그 점수 분포의 95번째 백분위를 문턱으로 잡았다. 이 선을 넘어야 아무렇게나 줄 세운 것보다 낫다고 인정하는데, 무작위 제출이 우연히 이 선을 넘는 비율은 5% 언저리다. 넘긴 과제가 몇 개인지 세어 보면, 1위 구성은 채점된 44개 가운데 23개였다. 100개를 다 푼 구성 중 최고도 52개에 그쳤고, 비율이 가장 낮은 구성은 98개 중 33개였다. 우연보다야 훨씬 자주 넘기지만, 뒤집어 보면 상위 구성조차 절반 가까운 과제에서는 그 선 아래에 머물렀다.
에이전트는 실험 결과보다 서로의 답에 가깝다
점수표보다 흥미로운 분석이 부록에 있다. 저자들은 열세 가지 구성이 각 과제에서 제출한 순위를 서로 견주었다. 구성들의 평균 순위끼리 상관이 0.52로 나왔다. 같은 평균 순위를 실제 측정값과 견주면 0.33이다. 서로를 맞히는 솜씨가 현실을 맞히는 솜씨보다 좋다.
▲ 페블러스 원본 도식. 부록 E.8이 보고한 두 상관값을 같은 축에 올려 놓은 것이다.
왜 이렇게 되는지는 본문 4.2절이 따로 설명한다. 저자들은 과제 37개에서 조건이 숫자로 달라지는 95개 그룹을 뽑았다. 온도를 올리거나 농도를 높이는 식으로, 후보들이 한 변수의 크기만 다른 묶음이다. 여기서 에이전트가 제출한 순서는 그 숫자를 꽤 충실히 따라갔다. 조건과의 절대 상관 평균이 0.57이다. 그런데 실제 측정 순서가 같은 조건과 갖는 상관은 0.46이었다.
한 방향으로 쭉 늘어선 답의 비율로 보면 간격이 더 또렷하다. 제출된 그룹의 4분의 1은 조건이 커질수록 결과도 커지는(또는 작아지는) 모양으로 깔끔하게 정렬돼 있었다. 같은 그룹을 실제 측정값으로 줄 세우면 그런 모양은 11%뿐이다. 자연은 그렇게 단정하게 움직이지 않는데, 모델들은 그렇게 움직인다고 가정한 셈이다.
초록이 이 대목을 한 문장으로 적었다. 에이전트들이 공유된 단조 가정에 기대어, 측정값보다 서로에게 훨씬 더 많이 동의한다는 것이다. 수렴이 일어나기는 하는데 정답 쪽으로의 수렴이 아니다. 같은 교재를 본 학생들이 같은 자리에서 같은 쪽으로 틀리는 일에 가깝다.
도구를 더 써도 점수가 오르지 않는다
벤치마크를 한 바퀴 돌리고 나면 기록이 남는다. 채점된 공개 궤적 1,155개와 도구 호출 227,103건이다. 저자들은 그 기록에서 점수와 비용의 관계를 찾아봤다. 실행 시간, 도구 호출 횟수, 웹 조회 횟수, GPU 사용량 가운데 어느 것도 점수와 검출 가능한 상관을 보이지 않았다는 것이 6절의 보고다. 더 오래 돌리고 더 많이 계산한 에이전트가 더 잘 맞히지는 않았다.
궤적을 들여다본 저자들이 그 이유로 꼽은 것은 계산의 겨냥이다. 에이전트들은 분자 구조를 숫자로 요약한 지표, 반경험적 계산과 밀도범함수 이론으로 구한 에너지, 도킹 점수처럼 돌리기 쉬운 값을 자주 산출한다. 문제는 그 값들이 정작 최종 측정값을 좌우하지 않는 경우가 많다는 것이다. 치환 반응의 효율을 예측하면서 반응 에너지만 계산하고, 촉매의 입체 장애나 용매와의 상호작용은 건드리지 않는 식이다. 숫자는 늘어나는데 답과 이어지지 않는다.
궤적에는 더 아픈 패턴도 남아 있다. 처음에는 맞는 방향으로 초안을 잡아 놓고, 검증되지 않은 가정을 근거로 스스로 순서를 고쳐 더 틀린 답을 제출하는 경우다. 작업을 길게 끌수록 좋아진다는 통념이 여기서는 반대로 작동한다.
같은 지적이 먼저 나온 적도 있다. 2026년 4월 공개된 SciPredict는 물리·생물·화학 33개 하위분야의 405개 과제로 같은 능력을 다룬 벤치마크인데, 모델 정확도 14~26%가 인간 전문가의 20% 안팎과 비슷하다는 결과를 냈다. 눈에 띄는 것은 그다음이다. 인간 전문가는 '이건 실험 없이도 예측할 수 있다'고 판단한 문제에서 정확도가 5%에서 80%까지 올라가는데, 모델은 스스로 확신하든 아니든 20% 언저리에 머물렀다. 자기 예측이 믿을 만한지 가려내는 능력이 없다는 뜻이고, SPU 논문도 SciPredict를 같은 계열의 선행 작업으로 인용한다.
저자들이 부록 B에 적어 둔 한계도 함께 읽을 필요가 있다. 과제 출처를 네이처 포트폴리오로 한정해 재현성은 확보했지만 다른 출판 경로의 다양성은 놓쳤고, 생물안전 분류기가 정당한 예측 요청까지 거부할 수 있다. 습식실험 자체의 재현성도 실험실 관행에 따라 달라지니, 벤치마크가 들고 있는 정답도 완벽한 기준점은 아니다.
병목이 어디에 있는지는 이 세 가지를 겹쳐 보면 드러난다. 도구를 못 써서 막힌 것이 아니다. 어떤 증거와 어떤 계산이 최종 측정값에 실제로 영향을 주는지 가려내는 판단이 서지 않는 것이다. 그 판단이 없으면 계산량은 점수가 아니라 비용으로만 쌓인다.
페블러스가 이 결과를 주목하는 이유
이 논문은 보통 과학 AI 소식으로 읽힌다. 데이터를 다루는 쪽에서 보면 실험실 바깥까지 번지는 대목이 하나 있다. 0.52와 0.33의 간격은 화학이나 생물학의 사정이 아니라, 비슷한 데이터로 학습한 모델들이 질문을 받았을 때 벌어지는 일에 관한 관찰이기 때문이다.
실무에서 널리 쓰는 요령 하나가 여기에 걸린다. 중요한 판단일수록 모델 여러 개에게 같은 질문을 던지고, 답이 모이면 신뢰도를 높게 잡는 방식이다. 교차 검증처럼 느껴지지만 전제가 하나 숨어 있다. 모델들의 오차가 서로 독립이라는 전제다. SPU가 측정한 것은 바로 그 전제가 깨져 있는 정도다. 의견이 모였다는 사실은 답이 맞다는 신호일 수도 있고, 같은 가정을 공유한다는 신호일 수도 있다. 두 경우는 겉보기가 똑같다.
둘을 가르는 것은 모델 바깥에 있는 기준점이다. SPU가 비공개 과제 16개를 따로 둔 이유도 같다. 합의가 참인지 확인하려면 합의에 참여하지 않은 측정값이 있어야 한다. 데이터를 AI가 쓸 수 있는 상태로 만드는 일에서 계보와 측정 조건, 불확실성 기록을 품질 항목으로 두는 이유가 이 자리에서 한 번 더 분명해진다. 모델이 무엇을 답했는지가 아니라 무엇과 대조할 수 있는지가 신뢰의 근거다.
그래서 AI 에이전트를 업무에 들일 때 확인할 항목도 따라 바뀐다. 아래 셋은 모델 성능표에 올라오지 않는다.
- 합의를 세기 전에 모델들의 출신을 본다. 학습 데이터와 사후 조정 방식이 가까운 모델끼리의 일치는 표본 하나를 여러 번 센 것에 가깝다.
- 자신 있다고 답한 사례의 적중률을 따로 집계한다. SciPredict가 보여 준 대로, 확신과 정확도가 같이 움직이지 않으면 확신은 판단 재료가 되지 못한다.
- 모델이 보지 못한 측정값을 일정 비율로 남겨 둔다. 보유한 데이터를 전부 학습과 평가에 쓰면 합의를 검증할 자리가 사라진다.
남는 질문은 처음 그대로다. 여러 AI에게 물어 의견이 모였을 때, 우리는 그것이 정답에 가까워진 결과인지 같은 교재를 본 결과인지 구별할 수단을 갖고 있나. SPU는 과학 실험이라는 가장 엄격한 채점표 위에서 그 구별이 아직 쉽지 않다는 것을 숫자로 적어 두었다.
참고문헌
- 1.Tu, Z., et al. (2026). "Science Prediction Universe." arXiv:2611.15049, 2026-11-11. 저자 36인, 본문 52쪽. 전문 HTML은 arxiv.org/html/2611.15049v1.
- 2.Madhushani Sehwag, U., et al. (2026). "SciPredict: Can LLMs Predict the Outcomes of Scientific Experiments in Natural Sciences?" arXiv:2604.10718, 2026-04-12. ICML 2026 포스터.