Executive Summary
네이처 계열 논문 90편에서 뽑은 과제에, 지금 가장 뛰어나다는 코딩 에이전트 열 종을 붙였습니다. 논문을 그대로 재현하라는 것이 아니라, 그 논문이 세운 최고 기록을 실제로 넘어서 보라는 주문이었습니다. 칭화대·하버드·베이징대 연구진이 만든 벤치마크 NatureBench의 설계입니다. 그 성적표는 데이터를 다루는 사람에게 뜻밖의 질문 하나를 남깁니다.
가장 성적이 좋았던 모델조차 90개 과제 가운데 기존 최고 기록을 넘어선 것은 열여섯 개, 17.8%에 그쳤습니다. 나머지 열의 여덟은 논문의 벽을 넘지 못했습니다. 더 눈여겨볼 대목은 성공의 성격입니다. 이긴 경우도 새로운 과학적 방법을 발명한 것이 아니라, 낯선 과제를 익숙한 지도학습 예측 문제로 옮겨 푼 쪽이 대부분이었습니다.
실패의 원인도 통념과 다릅니다. 에이전트가 과제 자체를 잘못 이해해 무너진 경우는 3.1%뿐이었습니다. 대부분은 어떤 방법을 고를지 잘못 짚었거나, 연산 예산이 모자라 충분히 밀어붙이지 못한 경우였습니다. 코드를 짜는 일은 이미 병목이 아니라는 뜻입니다.
결과를 떠받치는 숫자는 네 개입니다. 최강 모델의 초과 비율, 성공을 이룬 공학적 경로의 비중, 그리고 실패를 가른 방법 선택과 과제 이해의 격차입니다.
17.8%
최강 모델의 SOTA 초과율
Claude Opus 4.7, 90개 중 16개
82.7%
공학적 경로가 이룬 성공
지도학습 번역·튜닝·엔지니어링 합산
45.1%
실패의 최다 원인
잘못된 방법 선택
3.1%
과제 이해 실패로 인한 실패
코드 실행은 병목이 아님
네이처급 과제 90개, 그리고 열여섯
코딩 에이전트가 논문을 얼마나 잘 재현하는지를 재는 벤치마크는 이미 여럿 있습니다. NatureBench는 한 걸음 더 나아간 질문을 던집니다. 재현을 넘어 발견까지 갈 수 있는가. 다시 말해, 어느 논문이 보고한 최고 성능을 에이전트가 스스로 넘어설 수 있는가입니다. 연구진은 네이처 계열의 동료 심사 논문 90편에서 90개의 과제를 뽑고, 세포 오믹스부터 단백질 생물학, 물리 모델링, 분자 설계까지 여섯 개 과학 도메인에 걸쳐 배치했습니다.
평가는 웹 검색을 완전히 막은 상태에서 진행했습니다. 정답을 검색으로 찾아오지 못하게 한 뒤, 세 가지 코딩 에이전트 환경(Claude Code, Codex CLI, Gemini CLI) 위에 최신 모델 열 종을 올려 겨루게 했습니다. 각 과제마다 "논문이 보고한 최고 기록을 넘겼는가, 최소한 맞췄는가"를 기준으로 성적을 매겼습니다.
가장 앞선 구성은 Claude Opus 4.7이었습니다. 그런데 이 모델조차 90개 과제 가운데 기존 최고 기록을 뚜렷하게 넘어선 것은 열여섯 개, 17.8%에 그쳤습니다. 기록을 넘거나 최소한 맞춘 과제까지 넓혀도 47.8%로, 절반을 채우지 못했습니다. 나머지 여덟 모델의 성적은 이보다 낮았고, 최하위 모델은 90개 중 단 하나에서만 최고 기록을 넘었습니다.
그림 1. 코딩 에이전트 10종의 SOTA 초과 비율(Surpass-SOTA, g>0.1) 순위. 1위 Claude Opus 4.7도 90개 중 16개(17.8%)에서만 넘겼다. 페블러스 원본 도식. 출처: NatureBench(arXiv:2606.24530) Table 4를 재구성.
흥미로운 대목이 하나 더 있습니다. 1등을 한 Claude Opus 4.7은 토큰과 비용도 가장 많이 쓴 모델이었습니다. 과제당 평균 비용이 21.65달러로, 뒤를 이은 모델들의 서너 배에 달했습니다. 가장 많이 시도하고 가장 오래 파고든 쪽이 이겼다는 이야기인데, 이 사실은 뒤에서 볼 실패 분석과 자연스럽게 이어집니다.
성공은 발명이 아니라 번역이었다
숫자만 보면 "AI가 아직 과학을 잘 못한다"는 흔한 결론으로 미끄러지기 쉽습니다. NatureBench가 더 날카로운 지점은 성공한 경우를 해부한 데 있습니다. 연구진은 최고 기록을 맞추거나 넘긴 사례를 방식별로 분류했습니다. 그 결과, 성공의 45.5%가 과제를 지도학습 예측 문제로 바꿔 푼 것이었습니다. 최적화와 튜닝, 엔지니어링 파이프라인, 사전학습 확장까지 이런 공학적 경로를 모두 더하면 82.7%에 이릅니다.
반대로 과제의 과학적 구조에 맞춰 새로운 접근을 시도하거나, 도메인 추론에 기반해 대안을 찾아낸 경우는 다 합쳐 17% 남짓이었습니다. 성공의 대부분은 새로운 과학을 발명한 것이 아니라, 낯선 문제를 익숙한 기계학습 문제로 옮겨 놓고 잘 튜닝한 결과였다는 뜻입니다.
그림 2. 성공(Match-SOTA) 사례의 방식별 분해. 공학적 경로(번역·튜닝·엔지니어링·스케일링)가 82.7%, 새로운 방법을 시도한 경로는 17.3%뿐이다. 페블러스 원본 도식. 출처: NatureBench(arXiv:2606.24530) 재구성.
2.1성공했지만 새 방법은 아니었다
한 사례가 이 성격을 잘 보여 줍니다. 암과 관련된 유전자를 찾아내는 과제였습니다. 원 논문은 트랜스포머 기반 그래프 표현학습으로 이 문제를 풀었고, Claude Opus 4.7은 여기서 기존 최고 기록을 넘겼습니다. 넘긴 방식은 그래프 합성곱 신경망을 여러 개 묶은 앙상블이었습니다. 정규화 라플라시안을 계산하고, 검증셋으로 조기 종료를 걸고, 차수와 깊이와 시드를 바꿔 가며 모델을 여럿 학습해 합쳤습니다.
논문의 평가는 냉정합니다. 에이전트는 이 과제를 그래프 위의 노드 분류 문제로 정확히 읽어 냈지만, 암 유전자를 식별하는 새로운 방법을 제안하지는 못했다는 것입니다. 과제의 구조를 알맞게 파악하고 적절한 기존 기법을 정교하게 튜닝해 이긴 것이지, 과학적 발명을 한 것은 아니라는 진단입니다. 성적표의 "성공"이라는 글자 뒤에는 이런 성격 차이가 숨어 있습니다.
실패는 이해력의 문제가 아니었다
그렇다면 넘지 못한 과제들은 왜 무너졌을까요. 여기서 결과는 통념을 정면으로 뒤집습니다. 연구진이 실패한 실행을 계층별로 분해했더니, 과제 자체를 잘못 이해해 실패한 경우는 3.1%에 불과했습니다. 실패의 대부분은 이해가 아니라 그다음 단계에 있었습니다.
가장 큰 몫은 방법 선택의 실패였습니다. 어떤 방법으로 풀지를 잘못 짚은 경우가 45.1%로 가장 많았고, 연산과 시간 예산이 모자라 충분히 밀어붙이지 못한 경우가 24.4%로 뒤를 이었습니다. 방법 층위와 실행 층위의 실패를 합치면 대부분의 실패가 여기에 몰립니다. 에이전트는 거의 언제나 돌아가는 코드를 만들어 냈습니다. 문제는 어떤 길을 골랐는가, 그리고 그 길을 얼마나 깊이 팠는가였습니다.
그림 3. 실패한 실행의 계층별 분해. 과제 이해 실패는 3.1%뿐이고, 방법 선택 오류(45.1%)와 연산 예산 부족(24.4%)이 실패의 대부분을 차지한다. 페블러스 원본 도식. 출처: NatureBench(arXiv:2606.24530) 재구성.
실패의 결은 분야마다 달랐습니다. 문제의 구조가 비교적 또렷한 관계 추론에서는 열에 여섯이 최고 기록을 맞췄지만, 여러 조각이 얽힌 생의학 모델링에서는 그 비율이 5분의 1 아래로 내려앉았습니다. 특히 두 개 이상의 분야가 맞물린 학제 간 과제는 단일 분야 과제보다 뚜렷하게 어려웠고, 열 개 에이전트 가운데 여덟아홉이 같은 방향으로 성적을 떨어뜨렸습니다. 하나의 기법을 깊이 파는 일보다, 서로 다른 과학적 맥락을 엮어 문제를 세우는 일이 지금의 에이전트에게 가장 먼 자리라는 신호입니다.
3.1258번 제출해도 못 넘긴 벽
유전체 서열을 예측하는 과제가 이 한계를 보여 줍니다. 히스톤 마크와 인핸서, 프로모터, 스플라이스 부위를 예측하는 열아홉 개 하위 과제였습니다. 한 모델은 이 과제에 무려 258번을 제출했습니다. k-mer 카운트 모델에서 시작해 선형 분류기, GPU 위의 합성곱 신경망, 인핸서 활성 앙상블, 임계값 스윕까지 온갖 방법을 갈아 끼웠습니다. 최고 점수는 220번째 시도에서 나왔습니다.
그럼에도 결과는 기존 최고 기록에 미치지 못했습니다. 논문이 짚은 원인은 표현력 자체의 한계였습니다. 아무리 성실하게 반복해도, 고른 방법이 근본적으로 그 과제를 담아내지 못하면 시도 횟수는 성과로 이어지지 않습니다. 성실함과 성과가 비례하지 않는다는 것, 그것이 이 사례가 남긴 교훈입니다.
정리하면 이렇습니다. 오늘의 코딩 에이전트는 과제를 이해하고 실행 가능한 해법을 짜는 데는 이미 능숙합니다. 발목을 잡는 것은 그 앞뒤, 곧 어떤 방법으로 풀지 판단하는 눈과 그 방법을 끝까지 밀어붙일 예산입니다. "AI가 문제를 이해 못 해서 못 푼다"는 설명은, 적어도 이 90개 과제에서는 사실과 거리가 있었습니다.
병목은 모델이 아니라 문제를 세우는 법
이 결과는 페블러스 블로그가 사흘 전에 다룬 이야기와 정확히 같은 지점을 가리킵니다. 신소재 발견에서 AI 모델을 만드는 데 든 노력은 전체의 1%였고, 나머지 99%가 데이터를 확보하는 데 쓰였다는 네이처 머티리얼스 코멘트였습니다. 그 글이 재료과학이라는 한 분야에서 "모델은 병목이 아니다"라는 정성적 진단을 내렸다면, NatureBench는 여섯 개 분야와 90개 과제, 열 개 최신 에이전트라는 훨씬 넓은 무대에서 같은 지점을 정량으로 찍습니다.
찍힌 좌표는 분명합니다. 모델이 부족해서 발견이 더딘 것이 아닙니다. 코드는 대부분 잘 돌아갔습니다. 발견을 가른 것은 과제를 어떤 문제로 세우고 어떤 방법으로 겨눌지 판단하는 일(실패의 45.1%)과, 그 방법을 얼마나 깊이 파고들 수 있는지(24.4%)였습니다. 재료과학에서 노력의 99%가 데이터였다면, 네이처급 과제 90개에서는 실패의 다수가 "무엇을, 어떻게 풀 것인가"라는 선택의 문제였습니다.
한 가지는 분명히 구분해 둘 필요가 있습니다. 지난달 이 블로그가 다룬 논문 코드 재현 이야기와 이번 결과는 다른 층위입니다. 그때의 병목은 공개된 코드를 실행 환경과 의존성에 맞춰 "돌아가게" 만드는 인프라 문제였습니다. NatureBench의 병목은 그보다 위에 있습니다. 코드는 이미 돌아가는데, 그것으로 기존 최고 기록을 "더 잘 넘어서는" 일이 훨씬 드물다는 것입니다. 재현조차 절반이 막힌다는 이야기 위에, 재현을 넘어선 발견은 그보다 더 드물다는 이야기가 포개집니다.
데이터를 다루는 조직에게 이 결과는 하나의 질문으로 번역됩니다. 우리가 AI에게 기대하는 발견이 늦다면, 원인은 더 큰 모델이 없어서입니까, 아니면 그 문제를 어떤 데이터와 과제로 세워 주었느냐에 있습니까. NatureBench의 답은 후자 쪽을 가리킵니다. 과제의 과학적 구조에 가까운 방법을 골랐을 때 성적이 더 좋았고, 익숙한 예측으로 번역해 버린 대부분은 벽 앞에서 멈췄습니다.
Editor's Note
페블러스는 AI 학습에 들어가기 전, 데이터가 풀려는 문제의 구조를 제대로 담고 있는지를 진단하고 정비하는 일을 다룹니다. NatureBench가 남긴 메시지를 우리의 언어로 옮기면, 발견의 병목은 모델의 크기가 아니라 문제를 세우는 방식에 있다는 것입니다. 어떤 데이터로, 어떤 과제로 문제를 정의하느냐가 결국 모델의 성패를 가릅니다.
참고문헌
학술 논문
- 1.Wang, Y., Cheng, L., Zuo, Y., Ding, N., Zhou, B. & Zhang, K. (2026). "NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?" arXiv:2606.24530.
- 2.Su et al. (2025). "TREE: Transformer 기반 그래프 표현학습을 통한 암 유전자 식별." (NatureBench 케이스 스터디 1의 소스 논문으로 인용.)
- 3.Dalla-Torre et al. (2025). "Nucleotide Transformer benchmark." (NatureBench 케이스 스터디 2의 소스 논문으로 인용.)
업계·커뮤니티
- 4.Hugging Face Papers. (2026). "NatureBench (Papers)." Hugging Face.