Executive Summary

주요 수치

출처: You 외, FrontierPhysics: Evaluating Agents for End-to-End Physics Research, arXiv:2611.06910(2026)

아래 네 숫자는 분모가 제각각이다. 27.4%는 Claude Opus 5.5의 성적이고, 48%는 다른 모델인 GPT-6 Astra의 실패 기록을 사람이 읽어 분류한 비율이다. 56은 과제의 수이며, 96.2%는 저자들이 그 채점 기준으로 자기 연구를 매겨 본 점수다.

벤치마크를 만들 때 가장 흔한 방식은 이미 있는 문제를 모으는 것이다. 교과서 문제를 긁어 오거나, 발표된 논문에서 답이 정해진 하위 과제를 떼어 내거나, 기출 시험을 번역한다. 이 논문은 그 경로를 쓰지 않았다. 현직 물리학자에게 "당신이 지난 몇 년 실제로 한 연구 하나를 과제로 만들어 달라"고 요청했다.

제출은 182건이 들어왔고, 그중 56건이 채택됐다. 낸 사람은 26개 기관 소속 연구자 42명이다. 과제를 제출할 때는 그 연구가 자기 것임을 보일 수 있는 자료를 함께 내도록 했다. 논문이든 특허든, 그 프로젝트에 자기 이름이 붙어 있다는 증거다. 56개 가운데 18개는 그 밑에 깔린 연구가 이미 논문으로 나와 있고, 그중 넷은 『네이처』에 실렸다.

출처 확인을 통과한 과제는 같은 분야 연구자의 심사를 한 번 더 받는다. 심사자는 자기 과제가 1차 관문을 넘은 출제자 중에서 뽑았고, 대부분 박사과정 학생(47%)과 박사 학위자(37%)다. 심사표가 보라고 적은 것은 세 가지다. 과제 설명이 답으로 가는 길까지 떠먹이지는 않는지, 채점 기준표가 그 연구를 해 본 사람만 가질 수 있는 물리 통찰을 담았는지, 출제자가 함께 낸 최소 세 번의 사전 실행 기록에 잘못된 합격이나 잘못된 불합격이 섞이지는 않았는지다. 두 번째 항목에는 비교 대상까지 적혀 있다. AI가 만들어 낸 기준표에 흔한, 신호가 약한 항목과 구별하라는 것이다.

분야는 아홉이다. 고에너지물리, 응집물질물리, 천체물리, 양자정보, 원자·분자·광물리, 유체역학, 통계물리, 광학·영상, 화학물리. 이론과 계산과 실험이 모두 들어 있다. 과제 수는 고르지 않다. 응집물질물리가 12개로 가장 많고 화학물리가 4개로 가장 적으며, 나머지 일곱 분야는 5개에서 7개 사이다.

과제 뒤에 쌓인 시간도 논문에 나온다. 출제자들이 보고한 바로는 원래 프로젝트에 과제당 평균 270일쯤이 들었고, 모두 합치면 8,000시간이 넘는 연구다. 과제를 낸 사람의 피인용 수는 평균 420회다. 시험지 한 장 뒤에 그 사람의 연구 경력이 통째로 깔려 있는 셈이다.

기존 물리 벤치마크가 무엇을 보는지부터 논문이 정리해 둔다. 고정된 질문에 답하게 하거나, 연구 과정에서 떼어 낸 하위 과제 하나만 풀게 하거나, 해법이 이미 주어진 논문을 재현하게 한다. 세 방식 모두 답이 어딘가에 이미 있다. 그리고 셋 다 결과가 맞았는지만 보고, 그 연구의 질은 거의 따지지 않는다.

FrontierPhysics의 과제는 네 단계를 한 번에 요구한다. 관련 문헌을 찾아 읽고, 연구 계획을 세우고, 연구와 실험을 수행하고, 결과물을 정리해 낸다. 마지막에 내야 하는 것은 두 종류다. 하나는 계산한 물리량이나 시뮬레이션 출력, 처리한 데이터처럼 기계가 대조할 수 있는 산출물이고, 다른 하나는 paper.pdf라는 이름의 논문 원고다. 시간 제한은 한 번에 열 시간이다.

이렇게 짜면 측정되는 것이 달라진다. 답이 맞았는지만 보는 시험에서는 중간에 어떤 길로 갔든 상관이 없다. 논문 원고까지 받아 보는 시험에서는 어떤 선행 연구를 근거로 삼았는지, 왜 그 방법을 골랐는지, 결과의 한계를 어디까지 적었는지가 함께 드러난다. 문제를 푸는 능력 위에 연구를 끝까지 끌고 가는 능력이 포개져 측정된다.

채점은 두 갈래로 나뉜다. 한쪽은 결정론적 검증이다. 과제마다 붙은 시험 스크립트가 에이전트가 낸 수치를 참고값과 대조한다. 사람이 끼어들 자리가 없고 같은 입력에 같은 판정이 나온다. 다른 한쪽은 채점 기준표이고, 그 핵심을 과제를 낸 물리학자가 직접 쓴다.

기준표는 두 층으로 돼 있다. 한 층은 모든 과제에 공통으로 걸리는 항목이다. 보상 해킹과 환각을 잡고, 문헌을 종합했는지, 결과를 스스로 검증했는지, 주장에 근거를 댔는지 같은 연구 관행을 본다. 다른 한 층은 과제별 항목이고 이쪽을 출제자가 직접 쓴다. 그 연구의 물리를 이해했는지, 핵심 참고 문헌을 찾아 제대로 썼는지, 실험의 현실적 제약을 고려했는지처럼 그 과제를 해 본 사람이라야 적을 수 있는 것들이다. 항목마다 1에서 10 사이의 가중치를 매기는 일도 출제자 몫이다.

두 층을 가로질러 항목은 다시 두 종류로 갈린다. 하나라도 어기면 통과가 막히는 필수 항목(blocker)과, 통과 여부에는 관여하지 않고 품질 점수만 매기는 나머지 항목이다. 필수 항목은 그 연구가 과학적으로 성립하는 데 반드시 있어야 하는 조건이라 0 아니면 1로만 판정한다. 나머지 항목은 질적인 측면을 0·1·2 세 단계로 매긴다. 필수 항목에도 가중치는 붙지만 그 값은 메타데이터로만 남고 품질 점수 계산에는 들어가지 않는다.

통과의 정의는 여기서 나온다. 결정론적 검증이 맞고, 동시에 필수 항목이 하나도 빠지지 않아야 한 건의 통과다. 둘 중 하나라도 걸리면 최종 점수는 0이 된다. 나머지 항목에서 낮은 점수를 받는 것은 통과를 막지 않는다. 품질 점수는 두 관문을 이미 넘은 결과물의 수준을 가르는 데 쓰인다.

그 기준표를 들고 실제로 점수를 매기는 쪽은 사람이 아니다. 모든 시행을 심사자 에이전트 한 구성이 채점했다. Codex CLI 위에서 돌린 GPT-5.6 Sol이다. 단일 호출이 아니라 에이전트를 쓴 이유도 논문에 있다. 보상 해킹이나 환각, 문헌 검색 같은 항목은 제출된 원고만 봐서는 판정할 수 없고 작업 기록과 코드와 출력 파일까지 따라가야 하기 때문이다. 채점자를 Claude Opus 5.5로 바꿔 1차 시행을 다시 매겨 보기도 했는데, 합격과 불합격의 판정은 거의 그대로였지만 자기 모델 계열의 결과물에는 더 너그러웠다.

이런 기준표에는 반박이 하나 따라붙는다. 기준이 너무 빡빡해서 사람이 와도 못 넘는 것 아니냐는 물음이다. 저자들은 그 물음을 먼저 막아 뒀다. 자기들이 발표한 연구 자료를 자기 기준표로 채점해 보니 평균 96.2%가 나왔다. 사람의 완성된 연구는 이 기준을 거의 다 넘는다는 뜻이고, 에이전트의 낮은 점수를 기준표 탓으로 돌리기 어려워진다. 다만 이 자가 검증의 범위는 적어 둘 만하다. 참고 자료를 함께 낸 33개 과제가 대상이고, 그 원고를 두고 판정할 수 있는 항목만 골라 같은 심사자 에이전트에게 매기게 했다. 그렇게 나온 36건의 채점 가운데 3건은 저자 자신의 자료인데도 필수 항목을 넘지 못했다.

시행 규모는 이렇다. 모델 22개를 각각 과제 56개에 세 번씩 붙였다. 한 모델이 168번을 도는 셈이고, 매번 그 모델이 낼 수 있는 가장 높은 추론 수준을 썼다. 에이전트를 실제로 움직이는 실행 틀은 모델 계열에 맞춰 넷을 썼다. GPT 계열은 Codex CLI, Claude 계열은 Claude Code CLI, Grok 계열은 Grok build, Gemini 계열은 Antigravity CLI다. 모델과 실행 틀을 조합한 구성이 26개이고, 전체 시행은 4,364번이다.

성적표의 맨 윗자리는 Claude Opus 5.5다. 통과율 27.4%, 168번 가운데 46번이다. 그리고 논문이 초록에 적은 문장은 이 46이 천장이라는 것이다. 어떤 구성도 자기 168번 가운데 46번을 넘겨 통과하지 못했다. 열 번에 세 번도 채 못 넘는 자리에 현재의 최전선이 모여 있다.

같은 표에 과제 단위로 읽은 열이 하나 더 있다. Opus 5.5는 56개 과제 가운데 25개를 세 번 중 적어도 한 번 통과했고(44.6%), 세 번 모두 통과한 과제는 8개였다. 바닥 쪽도 적혀 있다. 두 구성은 168번을 돌아 한 번도 두 관문을 넘지 못했다.

점수만 보면 왜 못 넘었는지는 알 수 없다. 그래서 연구진은 기록을 직접 읽었다. 대상은 GPT-6 Astra(xhigh)의 시행 168건이고, 과제를 낸 사람과 운영진이 에이전트가 남긴 작업 기록을 따라가며 어디서 어긋났는지 분류했다. 한 건에 여러 꼬리표가 붙을 수 있어서 아래 비율은 서로 겹친다. 분모도 168이 아니라 그 가운데 실패로 기록된 143건이다.

가장 큰 항목은 추론의 엄밀함이었다. 48%가 여기 걸렸다. 스스로 검증한다면서 제자리를 도는 경우, 경계 조건이나 극단값을 빠뜨리는 경우가 여기 들어간다. 다음이 물리적 직관으로 34%다. 무엇이 문제의 원인인지 짚어야 하는 자리에서 전문가라면 먼저 의심할 쪽을 보지 못한다. 문헌을 엮어 내지 못한 경우가 27%, 지시를 그대로 따르지 않은 경우가 26%다.

네 항목에 없는 것이 더 눈에 띈다. 물리 개념을 잘못 알아서, 공식을 틀려서, 코드가 돌지 않아서 막혔다는 항목이 상위에 없다. 초록 마지막 문장이 이것을 그대로 적는다. 최전선 에이전트의 주된 약점은 엄밀하지 못한 추론과 모자란 전문가 직관이라는 것이다.

이 읽기는 에이전트의 약점 말고 한 가지를 더 찾아냈다. 168건 가운데 9건은 에이전트가 과제를 제대로 해내고도 실패로 기록돼 있었다. 과제 설명이 모호했거나, 검증기나 심사자 에이전트 쪽이 어긋난 경우다. 아홉 건을 바로잡으면 같은 구성의 통과율이 14.9%에서 20.2%로 올라간다. 논문은 여기서 선행 연구를 끌어온다. 전문가가 주요 벤치마크를 다시 채점해 보면 실패의 상당 부분이 채점기 오류와 잘못된 참조 답안, 모호한 문제에서 온다는 보고다. 거짓 실패를 찾아내는 데에도 그 분야 전문성과 시간이 든다.

다만 이 분석의 범위는 좁혀 읽어야 한다. 기록을 읽은 대상은 22개 모델 전체가 아니라 한 모델의 시행 168건이다. 통과율 1위는 Claude Opus 5.5인데 실패 분석은 GPT-6 Astra를 봤으므로, 이 네 비율을 "모든 모델이 이런 비율로 막힌다"로 넓혀 읽을 근거는 논문에 없다. 방금의 보정도 마찬가지다. 거짓 실패를 정확히 가려내 통과율을 고칠 수 있는 것은 GPT-6 Astra뿐이라고 저자들이 직접 선을 그었다.

이 논문에서 오래 남는 것은 27.4%가 아니다. 그 숫자는 몇 달이면 바뀐다. 남는 것은 그 숫자가 어떤 재료 위에서 나왔는가다. 시험지를 낸 사람이 그 연구의 당사자이고, 채점 기준을 쓴 사람도 같은 사람이며, 그 기준이 너무 가혹하지 않다는 것까지 자기 논문으로 먼저 확인해 뒀다. 평가 데이터를 만드는 공정이 결과보다 오래 간다.

뒤집어 보면 질문이 생긴다. 우리 조직이 AI의 성능을 측정할 때 쓰는 시험지는 누가 만들었는가. 많은 경우 그 일을 실제로 하는 사람이 아니라, 평가를 맡은 팀이 그 일을 바깥에서 관찰해 문항을 짠다. 그러면 시험지는 관찰할 수 있는 것만 담는다. 숙련자가 결과를 보자마자 "이건 이상하다"고 느끼는 대목은 관찰되지 않으므로 문항이 되지 못하고, 그 자리가 비어 있다는 사실도 점수표에는 나타나지 않는다.

이 블로그에서 비슷한 자리를 다룬 글이 몇 편 있다. 물리 벤치마크의 결함 바닥은 정답표 자체가 틀렸을 때 점수가 무엇을 측정하는지를 봤다. 원저자가 AI의 논문에 6점 중 2점을 준 사례는 같은 일이 한 사람 손에서 한 번 일어난 기록이고, 이번 벤치마크는 그것을 규모와 절차를 갖춰 되풀이한다. 정답이 없는 문제를 AI가 채점하는 벤치마크와 나란히 놓으면 대비가 선명하다. 양쪽 다 채점을 집행하는 자리에는 모델이 앉아 있다. 갈리는 것은 그 모델이 무엇을 보고 판정하느냐이고, 이쪽에서는 무엇을 볼지를 그 연구를 직접 한 사람이 적어 뒀다.

사내 평가 체계를 가진 조직이라면 지금 당장 확인할 수 있는 것이 셋이다.

• 우리 평가 문항은 그 업무를 실제로 하는 사람이 냈는가, 아니면 그 업무를 설명한 문서에서 나왔는가.
• 통과를 가르는 항목과 점수만 깎는 항목이 구분돼 있는가. 둘이 섞여 있으면 사소한 감점과 치명적 결함이 같은 평균에 녹는다.
• 우리 기준표로 숙련자의 결과물을 채점하면 몇 점이 나오는가. 사람도 못 넘는 기준이면 모델의 낮은 점수는 모델 이야기가 아니다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2611.06910에서 볼 수 있다. 사내 평가 문항을 현업 담당자가 직접 내도록 바꿔 본 팀이 있다면, 점수와 합의 비용이 어떻게 달라졌는지 들려주시면 좋겠다.