Executive Summary

주요 수치

출처: Li 외, OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences arXiv:2610.11118(2026-10-08) 본문과 표 3

벤치마크는 대개 답을 먼저 쥐고 시작한다. 올림피아드 문제든 이미 발표된 정리든, 채점은 모델이 내놓은 답을 보관해 둔 답과 맞춰 보는 일이다. OpenProblemBench는 그런 답이 아예 없는 쪽을 골랐다. 논문은 미해결 문제에서 최종 답을 구할 수 없다고 적고, 그래서 시스템이 어느 방향이 생산적인지 스스로 정하고 무엇이 논증을 닫을 증거인지 판단하며 그럴듯해 보이는 유도가 여전히 양화사나 매개변수 영역이나 예외 사례를 남겨 뒀는지 알아차려야 한다고 덧붙였다.

문제를 모으는 일은 두 단계로 나뉜다. Large Knowledge Model이 문헌에서 열려 있어 보이는 질문을 1차로 추렸고, 연구자들이 원 논문과 그 뒤에 나온 문헌을 다시 읽어 아직 풀리지 않았는지 확인했다. 그렇게 수학 46개와 이론물리 36개가 남았고, 조합론·기하·통계역학·양자정보 같은 하위 분야에 흩어져 있다. 가장 오래된 항목은 1742년 골드바흐 추측까지 거슬러 가고, 가장 최근 항목은 2025년에 처음 공개되어 2026년에 출판된 문제다.

모델이 받아 드는 것은 한 줄짜리 질문이 아니다. 각 문제 진술에는 그 질문을 파고드는 데 필요한 연구 맥락과 가정, 지금까지의 진전이 담기고, 해답이 충족해야 할 조건까지 함께 적힌다. 그 문제가 지금 어디까지 와 있는지를 정리해 둔 문서에 가깝다. 정답이 있어야 할 자리를 대신 채우는 것이 이 조건 목록이고, 채점도 결국 이 목록을 다시 펼치는 데서 시작한다.

선정 기준이 결과의 범위를 미리 좁힌다. 논문은 제안된 해답이 비교적 객관적으로 검토될 수 있는 질문을 선호한다고 밝혔다. 결정적인 증명 단계를 들여다보거나, 구성이 자기 가정과 들어맞는지 확인하거나, 결론을 좌우하는 계산을 다시 돌려 볼 수 있는 문제다. 여기 실린 82개는 미해결 문제 전체의 표본이 아니라 채점 가능성으로 한 번 걸러진 미해결 문제다. 저자들도 82개 문항이 하위 분야에 고르게 퍼져 있지 않다는 점을 한계 절에서 인정한다.

아직 열려 있다는 전제 자체도 완전히 보장되지는 않는다. 중국과학기술대학교와 중국과학원 이론물리연구소를 중심으로 한 저자들은 문헌 검색이 이미 나온 해답을 놓쳤을 수 있고 관련 진술이 학습 데이터에 들어 있었을 수도 있다고 한계 절에 적었다. 그래서 다음 판에는 문헌을 어느 시점까지 훑었는지 명시하고 사람 연구자의 기준선을 더하겠다고 밝혔다. 뒤집어 말하면 지금 이 벤치마크에는 같은 82개 문제를 사람이 풀었을 때 몇 개가 풀리는지를 적은 칸이 없다.

맞춰 볼 답이 없으면 채점 기준을 따로 지어야 한다. OpenProblemBench가 세운 채점자는 네 개의 모델이다. GPT-5.6-Sol, Kimi-K3, GLM-5.3, Qwen3.8-Max가 각 제출물을 서로 참조하지 않고 독립으로 읽는다.

채점자가 가장 먼저 하는 일은 그 문제가 무엇을 요구하는지 적어 내리는 것이다. 논문은 이것을 의무(obligation)라고 부른다. 의무 목록이 서면 제출물이 그것을 하나씩 채웠는지 대조한다. 점검 대상은 가정과 양화사와 결정적인 증명 단계와 뒷받침하는 계산이다. 채점자의 접근 권한이 허락하는 범위에서 계산을 직접 다시 돌려 보거나 출처를 확인하는 것도 허용된다. 마지막으로 판정을 적고, 제출물이 실제로 해낸 것보다 많이 해냈다고 주장한 대목이 있으면 그것도 함께 기록한다. 판정의 근거로는 어떤 요구 조건과 어떤 수학적·계산적 증거를 봤는지를 짚어 적어야 한다.

판정은 세 갈래로 떨어진다. 요구 조건을 전부 세웠으면 풀림, 주어진 전제를 넘어서는 결과를 하나라도 세웠지만 남은 요구가 있으면 부분 진전, 그런 결과가 없으면 미해결이다. 부분 진전은 다시 셋으로 갈린다. 표준적인 적용이나 쉬운 특수 사례는 사소, 의미 있는 계열이나 개선된 한계나 쓸모 있는 환원은 유의미, 핵심 장애물을 해소해 남은 작업을 크게 바꿔 놓으면 돌파다. 증거가 모자라 판단할 수 없을 때 적는 미완 칸도 있다.

네 점수를 하나로 합치는 방법도 설계의 일부다. 논문은 채점자마다 같은 가중치를 주고 범주별 백분율을 평균한다. 다수결로 하나를 고르지도 않고, 주심 한 명을 세우고 나머지를 참고 의견으로 두지도 않는다. 이 선택이 뒤에 나올 숫자를 읽는 방식을 결정한다.

규모는 곱셈으로 정해진다. 일곱 가지 모델 설정이 82개 문제를 풀어 제출물 574건이 나왔고, 각 제출물을 넷이 읽었으니 리뷰는 2,296건이다. 그중 2,288건에 완결된 판정이 적혔다. 부분 진전으로 분류된 2,095건은 사소 768건, 유의미 1,252건, 돌파 75건이다.

등급의 이름만 놓고 보면 풀림과 부분 진전의 경계가 어디쯤인지 잡히지 않는다. 논문은 여섯 모델이 공통으로 받은 열 개 문제를 나란히 펼쳐 제출물을 비교했고, 거기서 네 가지 차이가 반복된다고 적었다. 첫째는 문제를 다시 세우는가다. 요구된 결론을 곧장 겨냥하는 표현을 찾아낸 쪽과 중간 값의 범위를 좁히는 데 그친 쪽이 갈렸다. 둘째는 유한한 사례에서 일반 논증으로 넘어가는가다. 계산으로 몇몇 경우를 확정해도 허용되는 모든 경우를 덮으려면 논증을 새로 세워야 한다. 셋째는 제안한 증명에 남은 빈칸을 닫는가다. 서로 다른 구현의 결과가 맞아떨어지는 것과 요구된 수학적 대응을 세우는 것은 다르다. 넷째는 경량 모델도 명시적인 구성을 세워 전진하지만 보조 가정을 끌어내거나 예외 사례를 덮거나 증명을 끝까지 닫는 데서 걸린다는 것이다.

네 가지는 모두 결론의 내용이 아니라 논증이 닫혔는지를 가른다. 맞았는지를 물을 수 없으니 남은 빈칸이 있는지를 묻는 것이다. 다음 절의 숫자는 그 물음에 넷이 각각 답한 결과다.

초록이 내건 숫자는 셋이다. GPT-6-Astra가 평균 14.0%로 가장 높고, 함께 평가된 풀사이즈 오픈 모델은 5.5~6.7%, 경량 Flash 모델은 2.4~3.7%다. 이 세 줄만 보면 성능이 단계별로 깔끔하게 나뉜 표처럼 읽힌다.

평균을 만들기 전의 표가 논문 안에 그대로 실려 있다. 제출 모델 일곱이 행이고 채점 모델 넷이 열인 28칸이며, 각 칸은 그 채점자가 그 모델의 82개 제출물 가운데 몇 개를 풀렸다고 봤는지를 적는다.

네 채점자 모두 GPT-6-Astra를 1위에 놓았다. 거기까지는 넷이 흔들리지 않는다. 그런데 그 1위에 매긴 값은 9건에서 15건 사이로 벌어진다. 가장 후하게 본 채점자가 가장 박하게 본 채점자의 1.6배 넘게 세어 준 셈이다. 논문도 선두 아래의 순위는 덜 안정적이라고 본다.

2위는 실제로 바뀐다. GPT-5.6-Sol이 채점할 때 2위는 7건의 GPT-5.6-Sol이고, Kimi-K3가 채점할 때는 Kimi-K3와 Qwen3.8-Max가 7건으로 공동 2위이며 GPT-5.6-Sol은 6건으로 한 계단 내려간다. GLM-5.3과 Qwen3.8-Max가 채점할 때는 Qwen3.8-Max가 2위다. 모델도 제출물도 그대로인데 누가 읽었느냐만 바뀌었다.

표를 세로로 읽으면 채점자마다 후하고 박한 정도가 다른 것도 보인다. 채점자별로 풀림 판정을 모두 더하면 GPT-5.6-Sol이 30건으로 가장 적고 Kimi-K3가 45건으로 가장 많다. 그런데 가장 인색한 GPT-5.6-Sol이 Astra에게는 네 채점자 가운데 최고인 15건을 줬다. 인색함이 모든 제출물에 고르게 걸리지 않는다는 뜻이다. 같은 채점자가 GLM-5.3에게 준 풀림 판정은 1건인데, Kimi-K3는 그 제출물을 6건으로 봤다.

네 채점자는 동시에 제출자이기도 하다. 그래서 자기 제출물을 자기가 읽은 칸이 표 안에 넷 있다. GPT-5.6-Sol은 자기 제출물에 7건을 줬고 이는 그 행에서 가장 높은 값이다. Kimi-K3도 자기 제출물에 7건으로 그 행 최고이며, 같은 제출물을 GPT-5.6-Sol은 3건으로 봤다. GLM-5.3은 자기 제출물에 6건을 줘 Kimi-K3와 공동 최고다. 다만 Qwen3.8-Max는 그렇지 않다. 자기 제출물에 6건을 줬는데 Kimi-K3와 GLM-5.3이 각각 7건으로 더 높게 봤다. 넷 중 셋이 자기 쪽으로 기운 모양이지만 표본이 넷뿐이고, 논문은 이 비교를 따로 분석하지 않았다.

합의한 자리는 생각보다 좁다. 82개 문제 가운데 네 채점자가 모두 풀렸다고 본 문제는 10개이고, 그중 8개가 Astra 제출물이다. 부분 진전을 어느 등급으로 볼지도 채점자마다 다르다. Kimi-K3 제출물을 두고 풀림 판정이 나지 않은 완결 리뷰 가운데 유의미와 돌파를 합한 비율이 채점자에 따라 56.0%에서 89.9%까지 간다. 사소한 진전과 실질적인 진전을 가르는 선이 채점자마다 다르다는 뜻이라고 저자들은 적었다.

데이터 품질을 재는 지표는 대부분 비교 대상이 있다는 가정 위에 서 있다. 라벨 일치율도 분류 정확도도 중복률도 기준이 되는 값이 있어야 계산된다. 그런데 실제로 품질을 물어야 하는 산출물 가운데 상당수는 그 기준값이 없다. 요약문이 원문을 제대로 줄였는지, 고객 리포트의 해석이 타당한지, 상담 응답이 쓸 만한지에는 대조할 정답이 없다. 그 자리에는 이미 모델 채점자가 들어와 앉아 있다.

OpenProblemBench는 그 구조가 성립하려면 무엇이 필요한지를 하나의 사례로 보여 준다. 세 가지가 눈에 띈다.

• • 판정 기준을 항목으로 쪼개 적는다 — 잘 썼는지를 묻는 대신 이 산출물이 무엇을 해냈어야 하는지를 먼저 목록으로 펼친다. 채점자가 바뀌어도 대조할 대상은 남는다
• • 채점자를 하나만 두지 않는다 — 단일 채점자의 점수는 그 모델의 성향과 실제 품질이 섞인 값이고, 섞인 채로는 둘을 갈라낼 방법이 없다
• • 일치율을 신뢰도로 바꿔 읽지 않는다 — 논문이 경고로 남긴 대목이다. 넷이 똑같이 틀릴 수 있어서, 높은 일치율은 품질이 아니라 공통 맹점의 크기를 재게 된다

셋 중에서 실무가 가장 자주 놓치는 쪽은 마지막이다. OpenProblemBench도 네 채점자의 백분율을 평균해 한 줄로 만들었고, 그 한 줄만 보면 2위 다툼이 채점자마다 달랐다는 사실은 사라진다. 다만 논문은 채점자별 표를 함께 실어 평균이 덮은 것을 되찾을 수 있게 해 뒀다. 사내 평가 화면이 모델 채점자의 점수를 평균 하나로만 보여 준다면 그 되찾을 길이 없는 셈이다. 불일치를 노이즈로 보고 지우는 설계와, 불일치를 기록으로 남기는 설계는 같은 숫자를 전혀 다른 근거로 만든다.

논문도 이 자리에서 멈추지 않고 다음 판의 계획을 내놓았다. 블라인드 상태의 분야 전문가에게 층화 표본을 다시 읽히자는 제안인데, 눈여겨볼 대목은 그 표본에 무엇을 넣으라고 했는가다. 네 채점자가 만장일치로 풀렸다고 본 건, 서로 갈린 건, 부분 진전의 각 등급, 과잉 주장이 지적된 건, 전부 부정으로 끝난 건이 함께 들어간다. 사람 검수 표본을 짤 때 보통은 점수가 낮거나 의견이 엇갈린 쪽을 뽑는다. 만장일치로 통과한 건을 같은 표본에 함께 넣는 설계는 넷이 한꺼번에 틀렸을 가능성을 확인할 길을 남겨 두자는 뜻이다.

작성한 쪽과 검증하는 쪽을 갈라 두라는 원칙은 작성자와 검증자를 분리하라는 요구에서 다룬 적이 있고, AI가 쓴 설명을 다시 AI가 채점하는 구조는 단백질 기능 설명을 써 넣는 모델에서 생물학 쪽 사례로 먼저 나왔다. 평가 자체를 제품으로 파는 쪽의 사정은 실무 과제로 AI를 채점하는 회사에 써 두었다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2610.11118에서 볼 수 있고, 이 글의 수치는 논문 본문과 표 3에서 직접 확인했다. 정답표 없는 산출물을 모델 채점자에게 맡기고 있는 팀이 있다면 채점자를 몇 두었고 불일치를 어떻게 남기는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 17일