Executive Summary

올해 수능을 AI 모델 35종에게 그대로 풀려 매긴 채점표가 나왔다는 소식이다. 2027학년도 대학수학능력시험 문제로 국내외 모델의 성적을 매긴 CSAT-벤치마크 결과가 11월 20일 공개됐고, 이 시험지를 만든 사람은 순천향대 컴퓨터소프트웨어공학과에 다니는 구유겸이다. 평가원도 아니고 정부 기관도 아니다.

여기서 전 과목 원점수 합계 1,276점 만점을 받은 모델은 오픈AI의 GPT-6.2 아스트라와 구글의 제미나이 4 네온 두 종이다. 그런데 같은 시험을 채점한 개인 벤치마크가 깃허브에 하나 더 올라와 있고, 거기서 전 과목 만점을 받은 모델은 클로드 페이블 5.2 한 종뿐이다. 총점부터 1,276점과 1,226점으로 다르고, 그 차이는 어느 과목을 시험 범위에 넣었느냐에서 나온다.

1절부터 4절까지는 공개된 채점표와 보도로 확인한 사실을 정리한다. 이 상황을 평가 데이터의 문제로 보는 5절은 이 글의 해석이다.

주요 수치

출처: AI타임스(2026-11-20) · 아주경제(2026-11-20) · 27suneung-bench

첫 칸은 두 번째 시험지가 매긴 유일한 전 과목 만점이고, 첫 번째 시험지에서는 다른 모델이 그 자리에 있다. 둘째와 셋째 칸은 국산 1위 모델이 어디까지 왔고 어디서 멈췄는지를 보여 준다. 넷째 칸은 이 시험을 한 번 치르는 데 드는 돈의 하한이다.

1,226 / 1,226

두 번째 시험지의 유일한 만점

클로드 페이블 5.2. 첫 번째 시험지에서는 전 과목 만점이 아니다

414.7점

국산 1위 K-엑사원 2.5

450점 만점 기준, 해외 공동 1위와 35점 이상 차이

60.4%

K-엑사원 2.5의 이미지 문항 정답률

상위 3종은 같은 문항에서 100%

1,171원

전 과목을 푸는 데 든 최저 비용

GPT-6.1 테라, 450점 만점 그룹에 든 모델

1

같은 수능을 채점한 성적표가 두 장이다

구유겸은 2024년부터 해마다 수능 문제로 주요 AI 모델의 성능을 평가하고 그 결과를 공개해 왔다. 올해가 세 번째다. 이번에는 모델 35종에게 2027학년도 수능의 국어와 수학 모든 선택과목, 영어, 한국사, 탐구 17개 과목을 전부 풀렸다. 전 과목 원점수 합계 1,276점 만점에서 GPT-6.2 아스트라와 제미나이 4 네온이 만점을 받았다.

시험지를 낸 사람은 구유겸만이 아니다. 깃허브 이용자 GonGe1018이 공개한 27suneung-bench도 2027학년도 수능을 채점했다. 이쪽은 전 과목 원점수 합계를 1,226점으로 잡고, 거기서 1,226점을 모두 맞힌 모델은 클로드 페이블 5.2 하나다. 첫 번째 시험지에서 만점을 받은 GPT-6.2 아스트라는 여기서 1,223점으로 2위이고, 클로드 오퍼스 5.5가 1,221점, GPT-6.2 솔이 1,220점으로 뒤를 잇는다.

같은 수능, 두 개인이 매긴 전 과목 성적 CSAT-벤치마크 · 구유겸 전 과목 합계 1,276점 만점 · 모델 35종 GPT-6.2 아스트라 만점 탐구 17개 과목 포함 전 과목 제미나이 4 네온 만점 탐구 17개 과목 포함 전 과목 클로드 페이블 5.2 450점 만점 그룹 27suneung-bench · GonGe1018 전 과목 합계 1,226점 만점 클로드 페이블 5.2 1,226점 정답률 100.00% GPT-6.2 아스트라 1,223점 정답률 99.79% 클로드 오퍼스 5.5 / GPT-6.2 솔 1,221 / 1,220점 총점이 50점 다른 이유 1,276점: 국어·수학 전 선택과목 + 영어 + 한국사 + 탐구 17과목 1,226점: 국어 + 수학 + 영어 + 과학탐구 I·II + 사회탐구 (한국사 없음)
▲ 페블러스 원본 도식. 두 벤치마크가 공개한 전 과목 기준 상위 성적을 나란히 놓은 것이며, 점수를 직접 비교할 수 있는 값은 아니다. | 출처: AI타임스(2026-11-20) · 27suneung-bench

두 총점이 50점 어긋나는 이유는 시험 범위에 있다. 1,276점에는 한국사와 탐구 17개 과목이 모두 들어가고, 1,226점 쪽은 국어, 수학, 영어, 과학탐구 I과 II, 사회탐구로 묶여 한국사가 빠져 있다. 채점 규칙도 같지 않다. 27suneung-bench는 "정답률은 응답한 문항 기준이고 원점수에는 문항별 배점을 적용합니다"라고 적어, 모델이 답을 내지 않은 문항을 정답률 계산에서 제외한다. 실제로 이 벤치마크의 성적표에는 미응답이 20문항에서 180문항까지 찍힌 모델이 섞여 있다.

어느 쪽도 틀린 채점이 아니다. 범위를 어디까지로 잡을지, 답을 안 낸 문항을 어떻게 셀지를 정한 사람이 서로 달랐을 뿐이다. 문제는 그다음이다. "AI가 수능에서 만점을 받았다"는 문장이 기사 제목과 소셜 미디어로 옮겨 가는 동안 범위와 채점 규칙은 떨어져 나가고, 어느 모델이 1등인지만 남는다. 그리고 그 1등은 시험지에 따라 바뀐다.

올해 수능으로 AI 성적을 매긴 기록 두 개가 모두 개인의 작업물이다. 한쪽은 대학에 다니는 학생이 세 해째 혼자 돌리고 있고, 다른 한쪽은 깃허브 저장소 하나다. 두 사람 다 방법을 공개했고 결과도 공개했다. 공개하지 않은 쪽은 없다. 다만 둘 사이를 조정하거나, 어느 쪽 기준이 표준인지 정해 주는 자리는 비어 있다.

2

수능을 35종에게 어떻게 풀리고 어떻게 채점했나

CSAT-벤치마크의 실행 조건은 이렇게 공개됐다. "모델은 공식 API로 실행했으며, 공식 API가 없는 오픈웨이트 모델은 오픈라우터를 통해, 온디바이스 모델은 직접 구동해 평가했다. 문제는 텍스트로, 그래프·도표는 이미지로 제공했으며, 시스템 프롬프트와 검색·계산기 등 외부 도구는 쓰지 않았다."

마지막 조건이 성적의 성격을 정한다. 검색도 계산기도 없이, 프롬프트 손질도 없이 문제만 던진 상태에서 나온 점수다. 사람이 챗봇 창에 같은 문제를 붙여 넣었을 때 받는 답과 같다고 보기 어렵다는 뜻이기도 하다.

점수를 보여 주는 눈금은 두 가지다. 하나는 출제된 모든 과목의 원점수를 더한 1,276점이고, 다른 하나는 실제 수험생처럼 선택과목 1개와 탐구 2과목을 고르는 450점 기준이다. 보도가 주로 인용한 쪽은 450점이고, 여기서는 만점 가능 모델이 9종으로 늘어난다. 공동 1위 두 종에 GPT-6.2 솔, GPT-6.1 테라, 제미나이 4 아르곤, 제미나이 4 카본, 제미나이 4 하이드로젠, 클로드 페이블 5.2, 클로드 오퍼스 5.5가 더해진다. 과목 조합을 바꾸면 만점자가 두 명에서 아홉 명이 되는 셈이다.

점수 말고도 기록된 것이 있다. 가장 빨리 푼 모델은 GPT-6.2 솔로 전 과목에 약 48분이 걸렸고, 비용이 가장 적게 든 모델은 GPT-6.1 테라로 1,171원이었다. 무료로 쓸 수 있거나 가중치가 공개된 모델 가운데 최고점은 클로드 소네트 5.5의 442.0점이고, 키미 K3.1 프로와 큐원4 맥스, 딥시크 V4.1 플래시, 클로드 하이쿠 5.5도 420점을 넘겼다. 반대쪽 끝에는 젬마 4 E2B가 206.9점, 젬마 4 E4B가 251.8점으로 만점의 절반 언저리에 머물렀다. 모델 크기가 점수로 그대로 드러나는 구간이다.

같은 사람이 같은 방법으로 세 해를 재 온 덕에 연도별 변화도 기록으로 남았다. 구유겸은 "AI 모델의 성적은 재작년 수능 때는 평균 2~3등급, 작년에는 1등급으로 만점이 어려웠지만 올해는 모든 선택과목에서도 만점이 나왔다"고 말했다. 재작년은 그가 이 평가를 처음 돌린 해다. 등급으로 이야기하던 성적이 두 해 만에 만점으로 올라선 것인데, 그 변화를 잰 잣대는 세 해 내내 개인 한 사람이 쥐고 있었다.

이 결과를 전한 매체도 조건을 달아 두었다. ZDNet코리아는 "이번 결과는 개인 개발자가 진행한 비공식 평가다. 모델마다 이미지 입력 지원 여부와 추론 설정 등이 다르고 일반 이용자가 웹서비스에서 사용하는 환경과도 차이가 있다"고 적었다.

3

국산 모델은 탐구와 그림에서 밀린다

450점 기준으로 국산 모델의 순서는 LG AI연구원 K-엑사원 2.5가 414.7점, 업스테이지 솔라 미니 4.5 프리뷰가 397.8점, 같은 회사의 솔라 프로 4가 392.8점, 크래프톤 라온-1 미니 프리뷰가 357.2점, KT 믿:음 K 3.0 프로가 352.8점이다. 1위인 K-엑사원 2.5와 해외 공동 1위 사이가 35점 넘게 벌어져 있다.

그 35점이 어디서 생겼는지는 과목별 점수가 말해 준다. K-엑사원 2.5는 수학과 한국사에서 만점을 받았고, 탐구영역에서 70.7점에 그쳤다. 주요 과목인 수학은 지켰고, 과목 수가 많고 지문이 다양한 탐구에서 점수를 잃었다.

또 하나의 갈림은 문제의 생김새에 있다. 아주경제가 전한 집계를 보면 이미지가 들어간 문제의 정답률은 GPT-6.2 아스트라와 제미나이 4 네온, GPT-6.2 솔이 모두 100%였다. 같은 문항에서 K-엑사원 2.5는 60.4%, 솔라 미니 4.5 프리뷰는 52.5%였다. 그래프와 도표를 이미지로 제공한다는 실행 조건이 바로 이 자리에서 작동한다.

이미지가 들어간 문항의 정답률 2027학년도 수능, 모델별 (%) GPT-6.2 아스트라 100% 제미나이 4 네온 100% GPT-6.2 솔 100% K-엑사원 2.5 60.4% 솔라 미니 4.5 프리뷰 52.5%
▲ 페블러스 원본 도식. 집계 대상 문항 수는 공개되지 않았다. | 출처: 아주경제(2026-11-20)

격차의 원인을 두고 최병호 고려대 AI연구소 연구교수는 "글로벌 빅테크와 국내 기업 모델의 파라미터 규모와 추론 단계에서 활용할 수 있는 컴퓨팅 인프라 수준에서 차이가 크다"고 말했다. 다만 이 설명과 시험 조건을 겹쳐 읽을 필요가 있다. 이미지 입력을 지원하는 정도가 모델마다 다른데 그래프와 도표는 이미지로 들어갔으니, 점수 차이 가운데 일부는 모델의 추론 실력이 아니라 입력 형식을 처리하는 능력에서 왔을 수 있다. 어느 쪽 몫이 얼마인지를 가른 자료는 공개되지 않았다.

4

기출이 학습 데이터에 있었는지, 두 시험지는 묻지 않았다

수능 문제로 AI를 채점할 때 가장 먼저 따져야 할 것은 이 시험이 모델에게 처음 보는 시험이냐는 물음이다. 올해 출제된 문항 자체는 11월에 처음 공개됐으니 모델이 미리 외울 수 없다. 그런데 수능은 수십 년치 기출과 해설이 인터넷에 널려 있는 시험이다. 문제 유형, 출제 패턴, 자주 나오는 지문과 개념이 사전학습 데이터에 이미 들어가 있을 가능성은 올해 문항이 새것이라는 사실과 별개로 남는다.

이 글이 확인한 범위에서, 공개된 어느 자료도 그 가능성을 검증한 절차를 적어 두지 않았다. AI타임스 기사에도, 27suneung-bench 저장소 설명에도 오염 검사에 관한 서술이 없다. 실행 환경과 도구 사용 여부는 꼼꼼히 적혀 있는데, 시험지가 모델에게 얼마나 새것인지를 다룬 칸만 비어 있다.

한 해 앞선 수능을 다룬 학계 쪽 작업과 견주면 차이가 분명해진다. 지난해 arXiv에 올라온 2026학년도 수능 수학 평가 논문은 연구자 열 명이 "데이터 유출이 전혀 없는 환경"을 만드는 것 자체를 연구 설계의 목표로 삼았다. 시험이 공개되고 두 시간 안에 공통 22문항과 선택 24문항을 모두 디지털화해 모델에 넣었고, 논문 제목에 그 조건을 명시했다. 평가 결과보다 평가 환경을 먼저 설명한 것이다. 성적 자체는 GPT-5 계열이 100점으로 가장 높았는데, 그마저 프롬프트 언어와 입력 형식의 일부 조합에서 나온 값이고, 추론을 강화하기 전의 점수는 82.6점이었으며 강화에는 계산 비용이 크게 들었다.

조건을 잘게 나눠 돌린 덕에 이 논문에는 따로 읽히는 결과도 남았다. 모델 24종을 텍스트만 주는 조건, 이미지만 주는 조건, 텍스트에 그림을 붙이는 조건으로 갈라 보고 프롬프트 언어도 한국어와 영어로 나눠 봤는데, 텍스트 입력이 이미지 입력을 일관되게 앞섰다. 3절에서 본 이미지 문항 정답률 60.4%와 100%의 거리에도 모델의 추론 실력과 입력 형식을 읽어 내는 능력이 함께 들어 있을 수 있다는 뜻이다. 그 둘을 떼어 보려면 같은 문제를 입력 형식만 바꿔 다시 풀려 봐야 하는데, 이번 두 시험지는 그렇게 설계되지 않았다.

오염은 이 블로그가 이미 여러 번 다룬 문제다. 공개 벤치마크의 문항이 학습 데이터에 섞여 들어간 사례를 정리한 적이 있고, 과제 이름만으로 정답을 찾아낼 수 있는 시험도 봤다. 수능처럼 공개 자료가 많고 형식이 고정된 시험은 그 위험이 특히 높은 쪽에 속한다. 올해 만점이 실력인지 익숙함인지를 가르려면, 점수 옆에 오염을 어떻게 확인했는지가 함께 적혀야 한다.

이 공백을 개인의 잘못으로 돌리기는 어렵다. 사전학습 데이터에 무엇이 들어갔는지는 모델을 만든 회사만 알고, 대부분의 회사가 그 목록을 공개하지 않는다. 개인이 혼자 확인할 수 있는 종류의 정보가 아니다. 확인을 요구할 위치에 있는 쪽이 아직 이 시험지를 들여다보지 않았다는 것이 더 정확한 설명이다.

5

페블러스가 이 사례를 주목하는 이유

벤치마크를 평가 도구로만 보면 이 사건은 "개인이 만든 비공식 지표" 정도로 정리된다. 데이터를 다루는 쪽에서 보면 다르게 읽힌다. 벤치마크는 문항과 정답과 채점 규칙으로 이루어진 데이터셋이고, 모델의 등수를 바꾸는 힘을 가진 데이터다. 그렇다면 다른 중요한 데이터에 거는 질문을 여기에도 걸어야 한다. 누가 만들었고, 범위를 어떻게 정했고, 라벨은 어디서 왔고, 어떻게 검증했는가.

이번 두 시험지는 그중 앞의 두 가지에서 이미 갈린다. 만든 사람이 다르고 범위가 다르니 1등이 다르다. 공인 기관이 기준을 정해 주는 영역이 아니라서, 어느 쪽이 맞는지를 판정할 자리도 없다. 국내 AI 평가의 공신력 문제는 정부 사업 안에서도 반복됐다. 이 블로그가 다룬 독파모 2차 평가의 순위 변동이 그 사례이고, 평가 방식을 바꾸자 순위가 흔들렸다. 공개된 팀별 부문 점수를 되짚어 보면 종합점수 1위와 3위 사이가 1.6점이고, 100점짜리 채점표에서 전문 사용자 평가 15점만 덜어 내도 맨 앞에 서는 팀이 바뀐다. 평가 체계를 만드는 일이 모델을 만드는 일만큼 어렵다는 뜻이다.

AI의 성적을 받아 드는 쪽, 그러니까 모델을 고르고 도입하는 기업과 기관이 따져 볼 것은 세 가지다.

  • 이 점수가 나온 시험의 범위를 누가 정했는가. 범위가 바뀌면 순위도 바뀐다는 것을 이번 두 시험지가 보여 준다.
  • 모델이 답하지 않은 문항을 어떻게 셌는가. 미응답을 빼고 계산한 정답률과 오답으로 계산한 정답률은 같은 이름으로 유통되지만 다른 수치다.
  • 시험지가 모델에게 처음 보는 것인지 확인했는가. 확인한 절차가 적혀 있지 않다면, 그 점수는 실력과 익숙함이 섞인 값이다.

세 가지 모두 모델의 문제가 아니라 평가 데이터의 문제다. AI-Ready Data를 "모델이 바로 쓸 수 있는 상태"라고 할 때, 그 상태를 판정하는 시험지 역시 같은 수준의 관리를 받아야 한다. 학습에 쓰는 데이터의 출처와 품질은 따지면서 채점에 쓰는 데이터는 따지지 않는다면, 우리가 믿고 있는 것은 모델의 실력이 아니라 누군가의 시험지다. 남는 질문은 어느 모델이 1등이냐가 아니라, 그 등수를 매긴 자료를 우리가 검증해 본 적이 있느냐다.

Editor's Note

CSAT-벤치마크의 점수와 실행 조건은 AI타임스 기사에서 확인했고, 이미지 문항 정답률과 전문가 의견은 아주경제 기사, 비공식 평가라는 단서는 ZDNet코리아 기사에서 가져왔다. CSAT-벤치마크 대시보드는 자바스크립트로 화면을 그리는 구조라 본문을 직접 읽지 못했고, 따라서 대시보드에만 적혀 있을 수 있는 설명은 이 글에 반영되지 않았다. 27suneung-bench의 점수와 채점 규칙은 저장소 설명에서 직접 확인했으며, 이 저장소를 올린 사람이 누구인지는 공개된 이름이 없어 깃허브 계정명으로만 적었다. 두 벤치마크의 과목 묶음과 채점 규칙이 다르므로 점수를 직접 견주지 않았고, 1절의 도식도 두 성적을 나란히 놓았을 뿐이다. 사전학습 데이터 오염 여부는 어느 쪽에서도 확인되지 않았고, 이 글은 그 공백이 있다는 사실만 적었다. 4절의 논문 설계와 입력 형식별 결과는 arXiv 초록에서 직접 확인했고, 5절의 독파모 수치 두 개는 이 블로그가 앞서 공개 부문 점수로 계산해 발행한 값이다. 5절의 평가 데이터 해석은 두 벤치마크의 공개 자료에 없는 이 글의 판단이다.

R

참고문헌

벤치마크 원자료

학술

보도 매체