Executive Summary
AI 능력 평가 기관 METR이 이번 분기 보고서에서 모델과 함께 자기 시험에도 값을 매겼다. 과제 하나를 컨테이너 환경으로 만들어 100번 돌려 채점하는 데 드는 돈이고, 생애비용이라는 이름을 붙였다. 공개 전선 모델의 50% 시간 지평이 3.61개월마다 두 배가 된다는 수치는 직전 추세와 거의 같다. 그러니 속도 쪽은 그대로다.
달라진 것은 눈금이다. 같은 길이의 과제라도 만드는 값이 두 배면 모델이 그 과제를 절반의 확률로 풀어내는 시점이 약 4.6개월 뒤로 밀린다고 METR은 적었다. 달러가 달로 환산된 셈이고, 비싼 시험은 어려운 시험이 아니라 늦게 풀리는 시험이라는 뜻이 된다.
그리고 지금 가장 빠른 숫자는 가장 싸게 만든 시험에서 나온다. 합산 과제군의 두 배 주기가 3.61개월인데 자동으로 검증되는 부분집합만 보면 1.65개월이다. METR은 컨테이너로 돌리기 쉬운 평가일수록 모델을 훈련시킬 때 쓰는 환경을 닮아 실제 능력을 과대평가할 수 있다고 걱정했고, 그 막힌 자리를 모델로 뚫어 보려 한 실험도 같은 보고서에 실었다. 여기까지가 보고서가 적은 것이다. 1절부터 6절까지는 그 기록과 바깥 출처를 따라가고, 수치를 사내 평가셋 쪽으로 옮겨 놓은 판단은 7절에 모아 두었다.
4.6개월
생애비용이 두 배일 때 통과가 밀리는 기간
과제 길이를 통제하고도 남는 몫이다. 비싸게 만든 쪽은 모델이 절반의 확률로 풀어내는 시점이 그만큼 뒤로 간다
3.61 대 1.65개월
합산 과제군과 검증 가능 부분집합의 두 배 주기
충돌하는 두 수치가 아니라 서로 다른 묶음의 값이다. 빠른 쪽이 자동으로 채점되는 묶음이다
40시간 (13~2645)
합산 과제군 최고값과 그 95% 신뢰구간
상한이 하한의 200배다. 이 넓이를 METR이 자기 표에 그대로 적어 두었다
9만 달러 / 7회
사람 기준선에 쓴 돈과 받아 낸 횟수
TH2 쪽 서술이다. 시간당 200~350달러를 주고 일곱 번을 시도해 세 과제에서 받았다
속도는 지난번과 같고 달라진 것은 과제군이다
이번 평가에서 두 배 주기는 직전 발표와 거의 그대로이고, 바뀐 것은 그 주기를 얻어 낸 과제군이다. 합산 과제군의 50% 시간 지평은 3.61개월마다 갑절이 된다. 날수로 고치면 약 110일이고, METR이 직전에 적어 둔 TH1.1 추세는 105일이었다. 보고서 본문의 문장은 "This is similar to the previous TH1.1 doubling trend of 105 days." 개요 꼭지에도 모델 능력에서 "we do not see strong acceleration or deceleration"이라고 적혀 있다. 그러니 이 보고서를 "AI가 더 빨라졌다"는 소식으로 읽으면 보고서 자신의 문장과 어긋난다.
이 문서는 2026년 11월 20일 METR이 낸 2026년 4분기 능력 평가이고, 저자는 11명이다. 제목이 이미 결론을 반쯤 적고 있다. "AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure." 빠르게 좋아지고 있고, 재기는 더 어려워지고 있다는 것이다. 뒤쪽 절반이 이 글이 따라가는 줄이다. METR은 미국의 비영리 AI 평가 기관이고, 본지는 지난달 이 기관의 개발자 실험 246건을 다시 세어 읽은 적이 있다. 그때는 바깥에서 다시 센 것이었고, 이번에는 METR이 자기 수치의 조건을 스스로 적어 내렸다.
1.1시간 지평은 사람의 시계로 적은 값이다
이 보고서의 중심 지표는 시간 지평(time horizon)이다. 정답률 대신 시간으로 적는다는 점이 눈에 익지 않을 수 있다. 모델이 절반의 확률로 끝내는 일을 골라, 그 일을 사람이 하면 얼마나 걸리는지로 환산한 값이다. 50% 성공을 기준으로 삼으면 50% 시간 지평이라 부른다. 그래서 "모델의 시간 지평이 27시간"이라는 문장은 모델이 27시간 동안 일한다는 뜻이 아니라, 숙련된 사람이 27시간쯤 걸릴 일을 모델이 절반쯤 성공시킨다는 뜻이다. 사람 쪽 소요 시간을 어떻게 정하느냐가 이 지표의 바닥인데, 그 바닥이 어떤 상태인지는 5절에서 따로 적는다.
1.2과제군이 셋으로 늘었다
모델 15개를 세 과제군으로 돌렸다. GPT-4o부터 GPT-6 Astra와 Opus 5.5까지, 세대가 다른 모델을 한 축에 세워야 추세선이 그려지기 때문이다. 과제군의 구성은 아래와 같다.
| 과제군 | 과제 수 | 무엇을 다루나 |
|---|---|---|
| TH1.1 | 222 | 검증 가능한 소프트웨어 공학·코딩·최적화. SWAA·HCAST·RE-Bench에서 왔다 |
| TH2 (검증 가능) | 24 | 8개 과제군. 최적화(AZsPCs·NanoGPT)·게임·퍼즐·머신러닝 학습 |
| TH2 (검증하기 어려운) | 12 | 4개 과제군. 연구 문제·개념 추론, 그리고 평가 과제 만들기 |
| MirrorCode | 75 | CLI 소프트웨어 재구현. 전체 시험 묶음으로 채점한다 |
TH2 36개는 12개 과제군으로 묶여 있고, 그 가운데 자동으로 검증되는 쪽이 8군 24개다. 이 가름이 2절과 4절의 이야기를 끌고 간다. MirrorCode에서는 Opus 5.5가 사람 전문가 기준으로 몇 주에서 몇 달 걸릴 중·대형 프로그램의 77%를 해낸다고 적혀 있다.
바깥 숫자 하나가 METR의 주기를 거든다. 보고서는 오픈AI가 최근 공개한 데이터를 두고 "seems to imply a doubling time of 3.8 months when using their models on their own internal research tasks, which is similar to the 3.6 month doubling time we find over TH1.1 and TH2"라고 적었다. 과제군도 다르고 조직도 다르고 방법도 다른데 비슷한 자리에 선다. 속도를 놓고 다툴 거리는 이쯤에서 줄어든다.
빠른 쪽 숫자는 자동으로 검증되는 과제에서 나온다
이 보고서 안에는 두 배 주기가 둘 있다. 어느 쪽도 오기가 아니고, 둘을 가르는 것은 과제 묶음이다. 합산 쪽 문장은 "Across our TH1.1 and TH2 tasks, we find that time horizons are doubling roughly every 3.61 months (95% CI 2.08-4.94)"이고, 부분집합 쪽 문장은 "for TH2 (verifiable) we see a doubling time of 1.65 months (95% CI 0.79 to 3.99)"다. 갑절 넘게 차이 나는 두 기울기가 한 보고서 안에 나란히 있다.
아래 그림은 두 주기를 같은 축에 올려 그린 것이다. 세로축은 시간 지평이고, 한 칸 올라갈 때마다 값이 갑절이 된다. 같은 1년을 놓고 보면 느린 쪽은 세 칸 남짓 올라가고 빠른 쪽은 일곱 칸을 넘긴다.
보고서가 적은 두 주기를 같은 세로축에 올려 그린 것이다. 기울기만 옮겼고 출발점은 그림을 읽기 쉽게 한 점으로 맞췄다. 두 선의 신뢰구간은 각각 2.08~4.94개월과 0.79~3.99개월로 넓게 겹친다.
2.127시간과 40시간은 서로 다른 묶음의 값이다
시간 지평 쪽에도 숫자가 둘 돈다. 하나는 보고서 본문의 "Current public frontier models have an estimated time horizon of up to 27 hours on the verifiable subset of our TH2 tasks." 27시간은 TH2 가운데 자동으로 검증되는 부분집합에서 나온 값이고, 이 꼬리를 떼면 문장이 달라진다. 다른 하나는 3.C.1절의 합산 과제군 표에 적힌 값이다. 가장 높이 적힌 칸이 GPT-6 Astra의 40시간이고, 그 95% 신뢰구간은 13시간에서 2645시간이다. 그 아래 칸이 Opus 5.5의 39시간, 신뢰구간 12시간에서 1253시간이다.
두 수치는 서로 충돌하지 않는다. 27시간은 부분집합의 값이고 40시간은 합산 과제군의 값이라, 애초에 서로 다른 것을 가리킨다. 40시간과 39시간의 한 시간 차이에도 뜻을 붙일 수 없다. 두 신뢰구간이 거의 완전히 겹치기 때문이고, 그래서 이 표를 모델 순위로 읽는 것은 표가 허락하지 않는 독법이다.
정작 눈여겨볼 것은 그 신뢰구간의 폭 자체다. 상한이 하한의 200배다. 지금 이 지표가 얼마나 거칠게 잡히는지를 METR 자신이 그린 오차막대가 보여 준다. 이 폭은 6절에서 2027년이라는 날짜를 읽을 때 다시 돌아온다.
그러니 질문은 "어느 숫자가 맞나"가 아니다. 왜 하필 빠른 쪽이 자동으로 채점되는 묶음인가이다. 자동으로 검증된다는 말은 컨테이너 안에서 사람 손 없이 채점된다는 말이고, 그런 과제는 만들기도 싸다. 그 두 성질이 어떻게 이어지는지가 다음 두 절이다.
시험 만드는 값이 두 배면 통과는 넉 달 반 늦다
이번 보고서에서 METR이 새로 붙인 눈금은 모델이 아니라 과제에 붙었다. 그 하나하나를 두고 "the cost for us to develop a containerized environment for the task, and then to run and score the task 100 times"를 쟀고, 생애비용(Lifecycle Cost)이라 이름 붙였다. 풀어 쓰면 시험 한 벌을 만들어 백 번 돌려 채점하기까지 드는 값이다. 그리고 그 값이 두 배가 될 때마다 어떤 일이 벌어지는지를 한 문장으로 적었다. "a doubling in lifecycle cost for a given length of tasks results in model performance reaching 50% success rate approximately 4.6 months later."
문장 가운데의 "for a given length of tasks"가 이 수치의 무게를 정한다. 길이 탓으로 돌릴 수 있는 차이가 아니다. 길이를 맞춰 놓고 보아도, 만드는 값이 갑절인 쪽은 모델이 절반의 확률로 풀어내는 시점이 약 4.6개월 뒤에 온다. 돈 단위로 적힌 차이가 달 단위로 환산되는 셈이고, 이 환산이 이 보고서가 올해 내놓은 가장 낯선 결과다. 어려움과 제작비는 서로 다른 축인데, 모델의 달력에는 둘 다 찍힌다.
보고서의 회귀 결과를 그림 하나로 옮긴 것이다. 가로축은 달력이고, 두 점은 같은 길이의 과제가 50% 성공에 닿는 시점이다. 그림의 간격은 보고서가 적은 약 4.6개월을 나타낸 것이지 특정 사례의 실제 날짜를 가리키지 않는다.
3.1비싼 쪽은 대체로 긴 과제이고, 그래도 따로 남는 몫이 있다
먼저 둘은 많이 겹친다. 사람 기준 소요 시간과 생애비용의 상관은 R²=0.82다. 오래 걸리는 일일수록 그 일을 컨테이너에 담아 백 번 돌리는 값도 비싸진다는 뜻이고, 상식과 어긋나지 않는다. 그런데 길이를 통제하고 남는 몫이 또 있다. 그 몫의 상관이 R²=0.14다. 두 수치를 같이 읽어야 이 절의 문장이 선다. 겹치는 부분이 크지만, 겹침을 걷어 내도 제작비는 따로 자리를 차지한다.
보고서는 과제를 생애비용이 높은 쪽과 낮은 쪽으로 갈라 평균도 비교했다. 축자는 "On average, the higher Lifecycle Cost subset is 2.9x as expensive as the lower Lifecycle Cost subset, and models perform 2.9x worse in terms of time horizon"이다. 비싼 쪽 묶음이 평균 2.9배 비싸고, 그 묶음에서 모델의 시간 지평이 2.9배 낮게 나온다는 것이다. 어떤 기준으로 두 묶음을 갈랐는지, 각각 몇 개인지, 달러로는 얼마에서 얼마까지인지는 본문에서 확인되지 않아 여기 적지 않는다.
두 수치를 곱하지 말 것. 2.9배와 4.6개월은 한 문단 안에 나란히 있지만 서로를 유도하지 않는다. 앞은 두 부분집합의 평균을 견준 값이고, 뒤는 과제 길이를 통제한 회귀에서 나온 계수다. 서로 다른 통계라 2.9배를 두 배수로 바꿔 주기를 곱하는 식으로는 4.6개월이 나오지 않는다. 우리가 실제로 그 계산을 해 보았고 약 1개월이 어긋났다.
3.2그 값을 매긴 것도 모델이다
생애비용이 어떻게 매겨졌는지를 빼면 이 절이 불공정해진다. METR은 과제 코드를 LLM 심판(Opus 5.5)에게 보여 개발·품질 확인·채점에 드는 비용을 달러로 추정하게 했고, 그 추정을 자기네가 직접 만든 과제 열 개쯤의 자체 추정치로 보정했다. 즉 평가의 한계를 드러낸 이 수치 자체가 모델이 매긴 추정값이다.
METR도 그 사실을 숨기지 않고 한계를 여럿 적었다. 심판이 METR 자신의 사정에 맞춰 보정됐으니 "Labs are likely to have different constraints to us"라고 적었고, 영역마다 수요가 다르다는 점과 과제 사이의 일반화 이득이 반영되지 않았다는 점도 함께 적었다. 비용 자체가 시간이 지나면 바뀐다는 문장도 있다. "What is costly today may not be costly in a year, or a few months." 그러니 4.6개월이라는 수치는 못 박힌 상수가 아니라, 지금 이 기관의 조건에서 얻은 기울기다.
시험과 훈련 환경이 같은 꼴로 닮아 간다
만들기 싼 시험이 왜 하필 빠른 숫자를 내는가. METR은 자기 평가와 모델 훈련에 쓰이는 환경이 서로 닮아 가고 있다고 적는다. "We are increasingly concerned that our easy-to-run, containerized evals could overestimate real-world capabilities, due to similar RL environments becoming common in training." 돌리기 쉬운 컨테이너 평가가 실제 능력을 과대평가할 수 있고, 그 까닭은 비슷한 강화학습 환경이 훈련에서 흔해졌기 때문이라는 것이다.
이어지는 문장이 구조를 밝힌다. "we think evaluations often share much in common with the RL environments used to train models. This is a problem for evaluators because we often want to use our evaluations as a proxy for some other, harder-to-measure, capability of interest. When these proxies (or nearby tasks) are trained on, they are liable to overestimate capabilities in these areas of interest." 평가는 본래 재기 어려운 능력을 대신 가리키려고 쓰는 대리 지표인데, 그 대리 지표나 그 근처의 과제가 훈련에 들어가 버리면 가리키려던 능력을 부풀려 보이게 된다는 것이다. 세 번째 문장에서는 값싼 정량 신호를 훈련에 써 버리는 흐름 탓에 평가하는 쪽에 남는 신호가 줄어든다는 걱정까지 적는다.
이것은 시험 문항이 학습 데이터로 새어 든 이야기가 아니다. METR은 문항이 샜다는 보고를 하지 않았다. 걱정하는 것은 평가의 꼴이다. 컨테이너에 담겨 자동으로 채점되는 형식 자체가 모델을 훈련시킬 때 쓰는 환경의 형식과 같아지고 있고, 그러면 문항이 한 줄도 겹치지 않아도 과제군 전체가 이미 익숙한 분포 안쪽에 들어온다. 어제 본지가 읽은 기반모델 벤치리킹 보고서는 문항 자체가 학습 데이터에 들어간 쪽이었다. 그쪽은 문항 단위의 오염이고, 이쪽은 형식 단위의 수렴이다. 막는 방법도 다르다. 문항은 걸러 낼 수 있지만 형식은 걸러 낼 대상이 없다.
4.1훈련 쪽에서는 같은 물건에 이미 가격표가 붙어 있다
METR이 생애비용이라 부른 물건(과제 하나를 컨테이너 환경으로 만들어 돌리는 일)은 훈련하는 쪽에서는 이미 사고파는 물건이다. Epoch AI가 올해 1월 업계 18명을 인터뷰해 정리한 글이 그 시세를 적어 두었다. 아래 값은 전부 그 글에서 왔고, METR이 추정한 생애비용과는 다른 출처의 다른 비용이다. 한쪽은 평가 기관이 자기 과제를 만들며 치르는 값이고, 다른 쪽은 연구소가 훈련용 환경을 사들이며 치르는 값이다.
| 사는 것 | 값 |
|---|---|
| 과제 한 개 | 200~2,000달러 |
| 웹사이트를 복제한 환경 한 벌 | 약 2만 달러 |
| 복잡한 제품을 복제한 환경 | 약 30만 달러 |
| 공급 계약 규모 | 분기당 6~7자리 달러 |
출처는 Epoch AI의 강화학습 환경 FAQ(2026년 1월 12일, 업계 18인 인터뷰)다. 복잡한 소프트웨어 공학 쪽은 드물게 하나에 2만 달러까지 간다고 적혀 있고, 독점으로 공급하면 비독점 대비 4~5배를 받는다는 증언도 함께 있다. METR의 추정값과 섞어 읽으면 안 된다.
만드는 업체도 이미 여럿이다. TechCrunch가 지난해 9월 정리한 지형을 보면 환경을 전업으로 만드는 Mechanize와 Prime Intellect가 있고, 데이터 쪽에서 환경으로 넘어온 Scale AI·Surge·Mercor가 있다. 연구소가 직접 만드는 몫도 따로 있다. 같은 기사에 앤트로픽이 1년에 10억 달러가 넘는 지출을 논의했다는 대목이 나오는데, 이것은 The Information 보도를 받아 적은 재인용이다.
여기서 멈춰야 할 선이 하나 있다. 팔리는 환경이 공개 벤치마크와 같다거나 겹친다고 적은 출처는 찾지 못했다. 위 자료들은 시장의 존재와 가격만 말한다. 그러니 이 절이 세울 수 있는 것은 거기까지다. 같은 꼴의 물건을 양쪽이 각자 만들고 있고, 한쪽은 돈이 모자라 적게 만들며, 그 수렴을 METR이 걱정했다. 수렴 주장의 근거는 여전히 METR 자신의 문장 하나다.
4.2같은 걱정을 적은 연구가 따로 있다
METR 혼자의 걱정은 아니다. 강화학습으로 훈련한 추론 모델이 훈련 분할만 써도 시험 분할로 직접 훈련한 모델과 맞먹는다는 결과를 보고한 연구(arXiv:2510.10541)가 있고, 벤치마크 445개를 체계적으로 훑어 구성 타당도를 해치는 결함이 널리 퍼져 있다고 결론 내린 NeurIPS 2025 논문도 있다. 전자는 시험 분할의 '안 본 것임'이 더는 장벽으로 작동하지 않을 수 있다는 쪽이라 METR의 걱정과 방향이 같다.
같은 보고서의 강건성 점검 절에는 보상 해킹 관측도 실려 있다. 전선에 가까운 에이전트들에서 그런 행동이 대부분 나왔다고만 적혀 있고 누가 가장 심했는지 순위는 없다. 모델이 과제를 푸는 대신 채점기를 노린다는 사실은 그것이 훈련 환경을 닮았다는 걱정과 같은 뿌리에서 나온다. 자동으로 채점된다는 것은 노릴 채점기가 있다는 뜻이기도 하다.
출제도 채점도 모델에 맡기는 길이 막혀 있다
평가를 만드는 일이 비싸다면 그 일을 모델에게 시키면 되지 않느냐는 생각이 먼저 든다. METR도 같은 생각을 했고, 출제와 채점 양쪽으로 실험을 돌려 결과를 같은 보고서에 실었다. 둘 다 지금은 길이 막혀 있다.
5.1출제를 맡겨 받은 과제 가운데 보고서에 넣을 것이 없었다
결과 문장은 짧다. "None of the tasks agents produced were sufficiently useful to us to warrant inclusion in this post." 실패의 모양도 적혀 있다. "The models we tested generally favoured making automatically scored optimization tasks, even when (in follow-up experiments) instructed to make tasks where 'success is sensitive to decisions which have poor short term feedback.'" 모델들은 자동으로 채점되는 최적화 과제 쪽으로 쏠렸고, 짧은 피드백이 없는 쪽을 만들라고 따로 지시한 뒤에도 그랬다. 인터넷을 쓸 수 있는데도 METR이 무엇을 쓸모 있다고 볼지 스스로 알아보려 하지 않았고, 새로운 위협 모형이나 날카로운 가설 위에 선 과제도 나오지 않았다고 적혀 있다.
쏠림의 방향이 4절과 같다는 점이 눈에 띈다. 모델이 스스로 만든 과제도 컨테이너로 자동 채점되는 쪽으로 갔다. 다만 이 결과를 "AI는 출제를 못 한다"로 넓혀 읽을 수는 없다. 한 기관이 자기 보고서에 실을 기준으로 걸렀을 때 남은 것이 없었다는 서술이고, 몇 개를 만들게 했고 어떤 모델이었는지는 본문에 없다. 엿새 전 본지가 읽은 AI 논문 심사 실험에서는 모델이 만든 문항이 실제로 쓰였다. 이번에는 한 개도 쓰이지 않았다.
5.2채점을 맡기면 센 모델 쪽으로 점수가 기운다
채점 쪽 결과는 수치가 붙어 있다. 심판으로 세운 Opus 5.5가 "scores Astra's tasks on average about 0.2 (out of 1) more highly than our human", 1점 만점에서 사람보다 평균 0.2점을 더 줬다. 모델들이 "systematically overestimate the quality of their own solutions, and those of stronger models", 자기 답과 더 센 모델의 답을 체계적으로 높게 본다는 서술도 함께 있다.
이 대목은 본지가 10월에 읽은 결과와 어긋난다. 그때 다룬 MLE-bench 실험은 모델이 자기 아이디어에 후한 점수를 주지는 않는다는 쪽으로 닫혔다. 이번 보고서는 자기 답과 더 센 모델의 답 양쪽에서 후함이 보인다고 적는다. 두 결과가 재는 대상도 설계도 다르니 한쪽이 틀렸다고 말할 자리는 아니지만, 어긋난다는 사실 자체는 적어 두어야 한다. 모델에게 채점을 맡길지 정하는 쪽에게 이 어긋남은 "우리 경우에는 직접 재 봐야 한다"로 읽힌다.
5.3남은 길은 사람인데, 일곱 번 시도하는 데 9만 달러가 들었다
사람에게 직접 과제를 풀려 소요 시간을 재는 것이 기준선이다. 이쪽의 값도 적혀 있다. "We paid $200-350/hr and spent a total of roughly $90k for 7 attempted baselines." 시간당 200~350달러를 주고 일곱 번을 시도해 약 9만 달러를 썼다. 기준선을 받아 낸 과제는 셋이다. Reverse Conway에 두 명, Minecraft Bot에 한 명, Train a Program에 네 명이 붙었다. 이 서술은 TH2 쪽 작업을 적은 자리에 있다.
그래서 소요 시간 추정의 대부분은 사람이 직접 잰 값이 아니다. 보고서의 문장은 "Human baselines are directly used for only 9% of our estimates for how long it takes a human to complete the task." 나머지 91%는 다른 방법으로 메운 추정이라는 뜻이다. 다만 이 9%의 분모가 어느 범위인지는 본문에서 확인되지 않았으므로, 앞 문단의 일곱 번·9만 달러와 같은 범위의 수치로 묶어 읽지 않는 편이 안전하다.
기준선을 낸 사람들이 누구에 견줄 만한지도 METR은 유보한다. "Overall, we are uncertain about the comparability of our baseliners to AI R&D lab employees." 전선 연구소의 기술직보다는 위이고 자기 분야 최전선 연구자보다는 아래라고 적혀 있을 뿐이다. 판단이 들어가는 과제에서는 그 비교가 더 미묘해진다. 철학 비평을 평가하는 쪽에서 전선 모델은 5분을 쓴 전문가의 일치도는 넘지만 15분을 쓴 전문가에는 못 미쳤다.
시간 지평이라는 지표는 사람의 소요 시간을 바닥으로 삼는데, 그 바닥의 9%만 사람이 직접 깔았고 그 9%를 까는 데도 과제 셋에 9만 달러가 들었다. 나머지를 모델로 메우는 두 길은 이번 실험에서 둘 다 막혔다. 지표가 흔들린다면 모델이 흔들려서가 아니라 바닥을 까는 값이 비싸서다.
2027년 7월이라는 날짜 앞에는 '순진한'이라는 말이 붙어 있다
이 보고서에서 가장 멀리까지 옮겨 다닐 문장은 2027년 7월이 적힌 한 줄이다. 축자는 "naive extrapolation would imply that models reach a 50% time horizon equal to the longest score threshold on our task set (200 hours) in July 2027." 그런데 그 문장은 naive, 곧 순진한 외삽이라는 말로 시작한다. 문장 맨 앞에 붙은 단서이고, METR 자신이 붙였다.
단서가 붙은 까닭은 전제가 하나뿐이기 때문이다. 3.61개월이라는 주기가 앞으로도 그대로 간다고 두고 계산한 값이다. 그 주기에는 2.08~4.94개월이라는 95% 신뢰구간이 달려 있고, 구간의 양 끝으로 같은 외삽을 다시 하면 도달 시점이 반년 넘게 벌어진다. 2절에서 본 40시간의 신뢰구간이 13시간에서 2645시간까지 갔던 것도 같은 사정이다. 날짜 하나로 옮겨 적기에는 폭이 너무 넓다.
6.1국내 보도 두 건은 무엇을 옮기고 무엇을 뺐나
이 보고서는 국내에도 보도됐다. 11월 21일 자 기사 두 건을 받아, 보고서의 수치와 자기 경고가 각각 어디까지 옮겨졌는지 하나씩 대조했다. 센 것은 두 건이므로 아래 표는 국내 보도 전반이 아니라 이 두 기사에 대한 기록이다.
| 보고서가 적은 것 | 토큰포스트 | AI타임스 |
|---|---|---|
| 두 배 주기 3.61개월 | 적혔다 | 적혔다 |
| 직전 추세 105일 | 적혔다 | 적혔다 |
| 판단이 들어가는 과제에서 전문가에 못 미친다 | 제목에 | 제목에 |
| AI가 만든 평가 과제에 쓸 것이 없었다 | 적혔다 | 적혔다 |
| 사람이 직접 잰 값은 9% | 적혔다 | 없다 |
| 2027년 7월 · 200시간 | 없다 | 적혔다 |
| 생애비용, 곧 시험 한 벌을 만들어 돌리는 값 | 없다 | 없다 |
| 평가가 훈련 환경을 닮아 과대평가할 수 있다 | 없다 | 없다 |
토큰포스트와 AI타임스의 2026년 11월 21일 자 기사 두 건을 직접 읽고 칸을 채웠다. 표본이 둘이므로 국내 보도 일반에 대한 진술로 읽을 수 없다.
칸이 갈리는 자리가 분명하다. 모델에 관한 경고는 제목까지 갔다. 판단이 들어가는 과제에서 전문가에 못 미친다는 대목은 두 기사 모두 제목에 올렸고, AI가 시험을 만들지 못했다는 실험도, 사람이 직접 잰 값이 9%뿐이라는 수치도 본문에 들어갔다. 경고를 덜어 낸 보도로 읽을 수 없다는 뜻이다. 두 기사 어디에도 없는 것은 다른 종류다. 생애비용, 그리고 평가가 훈련 환경을 닮아 간다는 걱정. 둘 다 재는 도구 자신에 관한 경고이고, 하필 이 보고서가 이번에 새로 내놓은 대목이다.
까닭을 짐작하기는 어렵지 않다. 모델의 한계는 독자가 이미 아는 이야기라 한 줄로 옮길 수 있다. 자를 재는 쪽의 한계는 그 자체로 새 이야기라, 옮기려면 지표가 어떻게 만들어지는지부터 설명해야 한다. 같은 문서에 적혀 있어도 옮겨지는 비용이 다르다.
6.2고칠 길은 이 보고서에 없다
METR은 생애비용을 거친 대리 지표(rough proxy)로만 내놓았고, 앞으로의 방향으로는 "more manually scored tasks and qualitative evidence", 사람이 손으로 채점하는 과제와 정성적 증거를 더 쓰겠다는 말만 적었다. 그 길이 비싸다는 것은 5절에서 본 그대로다. 보고서의 마지막 문장도 해답이 아니라 미해결 목록이다. "We remain significantly uncertain about central questions, including (1) what capabilities are in practice necessary for drastic acceleration, and (2) how quickly relevant model capabilities are improving."
그러니 이 보고서에서 가져갈 것은 날짜보다 읽는 법 쪽이다. 숫자 옆에 조건이 함께 적혀 있을 때 그 숫자가 얼마나 다르게 읽히는지를 METR이 자기 문서로 보여 준 사례다. 조건을 지운 숫자 하나는 2027년 7월이 되고, 조건을 붙인 같은 숫자는 "싸게 만들 수 있었던 과제에서 이만큼"이 된다.
페블러스 관심의 이유
페블러스가 데이터를 받을 때 먼저 묻는 것은 값이 얼마인가가 아니라 이 값이 어디서 재어진 값인가이다. 이번 보고서는 그 질문을 재는 쪽으로 되돌린 사례다. METR은 모델을 재면서 자기 자를 함께 쟀고, 그 자가 싼 쪽으로 휘어 있다는 것을 숫자로 적었다. 재는 일에 값이 붙는다는 사실을 공개 문서로 내놓은 것이 이 보고서의 값진 대목이고, 나흘 전 페블러스가 AI 시험평가센터를 연 자리의 뜻도 거기 있다.
7.1평가셋의 치우침은 난이도가 아니라 제작비에서 온다
사내 평가셋이 왜 그 모양인지 물으면 답은 대개 "그 데이터가 있어서"다. METR의 수치는 그 답이 성적에 얼마나 들어가는지를 달로 환산해 보여 준다. 같은 길이의 과제인데 만들기 두 배 비싸면 통과가 넉 달 반 늦다. 뒤집으면 만들기 싼 과제만 모아 둔 평가셋은 실제보다 넉 달쯤 앞선 성적을 돌려준다.
사내 모델을 자기 로그로 평가하는 조직에서는 한 겹이 더 있다. 평가에 쓰는 로그와 학습·튜닝에 쓰는 로그가 같은 파이프라인에서 같은 꼴로 나온다. 문항이 겹치지 않아도 분포가 겹치고, 그 겹침은 샘플 단위로 세면 보이지 않는다. 생성 경로 단위로 보아야 보인다. 4절에서 본 시세가 여기서 한 번 더 쓸모가 있다. 그런 과제를 훈련하는 쪽에서는 돈을 주고 사 온다. 사내에서도 평가셋과 튜닝셋을 같은 외주사·같은 수집 스크립트로 채웠다면 같은 일이 벌어진다.
7.2성적을 만들거나 받아 읽는 쪽이 물을 것 넷
앞 절들이 짚은 네 자리는 METR의 사정이지만, 사내 평가셋에 그대로 옮겨 놓을 수 있다. 과제가 거기 있는 까닭, 데이터가 온 길, 기준선을 사람이 깐 비율, 심판이 어느 쪽에 기우는지다. 넷 다 METR이 자기 문서에 적어 두었기에 바깥에서 읽을 수 있었고, 적어 두지 않은 조직에서는 같은 것을 물어도 답할 자리가 없다.
- 우리 평가셋의 과제는 재야 해서 거기 있는가, 만들기 쉬워서 거기 있는가. 과제별 제작 공수를 어딘가에 적어 두고 있는가.
- 평가 데이터와 학습·튜닝 데이터가 같은 수집 경로에서 왔는가. 경로가 같으면 문항이 달라도 분포는 같다.
- 사람이 직접 재 본 기준선이 몇 퍼센트인가. 나머지가 추정이라는 사실이 성적표에 함께 적혀 있는가.
- 채점을 모델에 맡겼다면 그 심판이 어느 쪽에 후한지 재 보았는가. METR은 1점 만점에 0.2점이라 적었다.
넷 다 평가셋을 만드는 시점에 적어 두지 않으면 나중에 복원할 수 없는 정보다. 무엇을 왜 골랐는지는 반년만 지나도 아무도 기억하지 못한다.
7.3이 비용은 열사흘 전에 읽은 그 비용과 다르다
본지가 이달 9일에 읽은 앤트로픽 조사에도 가격 이야기가 있었다. 그쪽 값은 연구자 인건비와 모델 사용료를 견준 값이었고, 일을 시키는 쪽의 셈이었다. 여기 값은 시험 한 벌을 만드는 값이고, 일을 재는 쪽의 셈이다. 같은 달에 같은 낱말로 두 번 나왔지만 가리키는 물건이 다르다.
페블러스가 설 자리는 어느 모델이 더 낫다고 말하는 쪽이 아니라, 성적 옆에 그 성적이 나온 조건이 함께 남게 하는 쪽이다. 이번 보고서가 값진 이유는 수치가 커서가 아니라 METR이 자기 한계를 같은 문서에 적어서다. 그리고 6절이 보여 주듯 같은 문서에 적혀 있어도 그 대목은 잘 옮겨지지 않는다. 조건을 남기는 일이 왜 따로 설계돼야 하는지가 거기 있다.
사실과 해석을 가른다. 1절부터 3절까지의 수치와 축자 인용, 5절의 실험 결과와 금액, 6절의 외삽 문장은 모두 METR의 2026년 4분기 능력 평가 원문에서 가져왔다. 4절의 환경 시세는 Epoch AI의 1월 FAQ와 TechCrunch 기사에서 왔고 METR의 추정값과는 다른 출처다. 6.1절의 표는 국내 기사 두 건을 직접 읽고 채운 것이다. 확인하지 못한 것도 적어 둔다. 생애비용이 높은 묶음과 낮은 묶음을 가른 기준과 각 과제 수, 달러 구간은 본문에서 확인되지 않았고, 9%의 분모 범위와 AI 출제 실험의 설계도 마찬가지다. 그래서 이 글은 그 자리에 수치를 보태지 않았다. 7절의 네 가지 질문과 평가셋에 대한 판단은 페블러스가 붙인 해석이다.
참고문헌
본문 수치의 출처를 성격별로 나눠 적는다. 1번이 이 글이 딛는 1차 문서이고, 그 주기와 시간 지평, 생애비용과 사람 기준선에 관한 수치와 축자 인용이 전부 거기서 나왔다. 3번과 4번은 4절의 환경 시세이며 METR의 추정값과 섞이지 않게 따로 세웠다. 7번과 8번은 6.1절 표의 근거다.
1차 — METR
- 1.METR, "AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure" (2026년 11월 20일, 저자 11명). metr.org — 과제군 구성, 주기 3.61개월과 1.65개월, 27시간, 3.C.1절의 합산 시간 지평 표와 신뢰구간, 생애비용 정의와 4.6개월, 사람 기준선과 AI 출제·채점 실험, 2027년 7월 외삽이 모두 여기서 나왔다.
- 2.같은 글의 Substack 미러. metr.substack.com — 축자 대조에 함께 썼다. 3.C.1절 표의 40시간·39시간은 이 미러에서 확인되지 않아 1번을 인용 근거로 삼았다.
업계 — 강화학습 환경 시세 (4절)
- 3.Epoch AI, "An FAQ on reinforcement learning environments" (2026년 1월 12일, 업계 18인 인터뷰). epoch.ai — 4.1절 표의 네 줄과 독점 공급 할증이 여기서 나왔다.
- 4.TechCrunch, "Silicon Valley bets big on 'environments' to train AI agents" (2025년 9월 21일) — 업체 지형의 근거다. 앤트로픽의 연 10억 달러 논의는 이 기사가 The Information 보도를 받아 적은 재인용이다.
학술 — 같은 걱정을 적은 연구 (4.2절)
- 5."Rethinking RL Evaluation: Can Benchmarks Truly Reveal Failures of RL Methods?" arXiv:2510.10541
- 6."Measuring what Matters: Construct Validity in Large Language Model Benchmarks" (NeurIPS 2025 Datasets & Benchmarks Track) — 벤치마크 445개 체계적 검토.
국내 보도 (6.1절 표)
- 7.토큰포스트, "AI 시간 지평 3.61개월마다 2배…판단 과제 약점도 드러나" (2026년 11월 21일).
- 8.AI타임스, "AI 작업 능력, 6개월 만에 16시간→40시간…'판단력 여전히 한계'" (2026년 11월 21일).
페블러스 선행 글
- 9.METR 실험, AI가 아낀 시간만 세고 놓친 오류는 안 센다 (2026년 10월 30일) — 1절에서 방향을 대비한 자리다.
- 10.ERNIE 5.5가 푼 코딩 시험, 문제지가 학습 데이터에 있다 (2026년 11월 21일) — 4절에서 문항 단위 오염과 형식 단위 수렴을 가른 자리다.
- 11.앤트로픽 조사, 과학자는 바로 확인되는 일부터 클로드에 맡긴다 (2026년 11월 9일) — 7.3절에서 다른 종류의 비용과 가른 자리다.
- 12.AI 논문 심사, 같은 지시에도 모델마다 잡는 오류가 다르다 (2026년 11월 16일) — 5.1절의 대조 사례다.
- 13.MLE-bench 시험: AI는 자기 아이디어가 통할지 알까? (2026년 10월 22일) — 5.2절에서 결론이 어긋난다고 적은 글이다.
- 14.METR은 앤트로픽 안을 보는데, 보고서엔 왜 다 못 적을까? (2026년 10월 17일) — 이 기관이 받는 다른 종류의 제약을 다뤘다.
- 15.페블러스 AI 시험평가센터 개설 (2026년 11월 18일) · AI 시험평가센터 소개 — 7절의 링크다.