Executive Summary

8월 18일에 나온 것은 결과였고, 채점표가 나온 것은 그 뒤였다. 과학기술정보통신부는 발표 당일 부문별 평균과 1위·4위 격차만 밝혔다. 이틀 뒤 세부 채점 기준과 부문별 최고점이 공개됐고, 그래도 총점과 순위는 내놓지 않는다는 비판이 이어졌다. 팀별 부문 점수 열여섯 칸이 전부 공개된 것은 8월 27일이다. 탈락한 모티프테크놀로지스가 이의를 제기하고 남은 세 팀이 공개에 동의한 뒤였다. 이 글의 계산은 전부 그 마지막 공개 위에서 시작한다.

1.1기계가 매기는 40점, 사람이 매기는 60점

100점은 다섯 부문으로 쪼개져 있다. 앞의 둘은 벤치마크다. AAII 벤치마크 25점은 채점을 정부가 하지 않는다. 해외 모델 평가 기관인 아티피셜 어낼리시스가 고난도 9종으로 직접 평가한 결과를 받아 환산했다. NIA 벤치마크 15점은 한국지능정보사회진흥원이 수학, 지식, 장문이해, 안전성, 신뢰성, 한국어, 지시이행 일곱 분야를 재고 15점 만점으로 스케일링한다. 두 벤치마크를 합쳐 40점이다.

나머지 60점은 사람이 매긴다. 전문가 평가 35점은 이해충돌이 없는 외부 전문가 열 명이 닷새 동안 서면으로 채점하고 질의응답을 거쳤다. 브리핑은 이들을 AI 알고리즘과 서비스, 데이터 분야의 전문성을 갖춘 위원들이라고 소개했다. 안이 다시 셋으로 나뉘는데, 개발 전략과 기술에 10점, 개발 성과와 계획에 10점, 국내 AI 생태계 파급효과와 기여계획에 15점이 걸려 있다. 위원별 최고점과 최저점을 뺀 뒤 산술평균을 낸다. 전문 사용자 평가 15점은 AI 스타트업 대표 등 마흔아홉 명이, 국민 평가 10점은 일반 국민 백여든다섯 명이 1점에서 5점 사이 절대평가로 매긴 점수를 합산해 스케일링했다. 국민 평가단은 이백 명을 뽑으려는 자리에 천사백 명이 몰려 무작위로 걸렀다.

1.22차 평가는 이미 한 번 고친 설계다

2차 평가의 공통 시험지는 1차 평가에 쏟아진 비판에 대한 응답이다. 국회예산정책처는 1월 22일 발간한 나보포커스 132호에서 1차 단계평가의 독자성 판정과 평가지표를 두고 공정성 논란이 있었다고 적었다. 논란의 축은 개별 기업이 스스로 고른 벤치마크가 평가에 들어갔다는 점이었다.

정부도 그 지적을 부인하지 않는다. 8월 18일 브리핑에서 차관은 1차 방식을 이렇게 설명했다. "참여 정예팀들이 자기가 비교해 보겠다고 하는 개별적인 벤치마크들을 종합해서 하는 결과, 그런 방식으로 벤치마크를 했었고, 또 그 방식에 장단점이 있고 해서 2단계에서는 AAII 글로벌 공신력 있는 벤치마크로 단일화하자는 이런 논의들을 해서 이렇게 한 건데요." 외부 기관에 채점을 맡기고 시험지를 하나로 모은 것이 2차의 변화다.

신생 팀에 대한 배려도 설계 안에 들어가 있었다. 모티프테크놀로지스는 1차를 치르지 않고 2월 추가 공모로 합류했다. 그래서 파급효과 평가에서 별도 규칙을 적용받았다. "새롭게 참여한 모티프테크놀로지스와 기존 정예팀 간 공정 경쟁 지원을 위해, 모티프 정예팀의 국내 AI생태계 파급효과 평가는 새로운 독자 AI모델 기반이 아닌, 기존 AI모델의 현장확산 실적·계획까지 폭넓게 종합해 평가했다." 새 모델만으로 실적을 증명하라고 요구하지 않았다는 뜻이다.

8월 18일에 공개된 것은 부문별 평균과 격차뿐이었고, 8월 27일에 공개된 것은 팀별 점수였다. 두 발표는 아흐레 간격이고 서로 다른 형태의 숫자다. 뒤에 나온 팀별 점수로 먼저 나온 집계를 다시 계산해 봤다.

• 벤치마크 40점 부문에서 브리핑이 밝힌 평균은 22.5점이고 재계산은 22.525점이다. 격차는 양쪽 다 4점.
• 전문가 35점 부문의 발표 평균은 28.8점, 재계산은 28.75점. 격차는 양쪽 다 2.4점.
• 사용자 25점 부문의 발표 평균은 17.6점, 재계산은 17.55점. 격차는 양쪽 다 5점.
• 질의응답에서 "벤치마크 총점으로는 30점을 넘은 기업이 없었습니다"라고 답한 대목도 최고점 24.6점과 맞는다.

두 차례에 걸쳐 따로 공개된 숫자들이 어긋나지 않는다. 이 글의 모든 계산은 그 위에서 시작한다.

아래가 이 글의 원자료다. 8월 27일 공개된 팀별 부문 점수를 그대로 옮겼다. 순위를 만든 것은 종합점수 열이 아니라 각 부문 안에서 네 팀이 벌어진 폭이고, 맨 아랫줄이 그 폭이다. NIA 15점에서는 네 팀이 0.7점 안에 있고, 사용자 평가에서는 5.0점까지 벌어진다.

2.175점까지는 네 팀이 붙어 있었다

채점 순서대로 점수를 쌓아 보면 이 표가 다르게 읽힌다. AAII 25점만 놓고 보면 모티프3가 1위다. NIA 15점을 더해 벤치마크 40점을 만들어도 순서는 그대로다. 전문가 평가 35점까지 더한 75점 시점에서 처음 자리가 움직이는데, 그 움직임이 크지 않다. 네 팀은 50.1점에서 51.8점 사이, 1.7점 안에 들어 있었고 모티프테크놀로지스는 여전히 두 번째였다. 배점의 2.3%에 해당하는 폭 안에 네 팀이 다 있었다는 뜻이다.

그 다음 25점에서 네 자리가 전부 바뀐다. 아래 도식은 각 구간이 끝날 때마다 누가 몇 위였는지를 이은 것이다. 왼쪽 세 구간에서 거의 평행하게 가던 선들이 마지막 구간에서 교차한다.

2.2한 부문씩 빼고 다시 매겨 본다

순위를 만든 힘이 어디에 실렸는지 보려면 부문을 하나씩 빼 보면 된다. 종합점수에서 한 부문을 통째로 덜어 낸 뒤 남은 점수로 순서를 다시 세우는 방식이고, 필요한 것은 공개된 숫자뿐이다. 결과는 한쪽으로 몰려 있다.

읽는 법은 세 가지다. 첫째, 어떤 단일 부문을 빼도 모티프테크놀로지스는 4위에 남는다. AAII를 빼도, 전문가 평가를 빼도, 전문 사용자 평가만 빼도 마찬가지다. 둘째, 사용자 평가 25점을 통째로 덜어 내야 순서가 달라지고 그때 모티프테크놀로지스가 두 번째로 올라온다. 셋째, 1위를 바꾸는 유일한 단일 부문은 전문 사용자 평가 15점이다. 그 15점을 빼면 SK텔레콤 대신 업스테이지가 맨 앞에 선다.

이 표는 정부 설명을 먼저 확인해 준다. 차관은 브리핑에서 "일반 국민 평가가 당락에 영향을 미치지 않았다"고 말했다. 국민 10점을 덜어 내도 순서가 그대로이니 맞는 말이다. 그런데 같은 표는 다른 것도 보여 준다. 네 부문 가운데 순서를 바꾸는 힘이 실린 곳은 사용자 평가 쪽이다.

정부도 같은 자리에서 이 문제를 두 번 말했다. 어떤 지표가 당락을 갈랐느냐는 질문에 차관은 "특별히 어떤 항목이 결정적이었다고 보기 어려울 정도로" 항목별 격차가 종합적으로 만들어 낸 결과라고 답했다. 그런데 탈락한 팀을 두고는 이렇게 설명했다. "기술력은 뛰어났지만 이 평가에 내재된 75점의 배점에 상당히 무게중심이 있었던 사용성·활용성 부분에 대한 그런 부분에서는 약간 다른 기업들에 비해서 낮은 평가를 받았다." 차관이 말한 75점은 AAII 25점을 뺀 나머지 전부를 가리킨다. 이 글이 75점이라고 쓸 때의 묶음, 그러니까 벤치마크 40점에 전문가 35점을 더한 소계와는 다른 묶음이다. 같은 숫자가 두 뜻으로 쓰이고 있으니 나누어 읽어야 한다. 두 답변의 결은 서로 다르지만, 뒤엣것은 공개된 점수를 되돌린 결과와 같은 쪽을 가리킨다.

이 글에서 AAII라는 말은 두 개의 숫자를 가리킨다. 하나는 아티피셜 어낼리시스가 자기 사이트에 올려 두는 지능지수 원점수다. 모티프3가 47.36이고 조회 시점 세계 1위 모델이 63.05다. 다른 하나는 그 원점수를 독파모 채점표의 25점 만점으로 옮긴 환산점수다. 모티프3의 11.9가 그것이다. 두 숫자를 섞으면 이 절의 이야기가 통째로 무너지므로, 아래 표에서는 두 열로 나눠 놓았다.

네 팀의 환산 비율이 전부 0.251 부근이다. 환산식은 원점수에 0.25를 곱하는 것이다. 다시 말해 이 부문에서 25점 만점을 받으려면 AAII 원점수 100점이 필요하다. 그런데 AAII는 만점이 사실상 나오지 않는 시험이다. 조회 시점 세계 1위 모델의 63.05를 같은 식에 넣으면 15.8점이 된다. 배점은 25점인데 세계 최고 모델이 받아 갈 수 있는 값이 16점 언저리라는 뜻이다.

그래서 네 팀은 이 부문에서 만점의 31.2%에서 47.6% 사이에 놓였다. 부문 전체가 아래쪽 절반에 눌려 있는 셈인데, 그러면서도 팀 간 폭은 4.1점으로 다섯 부문 가운데 가장 넓다. 눌린 것과 벌어진 것이 동시에 일어난다.

시험이 어렵다는 것 자체는 정부도 알고 골랐다. 브리핑은 AAII를 "글로벌 빅테크들도 고득점을 받기 어려운 공신력 높은 평가"라고 소개했다. 1차의 문제를 고치려고 일부러 어려운 시험지를 들여온 것이다. 그런데 어려운 시험을 고르는 결정과 그 시험에 25점을 걸어 두는 결정은 서로 다른 결정이다. 앞의 것은 밝혀져 있고, 뒤의 것은 근거가 밝혀져 있지 않다.

환산식을 검산할 때 걸리는 자리가 한 군데 있다. 47.36에 0.25를 곱하면 11.84이고 공개된 값은 11.9다. 0.1점이 어긋난다. 평가 당시의 원점수가 47.6 부근이었다면 딱 맞으므로 스냅샷 차이로 보이지만, 확정할 근거는 없다. 정부가 "6월 말 아티피셜 어낼리시스가 공표한 기준을 채택했다"고 밝힌 것은 지수를 어떤 항목과 가중치로 구성할지에 대한 기준의 시점이지, 점수 스냅샷의 시점이 아니다. 평가 대상 네 모델은 리더보드상 공개일이 모두 8월 12일로, 6월 말에는 존재하지 않았다.

당사자도 같은 계산을 했다. 모티프테크놀로지스가 8월 27일 입장문에서 내놓은 지적은 이렇다. AAII 1위와 4위의 최종 배점 차이가 4점에 불과하다는 것이다. 우리 계산으로는 11.9점과 7.8점의 차이인 4.1점이다. 회사가 독자적으로 도달한 결론과 바깥에서 공개 자료만으로 한 계산이 같은 자리에 닿았다.

회사는 여기서 한 걸음 더 나갔다. 대기업이 프런티어 모델을 맡고 스타트업은 특화 모델을 맡으면 된다는 역할 분담론에 대해, 이번 평가에서는 스타트업 두 곳의 벤치마크가 대기업 두 곳을 앞섰다고 반박했다. 이 대목은 공개된 점수로 확인된다. AAII 원점수에서 모티프3와 솔라 오픈 2가 A.X K2와 K-엑사원 2.0보다 위에 있다. 다만 종합점수에서는 네 팀이 대기업과 스타트업으로 번갈아 섰다. 1위와 3위가 대기업이고 2위와 4위가 스타트업이다.

3.1반대편 15점은 네 팀을 0.7점 안에 묶었다

NIA 벤치마크 15점은 정반대로 움직인다. 네 팀의 점수는 12.7점에서 13.4점 사이, 만점의 84.7%에서 89.3% 사이에 몰려 있다. 팀 간 폭은 0.7점으로 만점의 4.7%에 지나지 않는다. AAII가 네 팀을 아래쪽에 넓게 흩어 놓았다면, NIA는 위쪽에 좁게 모아 놓았다.

NIA 점수가 몰린 이유를 시험 자체에서 찾으면 안 된다. 2026년 8월 28일 현재 공개된 것은 일곱 분야의 이름과 15점으로 스케일링한 뒤의 팀별 점수뿐이다. 원점수도, 환산식도, 문항 수도, 분야별 배점도 공개되지 않았다. 그러니 점수가 몰린 것이 문항이 쉬워서인지 환산 단계에서 압축된 것인지 바깥에서는 가를 수 없다. 확인할 수 없다는 말과 공개되지 않았다는 말은 다르다. 여기서는 뒤쪽이 맞다.

그래도 이런 현상 자체는 벤치마크 연구에서 이름과 진단법을 갖고 있다. 상한 근처에 응시자가 몰려 순위 정보를 만들어 내지 못하는 상태를 포화라고 부르고, 문항반응이론으로 어느 문항이 변별에 기여하는지 재는 연구 계열이 있다. metabench 연구는 여섯 개 벤치마크 28,632문항을 원본의 3% 미만으로 줄이고도 총점을 0.58%, 개별 벤치마크 점수를 평균 1.24% 오차로 복원했다. 문항을 걸러 내는 첫 단계가 분산 같은 단순 통계라는 점도 이 글의 절차와 다르지 않다. 우리가 피지컬 AI 벤치마크 열두 개의 중복성을 감사한 프리프린트를 다룬 것도 같은 문법이었다.

배점을 정하는 사람은 그것을 중요도라고 생각한다. 35점을 준 항목이 15점을 준 항목보다 두 배 넘게 중요하다는 뜻으로 읽힌다. 그런데 가중합 점수표에서 실제로 순위를 만드는 힘은 배점이 아니라 다른 데서 나온다. 응시자들이 그 항목에서 얼마나 흩어졌는가다. 모두가 똑같은 점수를 받은 항목은 배점이 아무리 높아도 순위에 아무 기여를 하지 않는다. 반대로 배점이 작아도 응시자들이 크게 벌어진 항목은 최종 순서를 좌우한다.

그 흩어짐을 부문별로 재서 나란히 놓으면 실효 가중치가 나온다. 아래 표의 세 번째 열이 네 팀 점수의 표준편차이고, 네 번째 열은 그 표준편차를 네 부문 합계로 나눈 비중이다.

명목 배점이 가장 큰 전문가 평가 35점은 실효 비중이 20%로 내려앉는다. 네 팀의 점수가 27.1점에서 29.5점 사이에 있어서다. 반대로 명목 15%인 NIA는 실효 6%까지 떨어지고, 명목 25%인 사용자 평가는 42%로 올라간다. 두 배점이 같은 25점인 AAII와 사용자 평가조차 실효로는 서로 다른 무게를 갖는다.

4.1이 괴리에는 이름이 있다

이 계산을 두고 정부가 사용자 평가에 42%를 실었다고 말하면 틀린다. 정부가 정한 것은 25%이고, 42%는 채점이 끝난 뒤에야 계산되는 값이다. 응시자가 달라지면 이 숫자도 달라진다. 42%는 네 팀 사이에 결과적으로 생긴 순위 차이 가운데 사용자 평가에서 나온 몫이다.

그리고 이 어긋남은 우리가 지어낸 진단이 아니다. 합성지표 연구는 오래전에 같은 문제를 정식화했다. 파루올로와 사이사나, 살텔리가 2013년 왕립통계학회지에 실은 「Ratings and rankings: voodoo or science?」가 그 대표 문헌이다. 저자들은 여러 지표를 가중합해 만드는 지수에서 명목 가중치를 중요도로 읽는 관행을 문제 삼고, 실제 중요도는 상관비로 재야 한다며 그것을 주효과라고 불렀다. 그리고 실제로 재 봤더니 "상대적 명목 가중치가 상대적 주효과와 일치하는 경우는 거의 발견되지 않는다"고 적었다. 인간개발지수와 대학 순위를 포함한 다섯 개 지수에 이 진단을 적용한 결과다. 한 영국 대학 순위에서 교수 대 학생 비율은 명목 가중치가 0.20인데 정규화된 주효과는 0.09였다.

우리 계산과 그 논문의 방법을 같다고 말하면 안 된다. 저자들이 잰 것은 분산분해에 기반한 주효과이고 우리가 잰 것은 네 팀 점수의 표준편차 비중이다. 표본도 다르다. 저자들은 수십에서 수백 개 단위를 다뤘고 여기는 네 팀뿐이다. 우리 계산은 추정이 아니라 이 회차에 대한 사후 관측이다. 다만 방향은 같다. 배점표에 적힌 숫자와 그 배점이 실제로 만들어 낸 변별력은 따로 논다는 것, 그리고 그것을 재는 절차가 이미 있다는 것이다.

4.2자기 스코어카드를 감사하는 네 단계

사내 모델 선정이든 벤더 평가든, 조직은 결국 가중합 스코어카드를 만든다. 그리고 거의 모든 조직이 가중치를 중요도로 정하는 데서 멈춘다. 여기까지의 절차를 그대로 옮기면 네 단계가 된다. 필요한 재료는 지표별 최종 점수 행렬 하나뿐이고, 그 표는 이미 조직 안에 있다.

AAII를 이 채점표에 들여온 결정은 1차 평가의 문제를 고치기 위한 것이었다. 그렇다면 그 시험지가 무엇을 재는지도 함께 봐야 한다. 현행 버전은 v4.1.1이고 아홉 개 평가로 짜여 있다. GDPval-AA v2, 𝜏³-Banking, Terminal-Bench v2.1, SciCode, AA-LCR, AA-Omniscience, Humanity's Last Exam, GPQA Diamond, CritPt다. 이 아홉을 네 범주로 묶어 가중치를 매기는데, 에이전트 능력이 34%, 코딩이 24%, 과학적 추론이 24%, 일반 능력이 18%다. 아티피셜 어낼리시스 자신의 설명대로 무게가 에이전트 쪽에 실려 있다.

그리고 이 지수는 자기가 재지 않는 것을 스스로 밝혀 둔다. 방법론 문서의 문장을 그대로 옮기면 이렇다. "Artificial Analysis Intelligence Index is a primarily text-based, English-language evaluation suite. We benchmark models for image inputs, speech inputs and multilingual performance separately to the Intelligence Index evaluation suite." 주로 텍스트 기반이고 영어로 치르는 시험이며, 이미지와 음성과 다국어 성능은 이 지수와 별도로 잰다는 뜻이다. 다국어는 Global-MMLU-Lite로 따로 보고되고 지수 안에는 들어가지 않는다.

그래서 NIA 벤치마크가 왜 필요한지는 분명하다. 영어 시험 하나로 한국어 모델을 다 잴 수는 없다. 문제는 그 빈칸을 메우려고 만든 시험지가 정작 바깥에서 읽히지 않는다는 데 있다. 원점수도, 환산식도, 문항 수도, 일곱 분야에 15점이 어떻게 배분됐는지도 공개되지 않았다. 무엇보다 해외 모델을 같은 조건으로 앉힌 대조군 결과가 없다. 한국어 능력에서 13.4점이라는 숫자가 세계 최상위 모델 대비 어느 위치인지 이 자료만으로는 알 수 없다.

5.1한국어 시험에 해외 모델을 앉히는 일은 새 발상이 아니다

국내 한국어 벤치마크 연구는 처음부터 대조군을 넣어 왔다. KMMLU는 영어 시험을 번역한 것이 아니라 한국 시험에서 원어로 모은 45개 과목 35,030문항이다. 발표 당시 기준선으로 GPT-4와 하이퍼클로바 X의 정답률을 인간 평균과 나란히 실었다. 각각 59.95%와 53.40%, 인간이 62.6%였다. 한국 특화 문항에서 GPT-4가 현지 지식에 공백을 보인다는 관찰도 그 대조 위에서 나왔다. 후속 작업인 KMMLU-Pro는 o1과 o3, 클로드 3.7 소네트 같은 최신 추론 모델을 대조군으로 넣었다.

5.21.6점은 의미 있는 차이인가

종합점수 1위와 3위의 차이는 1.6점이다. 이 차이가 통계적으로 의미 있는 것인지 묻는 일은 까다롭지 않다. 어떤 부문에도 신뢰구간이 붙어 있지 않기 때문에 그냥 판정할 수 없다. 오차범위 안이라고 쓸 근거도 없고 밖이라고 쓸 근거도 없다.

대비되는 것은 같은 채점표 안에 들어온 AAII다. 아티피셜 어낼리시스는 자기 지수에 대해 "We estimate a 95% confidence interval for Artificial Analysis Intelligence Index of less than ±1%"라고 공표한다. 특정 모델을 열 번 넘게 반복 평가해 얻은 값이다. 이것이 예외적 친절은 아니다. 앤스로픽의 에번 밀러가 2024년에 낸 논문은 평가가 근본적으로 실험이라는 전제에서 출발해, 평가 문헌이 다른 과학 분야가 쌓아 온 실험 설계와 분석의 지식을 대체로 무시해 왔다고 지적하고 부트스트랩 신뢰구간과 짝지은 검정, 표준오차의 일관된 보고를 제안한다. 학계가 요구해 온 최소치에 가깝다.

사람이 채점하는 쪽에도 참조할 설계가 있다. 챗봇 아레나는 이용자에게 두 개의 익명 답변을 보여 주고 선호를 고르게 하며, 모델의 정체는 투표가 끝난 뒤에 공개한다. 점수는 브래들리·테리 계수로 내고 부트스트랩으로 95% 신뢰구간을 붙인다. 독파모의 사용자 평가는 다른 선택을 했다. 절대평가 1점에서 5점을 매겨 합산한 뒤 스케일링했고, 모티프테크놀로지스가 요청한 블라인드 평가는 수용되지 않았다고 회사는 밝혔다. 브랜드 인지도가 결과에 실렸을 수 있다는 것이 회사의 주장이다. 이것을 두고 틀린 설계라고 말할 수는 없다. 다른 선택을 했고, 그 선택의 근거가 공개되지 않았다는 것이 지금 확인되는 전부다.

정부도 이 문제를 알고 있었다. 차관은 부문별 1위 기업을 발표하지 않은 이유를 이렇게 설명했다. "이 평가 항목마다 각 기업들, 4개 기업들의 격차가 근소하고 또 1위를 발표할 그런 실익보다는 또 이 평가의 격차가 크지 않은 상황에서 다른 기업들한테 미치는 영향들을 종합적으로 감안했다." 격차가 근소해서 공개하지 않았다는 말은, 뒤집으면 그 격차의 변별력이 약하다는 것을 정부도 알고 있었다는 뜻이다. 그렇다면 공개하지 않는 것보다 신뢰구간을 함께 공개하는 쪽이 같은 사실을 더 정확하게 전달한다. 시험지를 어떻게 다뤄야 하는지는 벤치마크 여덟 개가 조작에 속수무책이었다는 연구를 다루면서 한 번 짚은 적이 있다.

8월 18일 브리핑에서 "글로벌 AI 3강"이라는 말은 네 갈래 근거를 오가며 쓰였다. 각각 다른 것을 재는 지표들이다. 첫째는 AAII의 국가별 프론티어 모델 성능 비교다. 둘째는 AAII에서 40점을 넘긴 구간에 어느 나라 모델이 들어 있는가다. 셋째는 에포크 AI가 고르는 주목할 만한 AI 모델에 등재된 나라가 몇인가다. 넷째로 스탠퍼드 HAI의 AI 인덱스가 뒤섞여 인용되기도 한다.

첫째 근거의 실제 문장은 이렇다. "4개 정예팀 모델이 모두 31점 이상을 기록하며 유럽, 캐나다 등의 주요 AI 모델을 모두 추월한 것으로 확인되었습니다." 이것도 리더보드로 확인할 수 있다. 발표 시점에 유럽에서 가장 높은 모델은 프랑스 미스트랄의 미스트랄 미디엄 3.5로 30.39였고, 캐나다 코히어의 커맨드 A+는 22.77이었다. 네 팀의 원점수는 30.98에서 47.36 사이이므로 이 주장도 재현된다. 다만 맨 아랫줄의 여백이 0.59점이다. 그리고 "31점 이상"의 31점은 30.98을 반올림한 값이다.

셋째 근거는 확인하지 못했다. 브리핑은 네 모델이 모두 에포크 AI의 주목할 만한 AI 모델에 등재됐고 "현재 2026년에 선정된 주목할 만한 AI 모델은 중국과 미국 그리고 우리 정예팀 모델뿐"이라고 밝혔는데, 그 목록을 시점별로 되돌릴 원자료를 우리는 구하지 못했다.

넷째 것부터 정리하면, 2026년판 AI 인덱스에서 한국은 주목할 만한 모델 수 5개로 3위다. 미국 50개, 중국 30개 다음이고 전년 4위에서 올라섰다. 그 보고서를 부문별로 뜯어 본 글에서 이미 다룬 숫자다. 그런데 HAI가 센 한국의 다섯 모델은 엑사원, 하이퍼클로바 X, 솔라 프로, A.X, 바르코다. 독파모 2차의 네 팀 모델 목록과 다르다. 같은 3위라는 말이 서로 다른 모델 집합을 세고 있다.

6.1발표 시점엔 맞았던 두 주장의 유효기간은 여드레였다

둘째 근거는 검증 가능한 사실 주장이라 직접 확인할 수 있다. 차관은 "AAII 평가에서 미국, 중국, 한국 모델만이 40점을 초과하는 점수를 받았고" 모티프3가 "전 세계 AI 기업별 최고 성능의 AI 모델 중에서 글로벌 Top10"에 올랐다고 말했다. 본 리포트는 아티피셜 어낼리시스 리더보드 전체를 내려받아 모델 610건을 제작사와 국가, 공개일과 함께 재구성한 뒤 시점을 잘라 봤다.

공개일이 8월 18일 이하인 모델만 남기면 40점을 넘긴 엔트리가 86건이다. 국가 분포는 미국이 57건, 중국이 26건, 한국이 3건이고 제3의 나라가 없다. 모티프3의 기업별 순위는 정확히 10위다. 정부 발표 두 문장이 모두 그대로 재현된다.

그 한국 세 건은 모티프3와 그 베타 버전, 그리고 업스테이지의 솔라 프로 4다. 뒤엣것은 독파모 평가에 제출된 모델이 아니다. 그러니까 40점 선 위에 있던 한국 모델 세 건 가운데 이번 채점표에 오른 것은 하나뿐이었고, 그 하나를 낸 팀이 떨어졌다.

그런데 8월 28일 기준으로 같은 계산을 하면 40점 초과가 90건이 되고 국가 분포에 싱가포르 하나가 붙는다. 싱가포르 사피엔스 AI의 아그네스 2.5 프로 베타가 49.10으로 들어왔기 때문이다. 공개일이 8월 26일, 정부 발표 여드레 뒤이고 모티프3의 47.36보다 위다. 그 직전 버전은 7월 24일 공개 당시 39.71로 40점 선 바로 아래에 있었다. 모티프3의 기업별 순위도 11위로 한 칸 내려간다.

브리핑에는 같은 성질의 문장이 하나 더 있다. 차관은 모티프테크놀로지스가 "미국, 중국 외 국가에서 개발한 AI 모델 중 세계 최고 성능을 기록"했다고 말했다. 이 역시 발표 시점에는 맞는다. 그때 미국과 중국 바깥에서 모티프3 다음으로 높았던 것이 방금 말한 39.71이다. 같은 회사의 다음 버전이 여드레 뒤에 그 자리를 가져갔다.

이 재구성에는 한계가 하나 있다. 우리가 자른 기준은 모델의 공개일이지, 아티피셜 어낼리시스가 그 모델을 지수에 언제 올렸는지가 아니다. 두 시점은 다를 수 있고 후자는 확인하지 못했다. 그러니 이 재구성은 발표 시점 상태의 근사다.

40점 선을 두고는 문장 하나를 더 붙여야 오해가 없다. 독파모 평가에 제출된 네 모델 가운데 40점을 넘은 것은 모티프3 하나뿐이고, 그 팀이 떨어졌다. 그리고 업스테이지는 평가에 내지 않은 별도 모델인 솔라 프로 4로 41.64를 받아 40점 선을 이미 넘겨 놓았다. 앞 문장만 쓰면 신생 기업 역차별 서사가 되고, 뒤 문장만 쓰면 탈락이 별일 아닌 것처럼 읽힌다. 둘을 붙여 써야 사실이다.

같은 리더보드로 차관이 브리핑에서 든 생태계 숫자도 대조해 봤다. 등록된 회사가 58개라는 말은 고유 제작사 58개로 정확히 맞고, 한국 기업 7개도 SK텔레콤과 LG AI연구원, 업스테이지, 네이버, KT, 모티프테크놀로지스, 트릴리온랩스로 맞고, UAE가 2개라는 말도 맞다. 국가 수만 어긋난다. 차관은 12개국이라고 했는데 우리 조회로는 11개국이다. 그가 그 자리에서 한 곳씩이라고 이름을 든 나라는 프랑스와 영국, 이스라엘, 싱가포르였다. 우리 목록에는 영국이 없고 대신 스위스와 스페인이 들어 있다. 스냅샷 시점이나 국가 귀속 기준의 차이로 보이므로 어느 쪽이 옳다고 예단하지는 않는다. 넷 중 셋이 소수점 없이 맞아떨어진다는 사실 자체가, 이 발표의 숫자들이 대체로 단단하다는 뜻이다.

싱가포르는 발표 당일에도 이미 그 열두 나라 안에 들어 있었다. 40점 선 아래에 있었을 뿐이다. 여드레 뒤에 새로 나타난 나라가 아니라, 이미 그 자리에 서 있다가 선을 넘은 나라다.

6.295%라는 목표는 무엇으로 판정하나

독파모 사업의 최종 목표는 글로벌 AI 모델 성능의 95% 이상 달성이다. 국회예산정책처는 이미 1월에 그 목표를 판정할 객관적 비교·평가가 필요하다고 지적했다. 무엇을 100으로 놓느냐가 정해져 있지 않기 때문이다. 시험 삼아 AAII 원점수를 잣대로 삼으면 조회 시점 세계 1위가 63.05이므로 95% 선은 59.9가 된다. 네 팀은 30.98에서 47.36 사이에 있다. 그러나 이 계산 자체가 임의 선택이다. 코딩만 재는 지수를 들이대면 다른 숫자가 나오고, 한국어 능력으로 재면 또 다르다. 목표를 세운 쪽이 잣대를 정해 주지 않으면 달성 여부는 인용하는 사람마다 달라진다.

모티프테크놀로지스도 입장문에서 같은 잣대를 들었다. 프런티어 모델이 63점인데 자사 모델은 그 75% 수준이고 국내 최하위 모델은 49% 수준이니, 95%라는 목표와는 아직 거리가 멀다는 주장이다. 앞의 표에서 계산한 값과 소수점까지 같은 자리다. 다만 회사가 최하위로 지목한 31점은 자사 점수가 아니라 K-엑사원 2.0의 원점수다. 이 문장은 오독되기 쉬워서 인용할 때마다 주어를 붙여야 한다.

그래서 평가를 한 장이 아니라 두 장의 성적표로 나누자는 제안이 나온다. 한 장은 글로벌 모델 역량 성적표다. AAII와 NIA 일곱 분야, 한국어 실사용 평가를 해외 최상위 모델과 같은 조건으로 시행하고, 최대 성능 평가와 동일 비용·토큰 한도 평가를 따로 공개한다. 다른 한 장은 독자성과 공공가치 성적표다. 모델과 데이터, 학습 기술의 독자성, 오픈웨이트 여부와 라이선스, 국산 AI 반도체 운용 가능성, 국내 산업 확산과 데이터 주권, 비용과 속도와 전력 효율이 여기 들어간다. 외국 모델에 국내 생태계 기여계획을 채점하는 것은 무의미하므로 100점을 통째로 적용하지는 않는다. 두 장으로 나누면 세계에서 몇 위인가라는 질문과 한국이 전략적으로 보유할 가치가 있는가라는 질문이 섞이지 않는다.

6.3공개해야 할 것은 시험지가 아니라 조건이다

평가 기준을 공개하라는 요구를 문항을 공개하라는 요구로 읽으면 안 된다. 시험문제를 전부 공개하면 그 문제를 학습해 점수만 끌어올리는 일이 벌어진다. 이번 평가에서도 그 의혹이 실제로 제기됐다. 미국 AI 데이터 기업 애프터쿼리가 모티프3 개발의 유일한 데이터 파트너로 참여했다고 소셜미디어에 밝히면서 벤치마크 최적화 논란이 붙었다. 회사 대표는 에이전트 과제를 수행하는 데 필요한 일반 데이터를 사서 성능을 올린 것일 뿐 점수를 위한 협업은 아니었다고 반박했다. 정부는 아티피셜 어낼리시스에 공식 분석을 의뢰했고, 체계적인 암기나 과적합을 입증할 단서를 찾지 못했다는 답을 받아 이 사안을 평가에 반영하지 않았다. 의혹이 제기됐다는 사실과 무혐의로 정리됐다는 사실은 항상 함께 적어야 한다.

공개 대상은 시험지가 아니라 시험 조건이다. 평가 분야와 가중치, 문항 구성 원칙, 프롬프트와 시스템 지침, 모델 버전과 추론 강도와 토큰 한도와 도구 사용 조건, 자동채점기와 인간 평가자의 판정 기준, 반복 횟수와 신뢰구간, 평가위원 선정 기준과 이해충돌 내역, 익명화한 모델 출력과 채점 기록, 학습 데이터 오염 검사 결과, 그리고 퇴역시킨 문항과 재현용 코드다. 문항 자체는 비공개로 순환시키고 사용이 끝난 문항만 정기적으로 풀면 투명성과 시험 보안을 함께 지킬 수 있다.

이 설계는 공상이 아니다. 일본 경제산업성의 GENIAC 사업은 1기 성능평가에서 공정성을 위해 완전히 미지의 테스트 데이터를 쓰는 것이 중요하다고 보고, 웨이츠 앤 바이어시스와 협업해 홀드아웃 데이터셋을 만들어 채점했다. 일본어 두 종과 참고용 영어 두 종을 썼고, 0-shot과 4-shot의 평균값을 기재한다는 식으로 평가 조건까지 각주로 밝혔다. 공모 요건에는 평가용 벤치마크를 학습에 쓰지 말 것과 종료 후 결과를 공표할 것이 들어 있었다. 시험지는 비공개, 조건과 결과는 공개라는 조합이 이웃 나라 국가 사업에 이미 있다. 다만 그 공개 도표에 해외 프런티어 모델이 대조군으로 들어갔는지는 결과가 이미지 안에 있어 확인하지 못했다.

이해충돌 내역이 공개 항목에 들어가야 하는 이유도 이번 평가 안에 있다. 아티피셜 어낼리시스는 1월에 이 사업을 한국 AI 모델을 프런티어 수준으로 끌어올리는 핵심 동력이라고 공개적으로 평가했고, 8월에는 그 사업의 채점자가 됐으며, 이번 평가를 위해 전용 플랫폼을 만들었고, 3차 평가에도 자문으로 참여할 예정이다. 이것을 부정한 일이라고 말하려는 것이 아니다. 외부 공신력을 확보하려는 목적은 정당하고, 1차의 문제를 실제로 고친 조치다. 다만 채점자와 사업 사이에 이런 관계가 있을 때 그 내역을 함께 밝히는 것이 평가의 신뢰를 지키는 방법이라는 것, 그래서 이해충돌 공개가 투명성 항목의 하나여야 한다는 것이다.

모티프테크놀로지스가 요구한 것도 대체로 이 목록 안에 있다. 전체 평가 항목별·업체별 상세 점수와 기준 공개, 벤치마크 배점 산정 방식의 근거, 전문가 평가의 상세 기준과 결과, 사용자 평가 방법론과 상세 기준이다. 회사는 재심의 결과와 무관하게 3차 사업에는 참여하지 않겠다고 밝혔다. 과학기술정보통신부는 8월 27일 기준 보름 이내에 결정하겠다고 밝혔다. 2026년 8월 28일 현재 그 결과는 나오지 않았고, 이 글은 결과를 예단하지 않는다.

회사는 8월 25일 국무회의 대통령 보고에서 정부가 독파모 47점과 글로벌 3강을 성과로 들고서 정작 그 점수를 낸 팀을 탈락시킨 것은 정책적 모순이라고도 했다. 국무회의 보고 원문은 우리가 확보하지 못했으므로 회사의 주장으로만 적어 둔다.

정부 쪽 설명도 같은 자리에 놓아야 한다. 브리핑은 "평가 기준과 절차 등 평가방법 관련 상세한 내용은 참여 정예팀 모두가 사전에 합의한 사항"이라고 밝혔다. 정량 평가의 변별력이 줄었다는 지적에 대해서는 과기정통부 관계자가 언론에 이렇게 답했다. 2차 사업이 진행되는 사이 에이전트 추론과 코딩 쪽으로 기술 흐름이 빠르게 옮겨 갔고, 처음 기획할 때부터 목표가 움직인다는 전제를 두었으므로 그에 맞춰 평가 기준을 조정하는 것이 사업 취지에 맞는다는 것이다. 두 설명은 서로 다른 것을 말한다. 앞은 절차가 합의됐다는 사실이고, 뒤는 기준을 조정한 이유다. 회사가 요구한 것은 그 조정의 근거를 숫자로 보여 달라는 쪽에 가깝다.

한 가지 더. 정부는 2027년 이후 사업 구조를 두고 "지금과 같은 경쟁 방식을 좀 탈피"하고 "전면적으로 재편하는 방향"을 고민하고 있다고 밝혔다. 예산이 확정되지 않아 미정이라는 단서가 붙어 있으니 폐지가 예정됐다고 읽으면 안 된다. 재검토를 공언한 상태다. 국회예산정책처가 적어 둔 당초 계획은 2027년에 최종 2개 팀으로 압축한다는 것이었다. B200 지원이 768장에서 1,000장 수준으로 늘어나고 국가 AI 컴퓨팅센터가 착공에 들어간 것과 같은 시기에, 그 자원을 누구에게 줄지 정하는 절차가 다시 설계되고 있다는 뜻이다. 규모도 작지 않다. 브리핑에서 인프라정책관은 6개월 임차를 가정할 때 한 팀에 400억 원 안팎, 세 팀을 합치면 1,200억 원 정도로 본다고 밝혔다. 그 절차를 다시 짜는 자리에서 이 글이 짚은 것들이 쓰이면 좋겠다.

페블러스가 학습 데이터에 하는 일은 중복을 걷어 내고 대표성을 진단하고 판정 근거를 대장에 남기는 것이다. 이번 사건은 그 문법을 평가 스코어카드에 그대로 적용할 수 있는 국내 정책 사례다. 100점짜리 채점표는 다섯 개 지표를 가중합해 만든 파생 데이터셋이고, 데이터셋이면 진단 대상이다. 지표들이 서로 같은 것을 재고 있지는 않은가, 어떤 지표가 상한에 붙어 정보를 잃었는가, 스케일이 서로 달라 명목 가중치가 뒤틀리지 않았는가.

그렇게 보면 이 회차의 결과는 익숙한 결함 목록으로 번역된다. 포화가 있다. NIA 15점이 네 팀을 만점의 85% 언저리에 몰아넣어 폭이 0.7점에 그쳤다. 스케일 불일치가 있다. AAII는 만점의 아래쪽 절반에서 움직이고 NIA는 위쪽 끝에 붙어 있는데 둘이 같은 100점 안에 들어 있다. 가중치 왜곡이 있다. 명목 15%가 실효 6%로, 명목 25%가 실효 42%로 갈라졌다. 결측도 있다. 사용자 평가 여덟 칸은 후속 보도로 채워졌지만 NIA의 원점수와 환산식과 문항 수, 그리고 해외 대조군은 여전히 비어 있다. 마지막으로 불확실성이 표기되지 않았다. 어느 부문에도 신뢰구간이 없다. 학습 데이터에서 이 목록이 나오면 우리는 성적서를 쓴다. 모델을 재는 데이터라고 다를 이유가 없다.

실무로 옮기는 절차는 앞 절의 네 단계 그대로다. 요점은 채점이 끝난 뒤에 흩어짐을 한 번 재 보는 것이고, 그 한 단계가 어떤 지표로 총점이 만들어지고 있었는지를 드러낸다.

공공 영역에서는 이런 감사가 이미 자기 몫을 한 적이 있다. 정부가 만든 AI 학습데이터를 지자체가 다시 만든 사례를 추적한 글이 그랬다. 그때 본 것은 데이터 목록이었고 이번에 본 것은 채점표다. 대상이 달라졌을 뿐 절차는 같다. 성적서를 만드는 일과 그 성적서가 제대로 재고 있는지 확인하는 일은 결국 이어져 있다.

참고문헌

정책 · 1차 자료

• 1.과학기술정보통신부 (2026). 독자 AI 파운데이션모델 프로젝트 2차 단계평가 결과 브리핑 전문. 대한민국 정책브리핑, 2026-08-18. (부문 배점·집계·질의응답. 이 글이 인용한 차관 발언은 모두 이 전문에서 왔다)
• 2.연합뉴스 (2026). 과기정통부, 독파모 2차 평가 점수 공개…SKT 1위. 2026-08-27. (팀별 부문 점수 전면 공개. 이 글의 원자료)
• 3.연합뉴스 (2026). LG·SKT·업스테이지 독파모 3파전…한국 AI 글로벌 3위. 2026-08-18. (2차 평가 결과 발표, 부문별 평균과 격차)
• 4.데일리안 (2026). '독파모' 2차 평가 항목별 최고점은 모티프·SKT·LG. 2026-08-20. (세부 채점 규칙, 스케일링과 절대평가, 모티프 특례)
• 5.국회예산정책처 (2026). AI 3대 강국 도약을 위한 예산 현황과 향후 과제. 나보포커스 제132호, 2026-01-22. (1차 평가 공정성 논란과 95% 목표의 판정 지표 부재)
• 6.아이티데일리 (2026). 모티프테크놀로지스 이의 제기 입장문 보도. 2026-08-27. (이의 제기 사항 4가지)
• 7.블로터 (2026). 모티프 입장문 보도 — 환산 격차 4점, 블라인드 평가 요청, 데이터 파트너 논란. 2026-08-27.
• 8.헤럴드경제 (2026). 독파모 평가 공방 관련 보도. 2026-08-27. (후속 보도 포함)
• 9.経済産業省 (2024). GENIAC事業 第1期 性能評価結果公開. 최종 갱신 2024-12-26. (제3자 기관과 홀드아웃 데이터를 쓴 국가 사업 평가 선례. 평가 조건과 결과 공개 방식)

방법론 · 데이터

• 10.Artificial Analysis. Intelligence Benchmarking Methodology (AAII v4.1.1). 2026-08-28 확인. (9종 구성, 범주 가중치, 영어 단일언어 범위 선언, 95% 신뢰구간 ±1% 미만)
• 11.Artificial Analysis. Models Leaderboard. 2026-08-28 조회. (모델 610건의 제작사·국가·공개일·지수 원점수. 40점 초과 구간 재구성과 생태계 숫자 검증에 사용)

학술

• 12.Paruolo, P., Saisana, M., & Saltelli, A. (2013). Ratings and rankings: voodoo or science? Journal of the Royal Statistical Society: Series A, 176(3), 609–634. (명목 가중치와 주효과의 괴리. 대학 순위 0.20 대 0.09)
• 13.Miller, E. (2024). Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv:2411.00640. (평가는 실험이라는 전제, 부트스트랩 신뢰구간과 짝지은 검정)
• 14.Chiang, W.-L., et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132. (익명 블라인드 쌍대비교, 브래들리·테리 계수, 부트스트랩 신뢰구간)
• 15.Kipnis, A., Voudouris, K., Schulze Buschoff, L. M., & Schulz, E. (2024). metabench — A Sparse Benchmark of Reasoning and Knowledge in Large Language Models. arXiv:2407.12844. (28,632문항을 3% 미만으로 압축, 총점 0.58%·개별 벤치마크 평균 1.24% 오차)
• 16.Maia Polo, F., et al. (2024). tinyBenchmarks: evaluating LLMs with fewer examples. ICML 2024, arXiv:2402.14992. (MMLU 14,000문항을 100문항으로 추정)
• 17.Son, G., et al. (2024). KMMLU: Measuring Massive Multitask Language Understanding in Korean. arXiv:2402.11548. (45개 과목 35,030문항. GPT-4와 하이퍼클로바 X를 인간 평균과 나란히 보고)
• 18.From KMMLU-Redux to KMMLU-Pro: A Professional Korean Benchmark Suite for LLM Evaluation. arXiv:2507.08924. (최신 추론 모델을 대조군으로 포함한 한국어 전문 분야 평가)
• 19.Stanford HAI (2026). The 2026 AI Index Report. (주목할 만한 모델 수 기준 한국 3위, 5개)

페블러스 선행 리포트

• 20.페블러스 (2026). 피지컬 AI 벤치마크 두 쌍을 합치자 모델 22개가 흔들렸다. 2026-08-28.
• 21.페블러스 (2026). '풀지 않고도 만점' AI 벤치마크 8개, 조작에 속수무책. 2026-04-12.
• 22.페블러스 (2026). 특허 1위, 인재 35위.
• 23.페블러스 (2026). 정부가 만든 AI 학습데이터를 지자체가 다시 만들었다.
• 24.페블러스 (2026). 국가 AI 컴퓨팅센터 착공에 들어가다.
• 25.페블러스 (2026). 증류로는 주권을 살 수 없다.