Executive Summary

로봇을 움직이는 모델이 얼마나 잘하는지 알고 싶으면 모델 카드를 연다. 그런데 회사마다 펼쳐 놓는 시험지가 다르다. 구글이 채점한 벤치마크와 알리바바가 채점한 벤치마크는 겹치는 것이 몇 개 되지 않고, 겹치지 않는 칸은 그냥 비어 있다. 모델을 행에, 벤치마크를 열에 놓고 공개된 점수를 채워 넣으면 표는 대부분 구멍이다. 8월 26일 arXiv에 올라온 프리프린트 한 편이 이 구멍 난 표 자체를 데이터로 삼는다.

저자들은 그 구멍이 두 가지 결과를 낳는다고 정리한다. 첫째, 모델을 견줄 공통 축이 없다. 논문은 이 대목에서 피지컬 AI에는 텍스트 임베딩 분야의 MTEB 같은 리더보드가 없다고 쓴다. 둘째, 보고된 숫자 자체가 오도할 수 있다. 헤드라인 점수는 보통 고른 벤치마크들의 평균인데, 그 벤치마크들이 겹치는 능력을 재고 있으면 평균은 겹친 신호를 조용히 두 번 센다.

논문이 든 예가 포인팅이다. 물건을 집을 위치나 빈 공간의 좌표를 찍어 내는 이 한 가지 능력은 한 리포트 안에서 여러 번 채점된다. Gemini Robotics-ER 1.5는 Point-Bench와 RefSpatial, RoboSpatial-Pointing, Where2Place 넷을 보고하고, RoboBrain 2.0은 RoboSpatial과 RefSpatial-Bench, Where2Place 셋을, Qwen3-VL은 RefSpatial과 RoboSpatial-Home 둘을 보고한다. 3D 배치 추론과 관계 질의응답에서도 같은 반복이 나타난다고 논문은 덧붙인다.

1.1리포트 세 건을 직접 열어 봤다

이 주장은 논문 바깥에서 확인할 수 있는 몇 안 되는 대목이라, 본 리포트가 세 모델 리포트의 원문을 직접 받아 대조했다. 세 건 모두 논문이 적은 그대로였다. 그리고 실제 상황은 논문의 서술보다 심했다.

구글 딥마인드의 Gemini Robotics 1.5 리포트는 임바디드 추론 점수를 매기는 방식을 이렇게 밝힌다. "임바디드 추론 점수는 공간추론 벤치마크 50%와 질의응답 벤치마크(이미지와 비디오 모두) 50%의 가중평균이다." 그 리포트가 공간추론 묶음에 넣은 벤치마크는 넷이고, 넷 다 포인팅 계열이다.

가중 규칙이 서술로만 남은 것이 아니라 총점을 만든 실제 계산이라는 점은 표 안에서 확인된다. 공간추론 묶음 평균 52.6과 질의응답 묶음 평균 66.5를 반씩 섞으면 59.55가 나오고, 리포트가 같은 표에 임바디드 추론 점수로 적어 둔 값은 59.6이다. 소수점 한 자리에서 맞는다.

환산하면 포인팅 벤치마크 하나가 총점의 약 12.5%를 가져가고 질의응답 벤치마크 하나는 약 4.5%를 가져간다. 포인팅 한 개가 질의응답 한 개의 두 배 반이 넘는 무게다. 그리고 그 넷 가운데 RefSpatial과 Where2Place는 감사 논문이 서로 대체 가능하다고 지목한 바로 그 쌍이다.

BAAI의 RoboBrain 2.0 리포트는 자신이 아홉 개의 공간추론 벤치마크에서 평가했다고 밝히면서 BLINK, CV-Bench, EmbSpatial, RoboSpatial, RefSpatial-Bench, SAT, VSI-Bench, Where2Place, ShareRobot-Bench를 나열한다. 아홉 개 중 여덟 개가 감사 논문의 12개에 속하고, 그 여덟 안에는 논문이 지목한 두 대체재 쌍이 통째로 들어 있다. EmbSpatial과 CV-Bench가 한 쌍이고 Where2Place와 RefSpatial-Bench가 다른 한 쌍이다. 논문은 포인팅 쌍만 예로 들었지 한 벤더의 스위트 안에 두 쌍이 모두 들어앉아 있다는 사실은 짚지 않았다. 알리바바의 Qwen3-VL 리포트는 임바디드 묶음으로 ERQA, VSI-Bench, EmbSpatial, RefSpatial, RoboSpatial-Home 다섯을 쓰고, 여기에 일반 질의응답 묶음의 RealWorldQA와 다중이미지 묶음의 BLINK가 더해진다.

1.2구멍 난 표를 어떻게 메웠나

저자들은 모델 카드와 논문, 공식 블로그에서 피지컬 AI 벤치마크 51개를 색인하는 것으로 시작했다. 여기서 51이라는 숫자가 처음 나오는데, 이때의 51은 벤치마크 개수다. 같은 방식으로 색인한 모델은 152개였다. 벤치마크 51개에서 12개를 추리는 기준은 셋이었다. 최소 다섯 개 모델이 점수를 보고했을 것(밀도), 최근 모델 리포트에 반복해서 등장할 것(최신성), 그리고 함께 놓았을 때 피지컬 AI가 재는 주요 과제를 두루 덮을 것(다양성)이다. 마지막 기준은 방어적이다. 같은 과제의 열두 가지 판본을 골라 놓고 중복을 발견했다는 소리를 듣지 않기 위해서다.

그렇게 고른 12개 벤치마크로 다시 모델을 걸렀다. 12개 가운데 3분의 2인 8개 이상에 점수가 있는 모델만 남기니 152개 중 51개가 남았다. 여기서 51이 두 번째로 나온다. 이번 51은 모델 개수이고, 앞의 51과는 아무 관계가 없다. 남은 모델들은 2024년부터 2026년 사이에 나왔고 공급자는 15곳이며, 오픈웨이트와 클로즈드가 섞여 있고 크기는 10억에서 2,410억 파라미터에 걸쳐 있다.

모델 51개에 벤치마크 12개면 칸이 612개다. 공개된 점수만으로는 공분산을 계산할 만큼 채워지지 않아, 저자들은 빈 칸을 직접 돌려서 메웠다. 각 벤치마크의 공식 평가 코드와 프롬프트를 그대로 쓰고 그리디 디코딩과 그 벤치마크 자신의 정답 파싱 규칙을 따랐다. 그렇게 159칸이 자체 실행으로 채워졌다. 최종적으로 612칸 중 564칸이 찼고 48칸이 비었다.

채워진 564칸의 출처를 저자들은 부록에서 갈라 놓았다. 405칸이 공개값에서 왔는데 그 안이 또 셋으로 나뉜다. 379칸은 모델 카드나 논문에서 그대로 옮긴 것이고, 25칸은 서로 다른 공개값이 충돌해 중앙값을 취한 것이며, 한 칸은 쌍둥이 모델에서 빌려 왔다. 나머지 159칸이 저자들의 자체 실행이다. 25라는 숫자는 뒤에서 다시 나온다.

앞서 나온 세 기준 가운데 다양성이 실제로 어떻게 채워졌는지는 저자들이 붙인 분류에서 드러난다. 열두 개는 다섯 묶음으로 나뉜다. 좌표를 찍어 답하는 포인팅 둘(RefSpatial-Bench, Where2Place)은 로봇 정책이 실제로 받아 쓰는 형식에 가장 가깝다. 한 장면을 보여 주고 상대 위치나 깊이, 개수, 다른 시점에서 본 모습을 묻는 단일 이미지 관계 넷(EmbSpatial, CV-Bench, OmniSpatial, RealWorldQA)이 있고, 한 프레임으로는 풀 수 없는 다중 시점과 비디오 셋(MindCube, SAT, VSI-Bench)이 있다. MindCube는 한 장면을 두 장에서 네 장의 시점으로 보여 주고 VSI-Bench는 공간을 걸어 다니며 찍은 영상을 준다. 로봇의 시점에서 무엇을 집을 수 있고 어디에 놓을 수 있으며 그 배치가 가능한지를 묻는 임바디드 둘(ERQA, RoboSpatial)이 넷째고, BLINK는 일반 시지각 벤치마크로 혼자 떨어져 있다.

이 분류에는 단서가 붙어 있다. 저자들은 이것을 독자가 기대할 만한 지도로만 쓰고 분석에는 쓰지 않았다고 못박는다. 묶음별로 미리 묶어 놓고 그 안에서 상관을 잰 것이 아니라는 뜻이다. 뒤에 나올 중복 진단은 이 다섯 묶음을 모르는 채로 점수만 보고 계산된다. 그래서 진단 결과가 묶음 경계와 어긋나는 자리가 생긴다. 5절에서 끝까지 살아남는 결합 하나와 뜻밖의 음의 상관 하나가 모두 묶음을 가로질러 나타난다.

아래가 최종 12개 벤치마크의 프로필이다. 문항 수부터 편차가 크다. 100문항짜리와 2만 문항이 넘는 것이 한 표 안에 있다. 지니계수 g는 그 벤치마크가 모델들을 얼마나 넓게 벌려 세우는지를 나타내고, 4절의 선택 절차에서 다시 쓰인다.

1.3이름 하나가 여러 시험지를 가리킨다

앞서 나온 25칸, 공개값이 충돌해 중앙값을 취했다는 그 칸들이 어떤 모습인지는 구글 리포트 한 장에서 그대로 보인다. 같은 모델의 같은 표 안에 RoboSpatial-Pointing 31.1과 RoboSpatial-VQA 79.3이 따로 적혀 있다. 48점 차이다. Qwen3-VL은 또 다른 변종인 RoboSpatial-Home을 쓴다. 그런데 감사 논문의 행렬에서 RoboSpatial은 한 열이고, 그 열의 점수 범위는 29.4에서 72.6 사이다. 79.3은 이 범위 밖에 있다.

어느 값을 담았든 나머지 하나는 그 열에 들어갈 수 없다. 저자가 틀렸다는 뜻은 아니다. 공식 프로토콜상 특정 스플릿만 취하는 쪽이 옳을 수도 있다. 정확한 서술은 이렇다. 벤치마크 이름 하나가 리포트마다 다른 스플릿을 가리키고, 행렬의 한 열은 그중 하나를 골라야 하며, 그 선택은 행렬에 기록되지 않는다. 벤치마크 점수를 데이터로 다룰 때 나오는 결측이나 이상치와 성격이 다른 문제다. 여기서 흔들리는 것은 값이 아니라 값이 가리키는 대상이다.

이름이 흔들리는 경우만 있는 것도 아니다. 본 리포트가 구글 리포트의 두 표를 나란히 놓고 대조해 보니, 같은 리포트 안에서 같은 모델의 같은 벤치마크 점수가 두 번 적히고 값이 다른 자리가 있었다. 15종을 한 장에 모은 채점표는 Gemini 2.5 Pro의 Where2Place를 37.0으로 적는데, 포인팅을 하위 과제별로 쪼갠 뒤쪽 표는 같은 칸을 22.0으로 적는다. 15점 차이다. 두 표에서 그 줄의 나머지 여섯 칸은 소수점까지 똑같고, 바로 윗줄 RefSpatial이 49.3과 49.2로 어긋나는 정도는 반올림으로 볼 수 있다. 그 줄만 다르다.

감사 논문이 공개값끼리 부딪혀 중앙값을 취했다는 25칸은 그러니까 리포트와 리포트 사이에서만 생기지 않는다. 리포트 한 편 안에서도 생긴다. 행렬을 짓는 쪽에서 보면 이런 칸은 눈에 잘 띄지도 않는다. 두 표가 같은 문서에 있으니 출처를 대조할 대상이 애초에 하나로 보인다.

그래도 행렬을 짓는 뼈대 자체는 바깥에서 재현된다. 본 리포트가 세 모델 리포트에서 감사 논문의 12개에 속하는 벤치마크만 골라 세어 보고, 논문 부록의 공개값 칸 수와 맞춰 봤다.

세 건 모두 맞는다. 저자들은 공개된 점수 자체를 검증했다고 주장하지 않지만, 어느 리포트에서 어느 벤치마크를 가져왔는가라는 뼈대는 바깥에서 다시 세어도 같은 수가 나온다. 벤치마크 점수를 신뢰하기 어렵게 만드는 다른 결함들, 이를테면 사전학습 데이터에 시험지가 새어 들어가는 오염 같은 것은 이 감사의 사정권 밖이다. 이 논문이 묻는 것은 점수가 맞느냐가 아니라, 맞다고 치더라도 열두 개가 서로 다른 것을 재고 있느냐다.

이런 감사가 처음은 아니다. 텍스트 LLM 쪽에는 선행이 있다. Metabench는 여섯 개 LLM 벤치마크의 28,632문항에 문항반응이론을 적용해, 5,000개가 넘는 모델의 점수를 문항의 3% 미만으로 복원할 수 있음을 보였다. Burnell 연구진은 29개 LLM을 27개 과제 위에서 요인분석해 세 개의 능력 요인을 뽑았고, Metric 논문은 그 세 요인이 분산의 82%를 설명한다고 인용한다.

두 선행 모두 문항 수준의 응답 데이터를 요구한다. 어느 모델이 어느 문항을 맞혔는지가 있어야 한다. 피지컬 AI에는 그런 데이터가 없다. 공개되는 것은 집계 점수뿐이다. 이 논문이 맞바꾼 것이 여기 있다. 해상도를 포기하는 대신, 다시 말해 어느 문항이 중복인지는 짚지 못하는 대신, 벤치마크 수준에서 같은 질문에 답한다. 그 대가로 얻는 것이 적용 범위다. 집계 점수와 충분한 중첩만 있으면 어느 분야에나 쓸 수 있는 절차가 된다. 저자들은 결론에서 이 감사가 피지컬 AI에 고유한 성질을 하나도 쓰지 않는다고 적어 둔다.

2.166개 쌍이 전부 양수였다

첫 계산은 쌍별 순위상관이다. 벤치마크마다 난이도가 다르니 점수 그대로 비교하면 난이도와 정보가 섞인다. 논문의 표에서 평균 점수는 30점대부터 82점까지 벌어져 있다. 두 벤치마크가 같은 능력을 재면서 난이도만 다르면 점수의 수준과 폭은 달라도 모델을 세우는 순서는 같아진다. 그래서 저자들은 순위로 계산되는 스피어만 상관을 기본 지표로 삼고, 다변량 분석에 들어가기 전에는 각 열을 z-점수로 표준화한다.

12개 벤치마크에서 나오는 쌍은 66개다. 평균 상관은 0.487이었고, 66개가 전부 양수였다. 음의 상관이 하나도 없다는 것은 어떤 벤치마크에서 잘하는 모델이 다른 어떤 벤치마크에서도 대체로 잘한다는 뜻이다. 그중 0.8을 넘는 쌍이 둘 나왔다.

• EmbSpatial과 CV-Bench, ρ = 0.876 (95% 신뢰구간 0.78–0.93, n = 49)
• Where2Place와 RefSpatial-Bench, ρ = 0.860 (0.73–0.93, n = 50)

그다음으로 높은 쌍은 ERQA와 RealWorldQA의 0.758, RealWorldQA와 OmniSpatial의 0.748이다. 반대편 끝에는 BLINK가 있다. 상관 기준으로 가장 고유하고, 계층 군집의 덴드로그램에서 혼자 가지를 이룬다.

2.2나머지 열한 개로 한 개를 되살릴 수 있는가

두 개씩 견주는 것으로는 부족하다. 어떤 벤치마크는 짝이 되는 하나가 없어도 나머지 열한 개를 조합하면 재현될 수 있다. 저자들은 각 벤치마크를 나머지 열한 개로 예측하는 릿지 회귀를 돌리고, 모델을 하나씩 빼면서 교차검증한 결정계수를 계산했다. 이 값이 높으면 그 벤치마크는 나머지로 되살릴 수 있다는 뜻이고, 낮으면 남들이 주지 않는 것을 준다는 뜻이다. 아래 표는 양 끝의 세 개씩이다.

중앙값에 놓인 벤치마크는 자기 분산의 절반쯤을 나머지 열한 개로 되살릴 수 있다. 가장 심한 셋은 Where2Place와 RefSpatial-Bench, ERQA인데 이 셋은 서로가 서로의 예측자로 반복해서 등장한다. 그리고 표의 오른쪽 열을 세로로 훑으면 MindCube가 자주 보인다. 열한 번의 회귀 가운데 일곱 번에서 최상위 예측자로 올라와, 이 스위트에서 공유되는 행동의 허브 노릇을 한다. ERQA와 RefSpatial-Bench가 다섯 번씩으로 그다음이다.

저자들은 여기서 한 가지 단서를 단다. 낮은 R²가 고유한 정보를 담고 있어서일 수도 있지만, 그 벤치마크가 잡음이 커서 아무도 예측하지 못하는 것일 수도 있다. 둘을 가르려면 프롬프트와 디코딩 시드, 파싱 규칙을 바꿔 가며 반복 평가해야 하는데 현재의 보고 관행은 그 데이터를 주지 않는다. 중복이 한 방향의 축이 아니라는 정리도 함께 붙는다. 많이 겹치는 벤치마크는 공유 구조의 대표로서 쓸모가 있고, 고유한 벤치마크는 보완 증거로서 쓸모가 있다. 이 구분이 4절의 선택 절차를 떠받친다.

2.3이 시험지들은 어디서 왔나

중복된 셋에는 공통점이 하나 있어 보인다. 본 리포트가 논문 2절의 도입 출처 인용을 근거로, 각 벤치마크가 평가를 목적으로 만들어진 독립 논문에서 나왔는지 아니면 모델을 발표하면서 함께 낸 시험지인지 분류했다. 논문에 없는 분류이므로 근거를 함께 적는다.

두 대체재 쌍을 이 분류에 비춰 보면 결과가 갈린다. Where2Place와 RefSpatial-Bench는 둘 다 로봇 포인팅 모델을 발표하면서 함께 낸 시험지다. RoboPoint와 RoboRefer라는 같은 계보에서 나온 두 시험지가 서로 대체재라는 것은 앞뒤가 맞는다. 반면 EmbSpatial과 CV-Bench는 계보가 다르다. 한쪽은 평가 전용 논문이고 다른 쪽은 Cambrian-1이라는 모델 논문의 부산물인데도 0.876으로 붙어 있다.

가장 중복된 셋이 모두 모델 발표 부산물이라는 사실은 그냥 지나치기 어렵다. 자기 모델의 강점을 보이려고 함께 낸 시험지들은 서로 닮는 경향이 있다. 다만 반례가 있다. 가장 고유한 1위 RealWorldQA도 모델 발표 부산물이다. 관측이 열두 개뿐이라 통계적 검정은 성립하지 않으니, 출신만으로 중복이 결정된다고까지는 말할 수 없다.

중복이 있다는 것만으로는 아직 실무의 문제가 아니다. 문제는 그 위에 총점을 얹을 때 생긴다. 저자들은 모델마다 12개 점수의 산술평균을 내고 높은 순으로 줄을 세웠다. 이것이 모델 카드가 하는 일과 같은 계산이다. 그런데 열두 개에 똑같은 무게를 주면, 어떤 능력의 무게는 그 스위트가 그 능력을 몇 번 재느냐에 비례하게 된다. 이 행렬에서는 포인팅이 열두 칸 중 두 칸을 가져가고, 비디오 공간추론은 한 칸을 가져간다.

그래서 저자들은 앞 절이 대체재로 지목한 두 쌍을 각각 두 열의 평균으로 바꿔 놓았다. RefSpatial-Bench와 Where2Place가 한 열이 되고 EmbSpatial과 CV-Bench가 한 열이 되니, 손대지 않은 여덟 개와 합쳐 열 개의 열이 남는다. 이 열 개로 산술평균과 순위를 다시 계산했다. 벤치마크를 뺀 것이 아니라 두 번 세던 것을 한 번만 세도록 고친 것이다.

51개 모델 가운데 22개가 세 계단 이상 자리를 옮겼다. 40%가 넘는다. 방향은 예상대로 갈렸다.

저자들이 흔든 가중치는 열두 칸 중 두 칸, 16.7%다. 그런데 1절에서 확인한 구글 리포트의 실제 가중은 절반이다. 두 상황은 스위트 구성도 총점 정의도 달라서 22라는 숫자를 그대로 옮겨 붙일 수는 없다. 옮길 수 있는 것은 방향이다. 겹치는 능력에 실린 무게가 클수록 순위는 그 능력 쪽으로 더 기운다. 논문이 다룬 조건은 실제 벤더 리포트보다 완만한 쪽이었다.

그러니 이 절에서 가져갈 것은 새 순위표가 아니다. 어떤 모델이 실은 여덟 계단 아래라는 문장은 이 논문에서 나오지 않는다. 나오는 것은 순위표가 스위트 구성에 대해 얼마나 민감한지를 보여 주는 감도 측정이고, 두 열을 건드렸을 뿐인데 40%가 넘는 모델이 움직였다는 사실이다.

열두 개가 서로 겹친다면 더 적은 수로도 같은 증거를 얻을 수 있을 것이다. 어느 것을 남길지, 몇 개까지 줄일 수 있을지는 앞 절이 답하지 않는다. 저자들이 선택 절차의 바탕에 깐 전제는 하나다. 정보량은 벤치마크가 혼자 가지고 있는 성질이 아니라 이미 무엇을 골랐느냐에 따라 달라지는 값이다. 혼자 있으면 없어서는 안 될 벤치마크도 대체재 옆에 놓이면 가치가 없어진다. 그래서 선택은 하나씩 순차로 이뤄진다.

한 벤치마크가 자리를 얻으려면 두 가지를 만족해야 한다. 첫째, 모델을 벌려 세워야 한다. 모든 모델에 비슷한 점수를 주는 벤치마크는 아무리 독특한 능력을 재더라도 결국 잡음으로 순서를 매기는 셈이라 리더보드에 보탬이 되지 않는다. 둘째, 이미 선택된 것들이 주지 못하는 정보를 담아야 한다. 이미 뽑힌 집합으로 재현되는 벤치마크는 새 증거를 더하지 않는다.

둘 중 판별력만 원점수 기준이다. 다변량 단계에 들어가기 전 모든 열을 z-점수로 바꾸지만, 지니계수는 표준화 이전의 원점수 분포에서 계산된다. 난이도를 버리지 않고 선택 기준으로 되돌려 놓은 셈이다. 천장에 닿아 모든 모델이 90점을 받는 벤치마크는 무엇을 재든 여기서 걸러진다.

4.1네 걸음 만에 78.5%에 닿는다

빈 집합에서 출발하면 R²가 0이라 유틸리티는 판별력만 남는다. 그래서 첫 선택은 모델을 가장 넓게 벌려 세우는 벤치마크, RefSpatial-Bench다. 그다음부터는 매 단계 남은 후보의 유틸리티를 다시 계산해 가장 큰 것을 더한다. 저자들은 네 개에서 멈추지 않고 열두 단계를 끝까지 돌렸다. 어디서 그만둘지를 미리 정하지 않고 곡선을 보고 읽기 위해서다.

78.5%는 무엇의 78.5%인가. 정확도가 아니다. 열두 개 순위를 78.5% 재현한다는 뜻도 아니다. 유틸리티, 그러니까 판별력과 한계정보의 곱을 열두 개에 대해 모두 더한 값을 100으로 놓았을 때 네 개가 차지하는 누적 비중이다. 다섯째부터 열두째까지 여덟 개가 나머지 21.5%를 나눠 갖고, 마지막 네 개는 넷을 합쳐 4.4%를 보탠다.

표에서 가장 볼 만한 줄은 다섯째 줄이다. Where2Place는 판별력 0.265로 열두 개 중 두 번째로 높다. 혼자 놓고 보면 두 번째로 뽑혀야 할 벤치마크인데 절차는 이것을 세 번 건너뛴다. 첫 선택에 RefSpatial-Bench가 들어간 순간 이 벤치마크 분산의 상당 부분이 이미 재현 가능해졌기 때문이라고 저자들은 설명한다. 다섯째 자리에서 마침내 뽑힐 때 표에 적힌 R² 0.783은 그때까지 뽑힌 네 개 전체에 대한 값이고, 그 대부분을 대체재인 RefSpatial-Bench가 설명한다는 것이 저자들의 해석이다. 판별력이 아무리 높아도 한계정보가 0.217까지 깎이면 곱은 0.0576으로 주저앉는다. 대체재 관계가 유틸리티 안에서 작동하는 장면이고, 정보량을 벤치마크 하나만 떼어 놓고 판단할 수 없다는 것을 가장 선명하게 보여 주는 줄이다.

뽑힌 넷은 서로 다른 기술을 덮는다. 정밀한 위치 지정(RefSpatial-Bench), 제한된 시점들 사이에서 공간 모델이 일관되는가(MindCube), 비디오 위의 공간추론(VSI-Bench), 다중이미지 지각의 원시 기능(BLINK). 저자들은 이 상보성을 강제하지 않았고 유틸리티에는 그것을 인코딩할 방법도 없다. 그리고 이 넷은 앞 절이 구분한 두 종류의 가치를 함께 담는다. MindCube는 허브라서 버려진 열들의 정보를 대신 지니고, BLINK는 가장 고립돼 있어서 다른 어느 벤치마크도 주지 않는 증거를 준다.

4.2첫 선택을 바꿔도 넷은 버틴다

탐욕적 선택은 첫 수에 갇힌다. 그래서 저자들은 다른 벤치마크를 억지로 첫 자리에 앉히고 나머지를 다시 돌렸다. 코어 멤버를 강제하면 순서만 바뀌고 같은 넷이 돌아온다. 자기 대체재인 Where2Place를 첫 자리에 앉혀도 RefSpatial-Bench는 밀려나지 않는다. 세 번째 선택 시점에 이미 자기 분산의 75%가 재현 가능한데도, 판별력 0.343에 남은 한계정보 0.248을 곱한 0.085로 네 번째 자리를 되사 온다. 대신 BLINK가 다섯째로 밀린다.

순서가 정보를 준다. 코어 멤버로 시작하면 손실이 거의 없고, 코어의 대체재로 시작하면 4점쯤 잃고, 아예 탈락한 벤치마크로 시작하면 7점에서 9점까지 잃는다. MindCube와 VSI-Bench는 모든 실행에서 앞 네 자리에 들었고 RefSpatial-Bench는 자기 대체재에도 밀려나지 않았다. 저자들은 여기에 한 줄을 덧붙인다. 물리적 특수성만으로는 자리를 얻지 못한다. RoboSpatial이 그 예로 나오는데, 이 대목은 뒤에서 다시 짚는다.

4.3개수를 3분의 1로 줄여도 청구서는 4분의 1만 준다

스위트를 열두 개에서 네 개로 줄이면 평가 비용도 3분의 1이 될까. 논문은 이 질문을 다루지 않는다. 본 리포트가 논문 표의 문항 수 열을 직접 합산해 봤다.

개수는 3분의 1로 줄지만 문항은 4분의 1만 줄어 76%가 그대로 남는다. 이 비대칭은 거의 전부 MindCube 하나가 만든다. 21,154문항으로 열두 개 전체 문항의 53%, 코어 네 개 문항의 70%를 차지한다. MindCube를 뺀 나머지 셋을 합치면 9,137문항으로 전체의 23%까지 떨어진다.

다만 그 청구서의 절대 크기는 생각보다 작다. 코어 네 개를 51개 모델 전원에 새로 돌린다고 하면 이상적인 상한으로 154만 건, 행렬의 실제 밀도를 반영하면 132만 건쯤의 추론이 필요하다. 2026년 8월 시점의 공개 API 단가로 문항당 입출력 토큰을 잡아 보면 보급형 모델 기준 수백 달러, 프론티어 모델을 쓰더라도 수천 달러 수준으로 떨어진다. 폭이 넓은 추정이고 API 호출 비용만 센 것이라 자체 GPU 서빙이나 파싱 규칙 검증에 드는 사람의 시간은 빠져 있다. 그래도 자릿수는 잡힌다. 이 논문이 159칸을 직접 돌려 메울 수 있었던 이유도 여기에 있다. 평가를 돌려 보는 인프라가 갖춰진 뒤로, 스위트 설계에서 아까운 것은 돈이 아니라 무엇을 재고 있는지 모르는 상태다.

여기까지는 열두 개가 무언가를 공유한다는 이야기였다. 부록 B가 묻는 것은 그 공유되는 무언가의 정체다. 벤치마크들이 함께 지니고 있는 것이 물리적 역량일 수도 있지만, 그냥 모델의 일반 능력일 수도 있다. 후자라면 이 스위트는 물리라는 이름표를 단 시각언어 리더보드다. 그런데 이 둘은 스위트 안에서는 구분되지 않는다. 열두 개에서 추정한 어떤 축이든 그것들이 공유하는 것을 그대로 물려받기 때문이다. 그래서 저자들은 스위트가 담고 있지 않은 증거를 밖에서 들여온다.

들여온 것은 공간이나 3D를 재지 않는 일반 벤치마크 아홉 개다. 다분야 멀티모달 추론인 MMMU와 MMStar, 텍스트 지식과 대학원 수준 추론인 MMLU-Pro와 GPQA-Diamond, 문서와 이미지 속 글자를 읽는 DocVQA와 OCRBench, 일반 비디오 이해인 Video-MME, 그리고 사람 선호로 매기는 LM-Arena의 텍스트와 비전 Elo다. 고른 기준은 둘이었다. 물리나 공간 이해를 시험할 의도가 없을 것, 그리고 같은 모델들에 대해 널리 보고돼 있을 것.

먼저 물리 스위트만으로 주성분분석을 돌리면 제1주성분이 전체 분산의 55.2%를 설명하고, 열두 개 전부가 이 축에 양의 적재를 갖는다. 가장 낮은 것이 RealWorldQA의 0.48이고 가장 높은 것이 CV-Bench의 0.88이다. 설계에서 중요한 대목은 그다음이다. 일반 앵커 아홉 개는 주성분분석에서 완전히 배제된다. 제1주성분은 물리 벤치마크 열두 개만으로 추정하고, 그렇게 뽑힌 축을 나중에 일반 성적과 견줄 뿐이다. 앵커가 자기가 비교당할 축에 영향을 줄 수 없게 만든 순환논증 차단 장치다.

그렇게 분리해 놓고 견줬더니 정렬이 거의 완전했다. 물리 제1주성분은 앵커들의 제1주성분과 순위상관 0.952로 붙어 있다. 개별 앵커로 봐도 MMStar가 0.950, Video-MME가 0.942다. 문서를 읽는 벤치마크 점수가 물리 스위트의 주축 위 위치를 예측하는 정도가, 물리 벤치마크끼리 서로를 예측하는 정도와 비슷하다는 뜻이다.

그것만으로는 어느 쌍이 일반 능력 때문에 붙어 있고 어느 쌍이 다른 이유로 붙어 있는지 알 수 없다. 그래서 저자들은 열두 개 각각을 이 외부 축에 회귀시켜 잔차만 남기고, 잔차끼리 다시 상관을 계산했다. 축 하나를 걷어내자 스위트의 내부 구조가 절반으로 줄었다. 평균 쌍별 상관은 0.487에서 0.250으로 떨어지고, 0.5를 넘던 쌍은 66개 중 34개에서 6개로 줄었다.

살아남은 세 결합이 말해 주는 것이 분명하다. 두 대체재 쌍은 둘 다 일반 능력을 공유해서가 아니라 같은 특수 능력을 재고 있어서 붙어 있었다. 3절의 병합 실험이 겨눈 곳이 정확했다는 뜻이다. 반대로 ERQA와 EmbSpatial처럼 원점수에서 0.7을 넘던 결합들은 조건을 걸자 무너진다. 그 관계는 두 시험지가 같은 것을 재서가 아니라, 똑똑한 모델이 양쪽 다 잘 봐서 생긴 것이었다.

네 번째 줄에서는 부호가 뒤집힌다. VSI-Bench와 BLINK는 원점수 상관이 0.002로 사실상 무관인데, 잔차에서는 −0.363으로 내려간다. 앵커 관측이 넉넉한 모델 32개만 추리면 −0.425까지 간다. 일반 능력이 비슷한 모델끼리 놓고 보면 비디오 위의 공간추론에 강한 쪽이 다중이미지 지각에는 약한 경향이 있다는 뜻이다. 두 벤치마크는 4절의 코어에 나란히 들어 있다. 상보적인 넷을 골랐다는 서술에 이 음의 상관이 근거를 하나 더 얹는다.

다른 분야에서 같은 현상이 이미 보고돼 있다. 앞서 나온 Metabench는 여섯 개 LLM 벤치마크 뒤에 단일 공통 요인이 있고 그 요인이 총점과 0.94로 상관한다고 보고했다. 도메인은 다르지만 구조는 같다. 여러 시험지가 공유하는 신호의 큰 몫은 그 분야의 특수 능력이 아니라 모델의 일반적 강함이다.

5.1남은 넷으로 순위를 다시 세웠다

저자들은 코어 네 개 위에서 모델 순위를 다시 매긴다. 방식은 선호 아레나를 본뜬 Bradley–Terry 적합이고, 여기서 심판 노릇을 하는 것이 벤치마크다. 두 모델이 함께 점수를 가진 벤치마크마다 이진 관측을 하나씩 만들되 점수 차의 크기는 버리고 어느 쪽이 높았는지만 기록한다. 그렇게 모인 관측이 4,231개다. 승률 모형을 최대우도로 적합한 다음 강도를 익숙한 Elo 눈금으로 옮긴다.

상위 다섯은 HY-Embodied-0.5 MoE-407B-A32B가 2251, Qwen3.5-397B-A17B가 2032, Qwen3-VL-235B-A22B-Instruct가 1828, Seed 2.0이 1790, Kimi K2.5가 1750이다. 오픈웨이트와 클로즈드 API가 섞여 있다. 저자들이 여기서 읽어 내는 것은 두 가지다.

하나. 상위 열 개 중 셋이 임바디드나 공간 과제로 사후학습된 모델이다. HY-Embodied-0.5의 두 크기와 RoboBrain-32B-2.0이 그 셋이다. 피지컬 AI 점수가 순전히 일반 능력으로 결정된다면 이 순위표는 범용 리더보드를 그대로 재현했어야 하고 도메인 사후학습은 아무 이득도 주지 못했어야 한다. 앞 절이 보인 0.952라는 정렬과 이 관찰이 함께 놓여야 그림이 맞는다. 공유되는 신호의 절반쯤이 일반 능력이라는 말은, 나머지 절반이 아니라는 말이기도 하다.

둘. 규모는 같은 레시피 안에서만 통한다. Qwen-VL 계열 안에서는 순위가 크기 순으로 단조롭게 정렬되는데, 계열을 건너뛰면 그 규칙이 깨진다. 활성 파라미터가 20억뿐인 HY-Embodied-0.5 MoT-4B-A2B가 훨씬 큰 모델들을 제치고 여섯째에 오른다. 파라미터 수가 아니라 무엇으로 어떻게 학습했느냐가 자리를 정한다.

순위와 함께 봐야 할 열이 하나 더 있다. 논문은 각 모델이 코어 네 개 중 몇 개에 점수가 있는지를 같은 표에 적어 두는데, 상위 네 모델은 모두 넷이 아니라 셋이다. 네 개를 다 채운 모델은 다섯째 Kimi K2.5부터 나온다. 중복을 걷어낸 스위트로 세운 순위표조차 그 스위트가 다 채워지지 않은 행렬 위에서 계산된다는 뜻이다. 1절에서 시작한 빈 칸 문제가 마지막 표까지 따라온다.

감사를 하는 글이니 감사받을 준비도 되어 있어야 한다. 저자들은 한계를 다섯 항목으로 적어 두었다. 각 항목이 앞에서 읽은 어떤 주장을 어디까지 깎는지 함께 적는다.

마지막 항목이 가장 무겁다. 이 감사가 다루는 열두 개는 전부 문제를 풀고 좌표를 찍는 시험이고, 로봇 팔이 물건을 실제로 집어 올렸는지는 아무도 재지 않는다. 그러니 4절이 남긴 코어 넷은 물리 과업으로 옮겨 가는 신호를 골라낸 것이 아니라, 지금 이 분야가 채점에 쓰고 있는 시험지들 사이에서 겹치지 않는 것을 골라낸 것이다. 시뮬레이터와 실제 사이의 간극을 재는 문제와 그 간극을 무엇으로 계측할지의 문제는 이 논문 바깥에 그대로 남아 있다.

6.1본 리포트가 추가로 찾은 두 곳

1차 사료를 끝까지 읽으면서 논문 내부에서 앞뒤가 맞지 않는 곳을 두 군데 찾았다. 둘 다 결론을 뒤집지는 않지만, 수치를 옮겨 쓰는 쪽에는 영향이 있다.

첫째, 부록 C는 RoboSpatial이 스위트에서 일반 능력 신호를 가장 적게 지닌 벤치마크라고 쓰면서 그 근거로 부록 B를 지목한다. 그런데 부록 B가 실제로 보고하는 제1주성분 적재 범위는 RealWorldQA의 0.48이 최솟값이고 CV-Bench의 0.88이 최댓값이다. 부록 B에는 벤치마크별 일반축 정렬도를 따로 정리한 표가 없다. RoboSpatial이 가장 덜 일반적이라는 문장은 그러므로 저자의 서술로 귀속해 두는 편이 정확하고, 옮겨 쓸 때는 적재 최솟값이 RealWorldQA라는 사실을 함께 적는 편이 낫다.

둘째, 유틸리티를 정의한 식은 본문에서 a(b)로 조판돼 있는데 바로 다음 문단의 정의와 선택 경로 표의 열 이름은 모두 g(b), 지니계수다. 단순 오식이라 g로 통일해 인용하면 된다. 이 글도 그렇게 썼다.

6.2누가 썼고 어떤 지위의 문서인가

이 글이 다룬 문서는 2026년 8월 26일 arXiv에 올라온 v1 프리프린트이고 동료심사를 거치지 않았다. 저자는 Zaruhi Navasardyan과 Hrant Davtyan 두 사람이다. arXiv HTML 본문에는 두 번째 저자의 성이 Davyan으로 잘못 적혀 있는데, 초록 페이지의 메타데이터 기준으로 Davtyan이 맞다.

소속인 Metric AI Lab은 응용 AI 연구소로, 기업 프로젝트 100건 이상과 8년 넘는 업력, EACL 2026 게재를 내세운다. 현재 연구 축이 이 논문의 성격을 말해 준다. 이 조직은 피지컬 AI 아래에 월드 모델과 로봇 실패 탐지, 그리고 벤치마크 과학을 나란히 걸어 두었고, 사이트에는 이 프리프린트에 해당하는 프로젝트가 "피지컬 AI 벤치마크를 가로지르는 하나의 비교 가능한 행렬"이라는 설명과 함께 올라와 있다. 일회성 분석이 아니라 제품화를 염두에 둔 연구 라인의 산출물이라는 뜻이다.

이 사실을 이해상충으로 볼 일은 아니지만 맥락으로는 알아 둘 만하다. 벤치마크 과학을 스스로 연구 축으로 내건 조직이 벤치마크 감사 논문을 냈고, 그 감사 결과는 자기 연구 라인의 필요를 정당화하는 방향을 가리킨다. 동시에 이 논문이 쓰는 도구는 순위상관과 릿지 회귀, 주성분분석, 전방선택, Bradley–Terry로 전부 표준 통계 기법이라 결과를 따라가며 검산할 수 있다. 평가 지표를 만드는 쪽과 그 지표를 신뢰해야 하는 쪽 사이의 거리 문제는 에이전트 벤치마크에서도 이미 다뤄진 적이 있다. 방법이 공개돼 있고 재계산 가능하다는 것이 지금으로서는 가장 실용적인 방어선이다.

페블러스가 학습 데이터에 하는 일을 이 논문은 평가 데이터에 한다. 상관으로 대체재를 찾고, 회귀로 복원 가능성을 재고, 탐욕적 선택으로 최소 집합을 남기는 절차는 데이터셋 중복 제거 파이프라인과 같은 뼈대다. 대상이 모델이 먹는 데이터에서 모델을 재는 데이터로 옮겨 갔을 뿐이다.

평가 스위트를 데이터셋으로 보고 나면 이 논문의 결과는 익숙한 품질 결함 목록으로 번역된다. 중복이 있고(대체재 두 쌍), 가중치가 기울어 있고(포인팅에 실린 무게), 출처가 엇갈리고(공개값이 충돌해 중앙값을 취한 25칸), 결측이 있고(612칸 중 48칸), 대표성이 편중돼 있다(공유 분산의 절반이 물리가 아니라 일반 시각언어 능력). 학습 데이터에서 이 목록이 나오면 우리는 성적서를 쓴다. 평가 데이터라고 다를 이유가 없다.

로봇 데이터 품질 성적서를 설계하는 쪽이 매번 부딪히는 질문이 있다. 지표를 몇 개 넣어야 하는가. 지금까지의 답은 대체로 많을수록 좋다는 것이었다. 이 논문은 그 답이 틀릴 수 있음을 보인다. 상관된 지표를 더 넣으면 총점은 그 능력을 몇 번 쟀는가에 비례해 기울고, 그 기울기는 성적서를 읽는 사람에게 보이지 않는다. 실무 절차로 옮기면 네 단계다.

데이터 요건이 가볍다는 점이 이 절차의 미덕이다. 문항 수준 응답은 필요 없고 지표별 집계 점수와 지표 사이의 충분한 중첩만 있으면 된다. 이미 성적서를 쓰고 있는 조직이라면 재료는 손에 있다.

지표를 몇 개 넣어야 하는가에 대한 정량 기준은 아직 어디에도 없다. 본 리포트가 확인한 범위에서 KOLAS의 로봇 관련 공인시험 분야에 올라 있는 것은 하드웨어 성능 시험 항목이고, 학습 데이터 품질 지표의 개수를 다루는 인정 기준은 나오지 않는다. EU 인공지능법 부속서 IV도 성능지표의 선정 근거를 요구할 뿐 몇 개를 쓰라고 명시하지 않는다. 로봇 실증 데이터의 증거 사슬을 다룬 앞선 리포트에서도 같은 공백이 나타났다. 근거를 대라는 요구는 있는데, 무엇이 충분한 근거인지를 정하는 절차가 없다.

그 공백에 이 논문이 절차 하나를 놓았다. 정답표는 아니다. 저자들 스스로 자기 코어를 유일한 최적해가 아니라 하나의 방어 가능한 선택이라고 부른다. 다만 지표를 고른 이유를 숫자로 적을 수 있게 됐다는 것이 달라진 점이다. 데이터를 진단하는 쪽에서 보면 다음 질문은 자연스럽게 이어진다. 성적서가 진단하는 데이터는 계측되는데, 성적서 자신은 무엇으로 계측되는가.

1차 사료

• 1.Navasardyan, Z., & Davtyan, H. (2026). A Statistical Audit of Physical-AI Benchmark Redundancy. arXiv:2608.25940v1 [cs.RO], 2026-08-26. (이 글의 1차 출처. 본문 3~5절, 부록 A·B·C 전부)
• 2.Metric AI Lab. metric.am. 2026-08-28 확인. (연구 축, MetaBench Physical 프로젝트 설명)

모델 리포트 (본 리포트가 직접 대조)

• 3.Gemini Robotics Team, Google DeepMind (2025). Gemini Robotics 1.5: Pushing the Frontier of Generalist Robots. arXiv:2510.03342. (임바디드 추론 점수의 50 대 50 가중 규칙, Gemini Robotics-ER 1.5 채점표)
• 4.BAAI RoboBrain Team (2025). RoboBrain 2.0 Technical Report. arXiv:2507.02029. (공간추론 벤치마크 9종 목록)
• 5.Qwen Team (2025). Qwen3-VL Technical Report. arXiv:2511.21631. (임바디드 묶음 5종)
• 6.Gemini Robotics Team (2025). Gemini Robotics: Bringing AI into the Physical World. arXiv:2503.20020. (ERQA 도입 출처)

학술 — 선행 감사

• 7.Kipnis, A., Voudouris, K., Schulze Buschoff, L. M., & Schulz, E. (2024). metabench — A Sparse Benchmark of Reasoning and Knowledge in Large Language Models. arXiv:2407.12844. (28,632문항, 5,000개 이상 모델, 문항 3% 미만으로 총점 복원, 단일 공통 요인 r=0.94)
• 8.Burnell, R., Hao, H., Conway, A. R. A., & Hernández-Orallo, J. (2023). Revealing the Structure of Language Model Capabilities. arXiv:2306.10062. (LLM 29개, 과제 27개, 능력 요인 3개. 분산 82%라는 수치는 Metric 논문의 인용을 따른 것으로 초록에서는 확인되지 않는다)
• 9.Liu, W., Xue, Q., Wang, H., Yin, X., Yang, B., & Gao, W. (2025). Spatial Reasoning in Multimodal Large Language Models: A Survey of Tasks, Benchmarks and Methods. arXiv:2511.15722. (관계-정적 문항 편중은 본문에서 확인, 45개 이상이라는 개수는 Metric 논문의 인용)
• 10.Chiang, W.-L., et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132. (Bradley–Terry 선호 아레나 방식의 출처)

학술 — 12개 벤치마크의 도입 출처

• 11.Yang, J., et al. (2024). Thinking in Space (VSI-Bench). arXiv:2412.14171.
• 12.Du, M., et al. (2024). EmbSpatial-Bench. arXiv:2406.05756.
• 13.Zhou, E., et al. (2025). RoboRefer (RefSpatial-Bench). arXiv:2506.04308.
• 14.Yuan, W., et al. (2024). RoboPoint (Where2Place). arXiv:2406.10721.
• 15.Tong, S., et al. (2024). Cambrian-1 (CV-Bench). arXiv:2406.16860.
• 16.Ray, A., et al. (2024). SAT: Dynamic Spatial Aptitude Training. arXiv:2412.07755.
• 17.Song, C. H., et al. (2024). RoboSpatial. arXiv:2411.16537.
• 18.Jia, M., et al. (2025). OmniSpatial. arXiv:2506.03135.
• 19.Wang, Q., et al. (2025). MindCube: Spatial Mental Modeling from Limited Views. arXiv:2506.21458.
• 20.Fu, X., et al. (2024). BLINK: Multimodal Large Language Models Can See but Not Perceive. arXiv:2404.12390.
• 21.xAI (2024). Grok-1.5 Vision Preview (RealWorldQA).

페블러스 선행 리포트

• 22.페블러스 (2026). '풀지 않고도 만점' AI 벤치마크 8개, 조작에 속수무책. 2026-04-12.
• 23.페블러스 (2026). 그 시험지는 이미 학습 데이터에 있었다. 2026-06-20.
• 24.페블러스 (2026). 모션캡처로 채점하니 고르게 정확한 물리 엔진은 없었다. 2026-08-10.
• 25.페블러스 (2026). EU 로봇 규제 앞에서 증거로만 쓰이는 국내 데이터 품질 성적서. 2026-08-25.
• 26.페블러스 (2026). 실무 과제로 AI를 채점하는 회사의 몸값 4억 달러. 2026-08-17.