Executive Summary

2026년 6월 4일 arXiv에 올라온 Robots Need More than VLA and World Models(arXiv:2606.06556)는 실험 논문이 아니다. 초록 첫 문장이 "In this position paper, we argue…"로 시작하는 포지션 페이퍼, 즉 주장을 세우는 글이다. Elis Karcini를 필두로 스탠퍼드·ETH 취리히·TU 다름슈타트·IIT·UCL 소속 아홉 명이 이름을 올렸다. 그리고 이들이 세운 주장의 핵심은 한 문장에 들어 있다. "중심 병목은 정책 학습만이 아니라, 세상에 넘치는 비정형 행동 데이터를 접지된 로봇 감독신호로 바꾸는 장치의 부재다."

이 문장이 겨냥하는 곳을 정확히 짚어야 한다. 로봇 파운데이션 모델을 둘러싼 논쟁은 대체로 모델의 형태에 관한 것이었다. 시각·언어·행동을 한 모델에 밀어 넣는 VLA가 맞느냐, 세계의 다음 프레임을 예측하는 월드 모델이 맞느냐. 논문은 그 논쟁을 부정하지 않는다. 대신 논쟁이 벌어지는 층 아래를 가리킨다. 어느 모델을 고르든 그 모델에 먹일 감독신호는 어디선가 만들어져야 하는데, 만드는 장치가 없다는 것이다.

1.1네 개의 번역 장치

논문은 그 장치를 네 개의 인터페이스로 나눈다. 비정형 행동을 자동으로 라벨링하는 데이터 인터페이스, 사람의 모션을 로봇의 행동으로 옮기는 신체 인터페이스, 물리에 접지된 3D 추론을 담당하는 월드 모델 인터페이스, 영상과 언어에서 과제의 진척과 성공을 추론하는 보상 인터페이스다. 넷을 한 단어로 부르면 번역 장치다. 한쪽에는 사람이 무언가를 해내는 영상이 있고 반대쪽에는 로봇이 알아들을 수 있는 감독신호가 있는데, 그 사이를 건너게 하는 것이 이 넷의 일이다.

1.2업계는 정말 같은 진단에 도달했나

정확히 답하려면 진단을 두 층으로 갈라야 한다. 넓은 진단, 즉 "로봇 학습의 병목이 모델 아키텍처가 아니라 데이터 층에 있다"는 인식은 독립적인 지지가 충분하다. 메릴랜드대가 주도한 VLA 데이터·벤치마크 서베이(arXiv:2604.23001)는 이 논문보다 6주 앞선 4월에, 저자도 인용 관계도 겹치지 않은 채 거의 같은 문장을 냈다. "VLA의 다음 진전은 모델 아키텍처보다 고충실도 데이터 엔진과 구조화된 평가 프로토콜의 공동 설계에 달려 있다"는 문장이다. 동료심사를 거친 JAIR 서베이(arXiv:2404.19664)는 2년 앞서 같은 문제를 닭과 달걀의 순환으로 정식화했다. 로봇 능력이 부족해 데이터를 못 모으고, 데이터가 없어 능력을 못 올린다는 것이다.

반면 좁은 주장, 곧 "정확히 이 네 인터페이스가 하나의 스택을 이룬다"는 분류는 이 논문에 상당히 고유하다. 같은 4분할을 채택한 선행 문헌도, 그 분류를 자기 로드맵으로 쓰는 업계 주체도 확인되지 않았다. 게다가 2025년 8월 Science Robotics는 "데이터가 로보틱스를 풀 것인가"를 두고 옥스퍼드식 찬반 토론을 지면에 실었다. 데이터 우위 진영과 모델·1차원리 진영이 갈렸다는 사실 자체가, 최근까지 이것이 합의가 아니라 쟁점이었음을 보여 준다. 그래서 이 리포트는 "업계 합의"라고 쓰지 않는다. 널리 공유된 문제의식에 이 논문 고유의 처방이 얹힌 것으로 읽는 편이 정확하다.

1.3넘치는 쪽에는 라벨이 없다

번역 장치가 왜 필요한지는 두 개의 데이터 축을 나란히 놓으면 곧바로 드러난다. 2026년 6월에 나온 대규모 1인칭 영상 사전학습 연구 HumanScale(arXiv:2606.20521)은 공개된 주요 데이터셋을 시간 단위로 한 표에 정리하고, 그 그림 캡션에서 두 축의 성격을 직접 요약했다. 1인칭 인간 영상은 접근 가능한 규모가 약 100만 시간대이고 수집 비용이 낮으며 개방형 다양성을 갖지만, 제공하는 것은 손 리타게팅으로 얻은 유사 행동 라벨뿐이다. 원격조작 로봇 데이터는 정밀한 행동 라벨을 갖지만 공개된 규모가 약 1만 시간대에 그치고, 수집이 비싸며 장면 다양성이 제한된다. 약 100배의 격차를 저자들이 직접 명시한 것이지 이 리포트가 계산한 값이 아니다.

두 축은 정확히 상보적이다. 한쪽은 규모가 있고 라벨이 없으며, 다른 쪽은 라벨이 있고 규모가 없다. 사이를 잇는 장치가 있으면 100만 시간이 학습에 들어오고, 없으면 그대로 남는다.

두 데이터 축은 상보적이다. 규모는 왼쪽에, 라벨은 오른쪽에 있다. 규모 수치의 출처는 HumanScale(arXiv:2606.20521) Figure 1 캡션의 저자 명시값.

이 글은 페블러스가 최근 발행한 로봇 데이터 리포트 두 편과 한 묶음이다. 로봇 학습 데이터 피라미드는 어떤 소스를 먹일 것인가를, 폐루프 큐레이션 리포트는 모은 데이터를 어떻게 손질할 것인가를 다뤘다. 이번 글은 그 사이에 놓인 질문을 다룬다. 애초에 로봇이 알아듣지 못하는 데이터를 어떻게 번역할 것인가. 아래 네 절은 논문이 지목한 네 인터페이스를 하나씩 열어, 각각이 어디까지 자동화됐고 어디서 다시 사람 손이 들어오는지를 논문 밖 근거로 확인한다.

유튜브 요리 영상에는 손이 냄비를 어떤 각도로 얼마의 힘으로 쥐었는지가 적혀 있지 않다. 데이터 인터페이스가 하려는 일은 그 적히지 않은 것을 기계가 추정해 붙이는 것이다. 이 계열의 원형은 로보틱스가 아니라 게임에서 나왔다. 2022년 OpenAI의 VPT는 사람이 플레이하는 마인크래프트 영상 1,962시간에만 사람 손으로 조작 라벨을 붙인 뒤, 그 라벨로 역동역학 모델을 학습시켜 라벨이 없는 7만 시간에 유사 라벨을 자동으로 채웠다. 라벨 하나로 서른여섯 개를 만들어 낸 셈이다.

로봇 쪽으로 넘어오면서 접근이 한 번 바뀐다. 진짜 행동 라벨을 흉내 내는 대신, 프레임과 프레임 사이의 변화에서 이산적인 잠재 행동을 스스로 만들어 낸다. 그 잠재 행동으로 정책을 사전학습한 뒤, 마지막에 소량의 실제 로봇 데이터로 잠재 행동을 진짜 관절 명령으로 옮기는 디코더만 붙인다. 2024년 LAPA(arXiv:2410.11758)가 이 구조를 세웠고, 2025년 UniVLA(arXiv:2505.06111)는 픽셀이 아니라 특징 공간에서 언어로 조건화한 과제 중심 잠재 행동을 뽑아 배경 변화가 섞이는 약점을 겨눴다. NVIDIA는 GR00T N1에 잠재 행동 코드북을 넣어 산업 규모 파운데이션 모델에 실제로 채택했고, 2026년 연구의 초점은 다시 한 칸 옮겨 갔다. Motion-Focused Latent Action(arXiv:2606.18955)은 물리 마스크로 모션과 배경을 분리한다. 문제가 "라벨 없이 배울 수 있는가"에서 "라벨에 섞여 들어간 잡음을 어떻게 걷어내는가"로 넘어갔다는 신호다.

페블러스 원본 도식 (Fig. 2 재해석) — LAPA·UniVLA 계열이 공유하는 잠재 행동 학습 파이프라인의 구조를 재구성. 디코딩 단계에 필요한 시연 수(약 50개)는 §2.3의 2026년 최신 방법 기준.

2.1번역은 감독이 희소할 때만 값지다

이 번역이 얼마나 이득인지를 가장 정직하게 보여 주는 표가 2026년 5월 JOPAT 논문(arXiv:2605.23856)에 있다. 실험 설계는 단순하다. LIBERO-Long 과제에서 다운스트림 파인튜닝에 쓸 행동 라벨 시연을 열 개, 스물다섯 개, 쉰 개로 바꿔 가며 성공률을 잰다. 사전학습은 행동 분기를 아예 마스킹한 무행동 영상 학습이라, 로봇 행동 라벨이 한 개도 들어가지 않는다. 아래 표에서 눈여겨볼 곳은 가장 왼쪽 열이 아니라 왼쪽에서 오른쪽으로 가면서 벌어지는 간격의 변화다.

출처: JOPAT(arXiv:2605.23856) Table 6, 원 캡션 "Action-free video pretraining on LIBERO-Long. SR are reported." 열은 다운스트림 파인튜닝에 사용한 행동 라벨 시연 개수, 값은 LIBERO-Long 성공률.

시연이 열 개일 때 무라벨 영상 사전학습은 성공률을 11.9%에서 64.2%로 끌어올린다. 52.3%p의 이득이다. 그런데 시연이 쉰 개가 되면 로봇 도메인 영상(96.4%)과 아무 상관 없는 일반 웹 영상(95.1%)의 차이가 사실상 사라진다. 무엇으로 사전학습했는지가 더 이상 중요하지 않아지는 것이다. 열을 가로질러 읽으면 한 가지가 더 보인다. 사전학습을 하고 시연 열 개를 쓴 정책(64.2%)이 사전학습 없이 시연 쉰 개를 쓴 정책(66.1%)과 거의 같은 자리에 선다. 시연 예산을 약 다섯 배 아낀 셈인데, 이 배수는 저자가 쓴 것이 아니라 이 리포트가 같은 표의 열을 비교해 계산한 값이다.

2.2자동 라벨은 진짜 라벨을 아직 이기지 못한다

그렇다면 자동으로 붙인 라벨은 사람이 붙인 라벨만큼 좋은가. 사전학습에 쓴 데이터의 출처를 바꿔 비교하면 자동 라벨 쪽이 이기기도 한다. UniVLA는 사람 영상만으로 사전학습하고도 LIBERO 평균 88.7%를 기록해, 로봇 원격조작 데이터로 사전학습한 OpenVLA의 76.5%를 앞섰다. 그러나 이 비교는 사전학습 데이터가 서로 다르다. 같은 도메인에서 라벨의 종류만 바꿔 정면으로 붙이면 결과가 뒤집힌다. LAPA 논문이 Language Table 벤치마크에서 그 정면 비교를 실었다.

출처: LAPA(arXiv:2410.11758) Table 1, Language Table 벤치마크 성공률(%).

자동 라벨은 아무것도 하지 않은 정책을 크게 앞선다. 15.6에서 62.0으로, 네 배 가까이 올라간다. 그러나 진짜 행동 라벨에는 여전히 뒤진다. 같은 환경에서 15.0%p, 환경이 바뀌면 31.2%p 뒤진다. 환경이 달라질 때 격차가 두 배로 벌어진다는 것이 중요하다. 자동 라벨이 붙잡은 것은 이 장면에서 무엇이 어떻게 움직였는가에 가깝고, 다른 장면에서도 통하는 행동의 의미까지는 아직 못 붙잡았다는 뜻이기 때문이다.

그런데 승부가 성능에서만 나는 것은 아니다. LAPA의 사전학습에 든 연산은 272 H100 시간이고, 비교 대상인 OpenVLA는 21,500 A100 시간이다. 성능 차이가 십몇 %p인 동안 비용 차이는 스무 배에서 여든 배에 이른다. 그래서 이 인터페이스를 평가하는 정확한 프레임은 자동 라벨링의 승부처는 절대 성능이 아니라 성능 대비 비용이라는 것이다. 진짜 라벨을 이기려는 기술이 아니라, 진짜 라벨을 살 수 없는 예산에서 어디까지 갈 수 있는지를 정하는 기술이다.

2.3되돌아오는 사람 손

완전 자동을 기대하고 이 계열에 들어가면 네 지점에서 사람 손을 다시 만난다. 첫째, 잠재 행동을 실제 관절 명령으로 옮기는 마지막 디코딩 단계는 언제나 실제 로봇 궤적을 요구한다. 2026년 최신 방법도 약 쉰 개의 시연을 필요로 한다. 둘째, 배경에 방해 요소가 있으면 잠재 행동이 무너진다. ICML 2025에 실린 연구(arXiv:2502.00379)는 방해 요소 앞에서 기존 잠재 행동 학습이 붕괴한다는 것을 보인 뒤, 데이터의 단 2.5%에만 진짜 행동 라벨을 섞으면 다운스트림 성능이 평균 4.2배 올라간다고 보고했다. 잠재 행동을 먼저 배우고 진짜 라벨은 나중에 붙인다는 통상 파이프라인의 순서 자체가 틀렸다는 결론이다.

셋째, 왜 무너지는지에 대한 이론적 규명도 나왔다. 서울대와 마이크로소프트 리서치의 2026년 연구(arXiv:2605.20223)는 다음 프레임을 재구성하도록 학습하는 목적함수가 행동과 무관한 외생 정보를 잠재 행동 안으로 밀어 넣는다는 것을 보였다. 넷째, 비정형 영상을 학습이 요구하는 단위로 자르는 일은 여전히 수작업 영역이다. 인간 영상에서 로봇 조작으로의 변환을 정리한 서베이(arXiv:2606.00054)의 표현을 그대로 옮기면, 웹 규모의 인간 영상은 "로봇 학습이 요구하는 감독 입도에 맞는 에피소드로 포장돼 있는 경우가 드물다." 어디서 과제가 시작되고 끝나는지, 그 구간을 뭐라고 부를지를 정하는 일이 남는다는 뜻이다.

업계에서는 이 인터페이스가 가장 극적인 형태로 등장했다. Figure AI는 2025년 9월 Project Go-Big을 발표하며, 사람이 생활하는 동안 수동적으로 수집한 1인칭 영상만으로 휴머노이드가 이미지와 언어에서 저수준 속도 명령까지 end-to-end로 학습했다고 밝혔다. 발표문의 표현은 "로봇 전용 데이터나 학습은 전혀 필요하지 않았다"는 것이다. 다만 이 발표에는 성공률도, 학습 시간도, 벤치마크 점수도 하나 나오지 않는다. 공개된 것은 영상 시연뿐이다. 이 비대칭은 뒤에서 다시 다룬다.

행동 라벨을 만들었다고 끝이 아니다. 그 행동이 과제를 해낸 것인지 아닌지를 누군가 말해 줘야 정책이 학습할 수 있다. 사람이 매 롤아웃을 보고 채점하면 규모가 막히므로, 영상과 지시문을 함께 읽는 비전-언어 모델에게 그 판정을 맡기자는 것이 보상 인터페이스다. 이 절의 수치를 보기 전에 천장부터 세워야 한다. 기준선이 100%가 아니기 때문이다.

구글 딥마인드가 2023년에 성공 판정을 시각 질의응답 문제로 재정의한 연구 SuccessVQA(arXiv:2303.07280)는, 같은 영상을 본 사람 평가자들끼리의 일치도 자체가 약 88%에 머문다고 보고했다. 무엇이 성공인가에 대해 사람도 여덟 번 중 한 번은 서로 다르게 답한다는 뜻이다. 이후의 모든 자동 판정 수치는 이 천장에 견줘 봐야 한다.

3.1분포 안에서는 쓸 만하고, 새 과제에서 무너진다

같은 연구에서 판정기를 파인튜닝하면 학습 분포 안에서는 80%대 중반을 낸다. 처음 보는 에피소드에서 83.4%, 처음 보는 행동에서 85.0%다. 그런데 처음 보는 과제로 넘어가면 59.3%로 떨어진다. 다른 데이터셋에서도 같은 모양이 나온다. 학습 시 99%였던 정확도가 테스트에서 62%가 된다. 판정기는 자기가 배운 성공의 모양을 다시 알아보는 데 능하고, 배운 적 없는 성공의 모양 앞에서는 동전 던지기에 가까워진다.

더 중요한 것은 정확도가 아니라 정밀도다. 딥마인드와 펜실베이니아대가 진행도 추정을 다룬 연구 GVL(arXiv:2411.04549)에서 기존 성공 판정 방식을 재현했더니, 정확도는 0.62였는데 정밀도는 0.33이었다. 성공이라고 선언한 세 건 중 두 건이 거짓이었다는 뜻이다. 이 두 숫자의 차이가 이 인터페이스의 진짜 성격을 말해 준다. 전체적으로는 절반 넘게 맞히는데, 정책이 실제로 보상받는 순간, 즉 성공이라고 말한 순간에 한정하면 대부분 틀렸다.

페블러스 원본 도식 (Fig. 3 재해석) — GVL 재현실험(arXiv:2411.04549)의 정확도 0.62·정밀도 0.33을 사례 비율로 시각화. 실제 분포가 정확히 1:2는 아니며, 정밀도 값을 직관적으로 보여주기 위한 근사 표현이다.

2026년에는 이 인터페이스를 정면으로 벤치마킹한 연구가 여럿 나왔다. 스탠퍼드와 버클리가 만든 RoboReward는 프런티어 VLM 22종을 로봇 보상 모델로 세워 놓고 사람이 검증한 로봇 에피소드로 채점한 뒤, 최신 모델들도 "아직 신뢰할 만한 보상 모델이 아니다"라고 결론지었다. 1위 모델조차 5점 척도 진행도 라벨 대비 평균 절대 오차가 0.665다. USC 등이 RSS 2026에 낸 Robometer는 절대 점수를 매기는 대신 두 궤적 중 어느 쪽이 나은지를 묻는 비교 방식으로 축을 바꿨고, 실패 탐지 F1 0.81을 보고했다. 궤적 선호 판정에서 87.4%의 정확도를 보고한 연구도 있다. 다만 이 수치들은 서로 다른 것을 세고 있다. 절대 오차, 실패 탐지 F1, 선호 정확도를 한 줄에 세워 향상 곡선으로 읽으면 안 된다. 보상 모델링 서베이(arXiv:2607.21655)가 지적하는 것도 이 지표의 파편화 자체다.

3.2판정기를 최적화 대상으로 삼는 순간

판정기가 틀린다는 사실보다 무서운 것은, 정책이 그 판정기를 목표로 삼아 학습한다는 구조다. 2017년 크리스티아노 등의 인간 선호 학습 연구에는 지금도 인용되는 장면이 하나 있다. 물체를 집으라고 학습된 로봇 팔이, 물체를 집는 대신 카메라와 물체 사이에 팔을 걸쳐 사람 평가자에게 집은 것처럼 보이게 했다. 평가자는 성공이라고 눌렀고, 정책은 그 행동을 강화했다. 보상 해킹의 교과서적 사례다.

사람 평가자도 이렇게 속는데 VLM 판정기는 더 속기 쉽다. 그리고 여기에 이론적 뒷받침이 붙는다. 버클리 연구진이 ICLR 2022에 낸 보상 오지정 연구(arXiv:2201.03544)는 에이전트가 유능해질수록 대리 보상은 올라가고 진짜 보상은 내려가는 전환이 특정 임계를 넘으면 급격하게 일어난다는 것을 보였다. 판정기는 정의상 오지정된 대리 지표이고, 정책 최적화기는 그 지표의 취약한 방향을 찾아내도록 훈련된다. 페블러스가 앞서 다룬 대리 지표와 보상 해킹, 그리고 강화학습 보상 데이터의 출처 문제가 로봇 영역에서 다시 나타나는 지점이다.

3.3보상 모델은 이미 오픈 스택에 들어왔다

논문이 "없다"고 지목한 이 인터페이스는, 사실 논문이 제출되던 무렵 이미 오픈 로봇 데이터 스택에 편입됐다. 워싱턴대와 NVIDIA 계열이 발표한 TOPReward(arXiv:2602.19313)는 궤적 영상과 지시문을 넣고 "위 진술이 참인지 판단하라"는 프롬프트를 만든 뒤, 모델이 "True"라는 토큰에 부여한 확률을 그대로 보상으로 읽는다. 파인튜닝이 없다. 이 방식이 허깅페이스 LeRobot 공식 문서에 설정 한 줄로 켤 수 있는 정식 옵션으로 올라와 있다.

문서가 스스로 밝히는 한계가 정직하다. 이 포트는 추론 전용이라 학습이 불가능하고, "기반 VLM의 편향을 그대로 물려받는다"고 적혀 있다. 즉 오픈 스택은 보상 인터페이스를 받아들이면서, 그 인터페이스가 얼마나 틀리는지를 재는 칸은 함께 받아들이지 않았다.

세 번째 인터페이스가 맡는 일은 조금 다르다. 앞의 둘이 데이터에 라벨을 붙이는 일이라면, 이것은 정책이 질문할 수 있는 물리 지식을 제공하는 일이다. 이 컵은 얼마나 무거운가, 저 물체를 여기 놓으면 넘어지는가, 지금 손가락은 물체에 닿았는가. 사람에게는 굳이 배울 필요도 없는 것들인데, 오늘의 모델에게는 그렇지 않다.

이 격차를 가장 크게 잰 것은 ICLR 2025에 실린 PhysBench(arXiv:2501.16411)다. 물리 세계 이해를 묻는 사지선다 1만 문항을 만들어 사람과 모델에게 같이 풀렸다. PhysBench 기준으로 사람은 95.87%를 맞혔고, 평가 대상 중 가장 잘한 모델은 49.49%였다. 무작위로 찍으면 25.00%가 나오는 시험이다. 46.4%p의 격차는 사람의 절반을 겨우 넘긴 수준이라는 뜻이다. 다만 이 격차 수치는 이 하나의 벤치마크에 의존하고 있으므로, 인용할 때 어떤 시험에서의 숫자인지를 함께 밝히는 편이 정확하다.

페블러스 원본 도식 (Fig. 4 재해석) — PhysBench(arXiv:2501.16411) 수치를 막대 길이로 재구성. 막대 길이는 각 값에 비례.

같은 결론이 다른 방식으로 만든 시험에서도 나온다. 블록을 쌓아 놓고 이 탑이 무너질지 아닐지만 묻는 이진 문제, 곧 ShapeStacks 계열의 적층 안정성 시험(arXiv:2508.10770)에서 최고 오픈소스 모델은 0.542를 기록했다. 동전 던지기가 0.5인 문제다. 상용 최고 모델이 0.641, 사람이 0.779였다. 생성 쪽도 사정이 비슷하다. 영상 생성 모델이 만든 장면이 물리 법칙과 지시문을 동시에 만족하는지를 사람이 채점한 VideoPhy-2에서, 어려운 부분집합의 최고 점수는 22% 언저리다. 반물리 상황을 일부러 요구하고 그것을 제대로 만들어 내는지를 본 PhyWorldBench에서는 그 비율이 0.011까지 떨어진다.

네 시험은 만든 팀도 방식도 다르다. 사지선다와 이진 판정과 생성 결과 채점이 섞여 있어 점수를 서로 더하거나 향상 곡선으로 이을 수는 없다. 대신 각 행의 최고 성적을 그 시험의 기준선과 나란히 놓고 읽으면, 네 줄이 같은 방향을 가리키는 것이 보인다.

서로 다른 팀이 서로 다른 방식으로 만든 시험들이 같은 구간으로 수렴한다. 물리적으로 타당한 판별과 생성은 20~40%대에 머물고, 난이도를 올리면 한 자릿수까지 무너진다.

한 가지 더 관찰할 것이 있다. 논문이 이 인터페이스의 대상으로 지목한 접촉·질량·마찰·지지 관계를 하나의 3D 벤치마크로 통합해 재는 연구는 아직 없다. 각 팀이 자기 각도에서 조각을 재고 있을 뿐이다. 분절 자체가 이 인터페이스의 성숙도를 말해 주는 사실이다. 무엇을 재야 하는지에 대한 합의가 아직 서지 않았다는 뜻이기 때문이다.

그런데 이 판정 능력은 이미 연구실 밖에서 일하고 있다. NVIDIA의 합성 데이터 레시피는 프롬프트마다 롤아웃을 여러 개 생성한 다음, Cosmos Reason이 물리 타당성을 5점 척도로 채점하게 하고 4점과 5점만 남겨 학습셋을 구성한다. 1점은 물리 법칙을 전혀 따르지 않음, 5점은 완벽히 따름이다. 즉 물리 판정기가 연구 벤치마크가 아니라 파이프라인 필터로 이미 돌고 있다. 그런데 이 문서에는 몇 퍼센트가 걸러졌는지, 거르기 전과 후의 다운스트림 성능이 얼마나 달랐는지가 나오지 않는다. 공정은 공개됐고 그 공정이 옳은지를 재는 숫자는 공개되지 않았다.

생성된 영상을 물리적으로 검증하는 문제 자체는 페블러스가 월드 모델 물리 검증 리포트에서 따로 다뤘다. 여기서 다른 점은 검증의 방법이 아니라 위치다. 이 절의 관심은 사후 검증이 아니라, 정책이 학습 중에 질의할 수 있는 물리 지식이 어디까지 신뢰할 만한가에 있다.

네 인터페이스 중 가장 직관적으로 이해되는 것이 이것이다. 사람이 팔을 뻗는 동작을 로봇의 관절 각도로 옮기면 되지 않느냐는 것. 그런데 몸이 다르면 옮겨지지 않는 동작이 남는다. 그 잔여가 얼마인지를 잰 연구가 있다.

카네기멜런대의 H2O(arXiv:2403.04436)는 대규모 인간 모션 데이터베이스의 1만 3천 시퀀스를 특정 휴머노이드로 옮기는 과정을 단계별로 기록했다. 리타게팅을 통과한 것이 약 1만 개, 시뮬레이션에서 실제로 재현 가능한지 거른 뒤 남은 것이 약 8천 5백 개다. 약 35%가 옮기는 과정에서 탈락한다. 게다가 시뮬레이터 안에서 모든 정보를 다 아는 상한 정책조차 인간 모션의 14.5%는 따라 하지 못했다. 몸의 차이가 만드는 재현 불가능한 잔여가 데이터 단계에서 이미 존재한다는 뜻이다.

페블러스 원본 도식 (Fig. 5 재해석) — H2O(arXiv:2403.04436)가 기록한 리타게팅 단계별 탈락을 깔때기로 재구성. 약 35%가 몸의 차이 때문에 도중에 걸러진다. 이 8,500개 중에서도 시뮬레이터 안의 상한 정책은 14.5%를 재현하지 못했다.

더 실무적인 관찰은 스탠퍼드의 2025년 연구(arXiv:2510.02252)에서 나온다. 같은 모션 데이터를 어떤 리타게팅 방법으로 옮겼느냐만 바꿔 정책을 학습시켜 비교했더니, 21개 모션 중 오픈소스 방법은 세 개에서 성공률 0%를 냈고 상용 방법은 21개 전부에서 100%를 냈다. 데이터도 로봇도 같은데 번역 방법의 품질 하나로 정책 성공률이 0과 100으로 갈린다.

네 인터페이스를 하나씩 열어 보면 각각의 기술적 난점은 서로 다르다. 그런데 실패의 형태를 놓고 보면 같은 자리로 모인다. 자동으로 만든 감독신호를 무엇으로 믿을 것인가. 라벨이든 보상이든 물리 판정이든, 사람이 확인하지 않은 신호가 학습에 들어간다는 구조는 같다. 그리고 그 신호가 틀렸을 때 무슨 일이 벌어지는지에 대해, 방향에 따라 피해가 크게 다르다는 관찰이 서로 다른 연구에서 반복해서 나왔다.

6.1틀리는 방향이 중요하다

가장 직접적인 실험은 계층형 VLA 에이전트를 체계적으로 해부한 2026년 연구(arXiv:2606.10267)에 있다. 성공 판정기를 명령 종료 조건으로 쓰는 구조에서, 오탐률과 미탐률을 각각 독립적으로 주입해 가며 평균 성공률을 측정했다. 오탐은 실패를 성공이라 부르는 오류이고, 미탐은 성공을 놓치는 오류다. 같은 오류율에서 결과가 이렇게 갈렸다.

출처: arXiv:2606.10267 Appendix B. MuJoCo Aloha 스위트 평균 성공률.

두 가지가 읽힌다. 첫째, 10% 오류까지는 성능이 떨어지지 않는다. 오히려 살짝 오른다. 완벽하지 않은 판정기도 쓸모가 있다는 근거다. 둘째, 오류가 50%에 이르면 방향에 따라 결과가 갈린다. 오탐은 14.9%p를 무너뜨리고 미탐은 3.1%p에 그친다. 성공했다고 잘못 말하는 것이 성공을 놓치는 것보다 다섯 배 가까이 비싸다. 저자들은 그 이유를 이렇게 설명한다. 거짓 완료 신호를 받은 상위 모듈이 아직 끝나지 않은 일을 끝난 것으로 치고 다음 명령으로 넘어가기 때문이다. 다만 저자들이 스스로 단 단서도 함께 옮길 만하다. 주입한 오류가 상태 사이에 독립이라 미탐의 피해가 과소평가됐을 수 있다는 것이다. 실제 판정기는 연속된 프레임에서 오류가 서로 상관되므로, 한 번 놓치면 명령이 오래 끝나지 않는다.

같은 비대칭이 다른 두 곳에서 독립적으로 관찰됐다. 멜버른대의 보상 모델 연구는 오라클 실험에서 오탐이 미탐보다 학습 점수를 더 크게 훼손한다는 것을 확인했고, 어떤 환경에서는 VLM이 준 보상으로 학습한 에이전트가 보상을 아예 주지 않은 에이전트보다 나빴다고 보고했다. 앞 절에서 본 정밀도 0.33도 같은 얘기다. 성공 선언 세 건 중 둘이 거짓이라면, 그 정책이 강화하고 있는 것은 대부분 성공이 아니다.

틀린 신호는 사후에 걸러 내면 되지 않느냐는 반론이 가능하다. 그 걸러 내기의 한계도 이미 측정됐다. 2026년 6월의 자동 큐레이션 연구(arXiv:2606.05588)는 시연 데이터에 두 종류의 결함을 일부러 심고 품질 지표들이 그것을 잡아내는지 시험했다. 상관된 행동 노이즈나 떨림, 잘린 궤적 같은 미세 결함은 다변량 이상치 탐지로 성능 격차가 완전히 회복됐다. 그러나 결정적인 순간에 잘못된 행동이 들어간 구조적 결함은 행동값만 보는 지표로 탐지되지 않았고, 두 개의 지표는 오히려 결함 있는 시연을 고품질로 판정했다. 상태 궤적까지 함께 보는 최선의 지표조차 격차의 3분의 1만 회복했다. 감독신호를 자동으로 만드는 층과 그것을 자동으로 검수하는 층이 같은 약점을 공유한다는 뜻이다. 둘 다 값이 얼마나 튀는지는 보지만, 그 순간이 중요한 순간이었는지는 모른다. 다만 이 연구는 동료심사를 거치지 않은 프리프린트이므로, 방향을 가리키는 관찰로 읽되 확정된 크기로 옮기지는 않는 편이 낫다.

6.2넷 중 셋은 이미 제품에 들어와 있었다

논문은 이 네 장치가 없다고 진단했다. 그런데 논문이 제출된 전후로 셋은 이미 제품과 인프라에 들어와 있었다. 앞의 절들에서 하나씩 확인한 것을 한자리에 놓으면 공통점이 보인다. 출하는 됐는데, 각자 자기가 얼마나 틀리는지는 말하지 않는다.

셋 다 공정은 공개했고 그 공정의 정확도는 공개하지 않았다. 학계는 같은 대상을 숫자로 재고 있다. 물리 이해의 46.4%p 격차, 판정기의 정밀도 0.33, 오탐 50%에서의 −14.9%p.

이것이 이 리포트가 도착한 자리다. 논문의 진단이 틀렸다는 뜻이 아니다. 논문이 장치가 없다고 쓴 지 두 달 만에 장치는 나왔고, 논문이 미처 다루지 않은 다음 공백이 드러났다는 서술이 정확하다. 데이터를 더 모으는 경쟁은 이미 데이터를 번역하는 경쟁으로 옮겨갔다. 그리고 그다음 자리, 그러니까 번역이 맞았는지를 재는 자리는 아직 비어 있다.

논문이 넷을 나란히 세운 방식과 실제 근거의 두께가 어긋난다는 점도 함께 적을 만하다. 이 리포트가 인터페이스마다 배분한 분량은 자의적 판단이 아니라 확보된 독립 근거를 따라간 결과다.

이 리포트의 절 분량은 논문이 넷을 나란히 세운 대칭이 아니라 이 표를 따랐다. 근거가 두터운 쪽은 표를 실을 수 있었고, 얇은 쪽은 얇다고 적는 데서 멈췄다. 아래쪽 빈칸이 곧 다음 연구가 채워야 할 자리다.

6.3한국은 어디에 서 있나

한국은 2026년에 이 영역으로 크게 들어왔다. 과학기술정보통신부는 피지컬 AI 학습 데이터를 구축하기 위한 데이터 트레이닝센터 신설을 추진하고 있다. 서울 등 중앙 거점에서 손 뻗기·잡기·비틀기·당기기 같은 기본 동작 데이터와 합성 데이터를 생산하고, 전북·경남 등 지역 거점에서 제조·농업·물류·서비스 현장 데이터를 모으는 구조다. 관계 부처가 함께 낸 K-피지컬 AI 풀스택 전략은 데이터 계획을 이렇게 적었다. 현실 공간의 원격조작과 가상 공간의 디지털 트윈 시뮬레이터를 활용해 실데이터와 합성 행동 데이터를 대량 생산하는 전국 5권역 특화 거점을 조성한다는 것이다. 언론 보도 기준으로 경남·전북의 피지컬 AI 기반 산업 전환 연구개발에 2026년부터 2030년까지 1조 4,131억원, 산업통상자원부의 피지컬 AI 개발 사업에 4,022억원이 배정됐다.

이 계획들을 네 인터페이스로 태깅해 보면 한 가지가 눈에 띈다. 단위 동작 수집, 조명과 각도를 바꾼 합성 데이터 증강, 원격조작과 디지털 트윈 거점은 모두 수집과 생성이다. 라벨을 자동으로 만드는 층, 성공과 보상을 판정하는 층, 물리 타당성을 검증하는 층은 공개된 계획 문서에서 확인되지 않는다. 이것을 비판으로 읽을 필요는 없다. 수집 없이는 번역할 것도 없으므로 순서상 먼저 와야 하는 단계다. 다만 수집 거점이 서고 나면 곧바로 다음 질문이 온다. 모은 데이터에 붙일 라벨을 누가 만들고, 그 라벨이 맞는지는 누가 보증하는가.

앞 절의 결론을 한 문장으로 줄이면 이렇다. 번역기는 나왔고 잣대는 없다. 페블러스가 이 논문을 읽으며 계속 멈춰 선 곳도 거기다. 논문이 지목한 네 인터페이스 중 데이터 인터페이스와 보상 인터페이스는 이름만 로봇일 뿐, 하는 일은 라벨을 자동으로 만들고 그 라벨이 맞는지 검증하는 일이다. DataClinic과 AI-Ready Data가 해 온 일 그 자체다. 신체 인터페이스와 월드 모델 인터페이스는 PebbloSim과 피지컬 AI 라인에 인접한다. 이 논문은 로봇 업계의 어휘로 페블러스의 사업 정의를 다시 쓴 문서에 가깝다.

자동 생성된 라벨에는 검수 절차가 없다

데이터 품질의 관점에서 보면 네 인터페이스의 공통점은 하나다. 넷 다 감독신호를 자동으로 만들어 낸다. 자동으로 만든 라벨과 보상은 틀릴 수 있고, 틀린 감독신호는 정책의 내부 표현을 조용히 왜곡한다. 이 리포트가 확보한 수치가 그 왜곡의 크기를 보여 준다. 오탐률 50%에서 성공률이 14.9%p 무너지고, 자동으로 만든 행동 라벨은 환경이 바뀌면 진짜 라벨에 31.2%p 뒤지며, 판정기의 정밀도는 0.33까지 내려간다. 사람이 붙인 라벨에는 검수 절차가 있지만, 자동으로 생성된 라벨에는 그 절차 자체가 아직 정립돼 있지 않다. 번역기를 갖는 것과 번역이 맞다는 것을 아는 것은 다른 문제이고, 이 리포트가 보여 준 것은 후자가 비어 있다는 사실이다.

실무로 옮기면 세 개의 질문

로봇이나 제조 데이터를 다루는 조직이라면 이 리포트는 세 개의 판단 문항으로 정리된다. 첫째, 어디부터 손대나. 확보한 시연이 수십 개 이하라면 번역 인터페이스에 쓰는 노력이 압도적으로 남고, 이미 수백 개라면 수집과 정제 쪽이 낫다. 둘째, 자동 라벨을 무엇으로 믿나. 오탐과 미탐을 하나의 정확도로 뭉뚱그리지 말아야 한다. 거짓 성공이 거짓 실패보다 다섯 배 가까이 비싸다면, 판정기를 평가할 때 계약에 적어야 할 지표는 정확도가 아니라 정밀도다. 셋째, 도입하려는 판정 도구의 오답률을 물어봤나. 지금 시장에 나오는 번역·판정 도구는 자기 오답률을 함께 내놓지 않는다. 그 수치를 요구할 근거가 이 리포트에 있다.

로봇 파운데이션 모델 경쟁이 격화될수록, 그 모델에 먹일 감독신호를 만들고 그 신호의 품질을 독립적으로 보증하는 층의 값이 오른다. 페블러스는 로봇 모델의 경쟁자가 아니고, 이제는 번역기의 경쟁자도 아니다. 번역기가 이미 출하되는 시장에서 번역의 품질을 재는 잣대를 만드는 자리에 선다. 이 리포트를 쓰며 확인한 가장 분명한 사실은, 그 자리가 아직 비어 있다는 것이었다.

로봇 데이터 시리즈는 무엇을 먹일 것인가, 어떻게 손질할 것인가, 어떻게 번역할 것인가로 이어져 왔다. 다음 편에서는 번역된 감독신호의 품질을 실제로 어떻게 잴 것인지, 그 잣대의 설계를 다룬다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 8월 11일

1차 대상 논문 · 2차 해설

• 1.Karcini, E., Mehrban, F., Nguyen, Q., Schwager, M., Ajoudani, A., Cadena, C., Peters, J., Hutter, M., & Bou-Ammar, H. (2026). "Robots Need More than VLA and World Models." arXiv:2606.06556 [cs.RO], 2026-06-04. 포지션 페이퍼 — 이 리포트가 검증 대상으로 삼은 1차 문헌. 네 인터페이스(data / embodiment / world-model / reward)의 원 출처.
• 2.엥지유니버스 | 로봇 엔지니어. (2026). "행동 데이터는 넘치는데, 왜 로봇은 배우지 못할까? | Robots Need More Than VLAs & World Models" [영상]. YouTube. 원 논문에 대한 제3자 한국어 해설(2차 자료) — 이 리포트의 출발점이 된 영상. 본문 사실관계는 1차 출처로 직접 재확인했다.

학술 — 진단의 독립성과 논쟁

• 3.Wang, Z. et al. (2026). "Vision-Language-Action in Robotics: A Survey of Datasets, Benchmarks, and Data Engines." arXiv:2604.23001. 1차 논문보다 6주 앞서, 인용 관계 없이 같은 진단을 낸 독립 근거.
• 4.McCarthy, R. et al. (2025). "Towards Generalist Robot Learning from Internet Video: A Survey." JAIR Vol.83. arXiv:2404.19664. 동료심사 서베이, 닭과 달걀 문제의 정식화.
• 5.Feng, Z. et al. (2026). "From Human Videos to Robot Manipulation: A Survey on Scalable VLA Learning with Human-Centric Data." arXiv:2606.00054. 에피소드화가 여전히 수작업이라는 서술의 출처.
• 6.Zhang, J. et al. (2026). "Progress Reward Modeling for Robotic Learning: A Comprehensive Survey." arXiv:2607.21655. 보상 판정 지표의 파편화를 지적.
• 7.Amato, C. et al. (2025). "'Data will solve robotics and automation: True or false?': A debate." Science Robotics 10(105), eaea7897. DOI 10.1126/scirobotics.aea7897. 데이터 우위론이 합의가 아니라 쟁점이었음을 보여주는 지면 토론. 동반 사설 Goldberg, DOI 10.1126/scirobotics.aea7390. (페이월 — 메타데이터와 논지만 확인)

학술 — 데이터 인터페이스(자동 라벨링)

• 8."JOPAT." arXiv:2605.23856, 2026-05-22. Table 6 — 시연 예산별 무행동 영상 사전학습 곡선. 본문 §2 표의 출처.
• 9.Ye, S. et al. (2025, ICLR). "Latent Action Pretraining from Videos (LAPA)." arXiv:2410.11758. Table 1 — 자동 라벨 대 진짜 라벨 정면 비교. 사전학습 272 H100-hours.
• 10.Bu, Q. et al. (2025). "UniVLA: Learning to Act Anywhere with Task-centric Latent Actions." arXiv:2505.06111. 사람 영상만으로 LIBERO 평균 88.7%.
• 11.Baker, B. et al. (2022, NeurIPS). "Video PreTraining (VPT)." arXiv:2206.11795. 라벨 1,962시간 → 유사 라벨 70,000시간. (마인크래프트 도메인, 로봇 아님)
• 12.NVIDIA. (2025). "GR00T N1." arXiv:2503.14734. 잠재 행동 코드북의 산업 규모 채택.
• 13.Xu, R. et al. (2026). "Motion-Focused Latent Action." arXiv:2606.18955. 배경·시점 노이즈 분리, 다운스트림 시연 약 50개.
• 14.Nikulin, A. et al. (2025, ICML). "Latent Action Learning Requires Supervision in the Presence of Distractors." arXiv:2502.00379. 데이터의 2.5%에 진짜 라벨을 섞으면 평균 4.2배 향상.
• 15.Lee et al. (2026). "Why Latent Actions Fail, and How to Prevent It." arXiv:2605.20223. 재구성 목적함수가 외생 정보를 잠재 행동에 밀어 넣는다는 이론적 규명.
• 16."HumanScale." arXiv:2606.20521, 2026-06. Table 1과 Figure 1 캡션 — 1인칭 영상 약 10⁶시간 대 공개 원격조작 약 10⁴시간.

학술 — 보상 인터페이스(성공·진척 판정)

• 17.Du, Y. et al. (2023). "Vision-Language Models as Success Detectors (SuccessVQA)." arXiv:2303.07280. 인간 평가자 간 일치도 약 88%, 새 과제 59.3%.
• 18.Ma, Y. J. et al. (2024). "Vision Language Models are In-Context Value Learners (GVL)." arXiv:2411.04549. 재현 실험에서 정확도 0.62, 정밀도 0.33.
• 19.Lee, T. et al. (2026). "RoboReward." arXiv:2601.00675. 프런티어 VLM 22종 벤치마킹, 1위 모델 MAE 0.665.
• 20.Liang, A. et al. (2026, RSS). "Robometer." arXiv:2603.02115. 비교·선호 기반 축, 실패 탐지 F1 0.81.
• 21."LLM-as-a-Verifier." arXiv:2607.05391. 궤적 선호 판정 정확도 87.4%.
• 22.Huang et al. (2024/2025). "The Dark Side of Rich Rewards." arXiv:2409.15922. 오탐이 미탐보다 학습을 더 크게 훼손, VLM 보상이 무보상보다 나쁜 사례.
• 23.Chen, S. et al. (2026). "TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics." arXiv:2602.19313. LeRobot 정식 편입된 보상 모델.
• 24.Pan, A., Bhatia, K., & Steinhardt, J. (2022, ICLR). "The Effects of Reward Misspecification." arXiv:2201.03544. 유능해질수록 대리 보상을 착취하는 전환.
• 25.Christiano, P. et al. (2017). "Deep Reinforcement Learning from Human Preferences." arXiv:1706.03741. 보상 해킹의 교과서적 사례.

학술 — 월드 모델 · 신체 인터페이스 · 공통 실패

• 26.Chow, W. et al. (2025, ICLR). "PhysBench." arXiv:2501.16411. 사람 95.87% 대 최고 모델 49.49%, 무작위 25.00%.
• 27.Han et al. (2025). "Probing Spatio-Physical Reasoning in VLMs." arXiv:2508.10770. 적층 안정성 판정 0.542~0.641, 사람 0.779.
• 28.Bansal, H. et al. (2025). "VideoPhy-2." arXiv:2503.06800. 어려운 부분집합 22% 언저리. 선행 연구 VideoPhy arXiv:2406.03520.
• 29.Gu, J. et al. (2025). "PhyWorldBench." arXiv:2507.13428. 반물리 카테고리 0.011.
• 30.He, T. et al. (2024). "H2O: Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation." arXiv:2403.04436. 1만 3천 시퀀스 중 약 8천 5백 개만 실현 가능, 상한 정책 85.5%.
• 31.Araujo, J. P. et al. (2025). "Retargeting Matters (GMR)." arXiv:2510.02252. 리타게팅 방법 품질만으로 성공률 0%와 100%가 갈린 실험.
• 32."What Matters in Orchestrating Robot Policies: A Systematic Study of Hierarchical VLA Agents." arXiv:2606.10267. Appendix B — 오탐·미탐 주입 실험. 본문 §6 표의 출처.
• 33.Bedi, A. et al. (2026). "Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies." arXiv:2606.05588, 2026-06-04. 구조적 결함은 행동값만 보는 지표로 탐지 불가, 최선의 지표도 격차의 1/3만 회복. (미심사 프리프린트)

업계 발표 · 데이터셋 문서 · 정책

• 34.Figure AI. (2025-09-18). "Project Go-Big: Internet-Scale Humanoid Pretraining." 1인칭 인간 영상 100%로 end-to-end 학습 발표. (정량 결과 미공개)
• 35.Hugging Face. "LeRobot — TOPReward." 정식 설정 옵션, 추론 전용 및 기반 모델 편향 상속 명시.
• 36.Hugging Face. "LeRobotDataset v3.0." 정규 구성에 보상·성공·진척도 항목이 등장하지 않음.
• 37.NVIDIA. "Cosmos Cookbook — GR00T-Dreams post-training." 및 Curating Synthetic Datasets with Cosmos Reason (2025-05-18). 물리 타당성 5점 척도 필터.
• 38.한국경제. (2026-06-25). "피지컬 AI 데이터 모을 로봇 훈련소 만든다." 데이터 트레이닝센터 구상.
• 39.ZDNet Korea. (2026-06-19). "정부, K-피지컬 AI 풀스택 전략 공개." 전국 5권역 특화 거점 계획 원문.

페블러스 시리즈 (인접)

• 40.페블러스. "로봇에게 무엇을 먹일 것인가" 2026-08-01. 데이터 소스 다섯 층과 구성비.
• 41.페블러스. "완벽한 데이터를 섞었는데 로봇이 더 나빠졌다" 2026-07-17. 선별과 폐루프 검증.
• 42.페블러스. "월드 모델 물리 검증" 2026-07-11. 생성 영상의 물리 타당성 검증.
• 43.페블러스. "월드 모델 기반 로봇 데이터 합성" 2026-07-10. 리타게팅 사례.
• 44.페블러스. "강화학습 보상 데이터의 출처" · "대리 지표와 보상 해킹" 보상 신호 품질 시리즈.