Executive Summary

헤드라인은 "로봇 데이터를 82배 빠르게 찍어낸다"고 말하지만, 논문이 측정한 것은 조금 더 좁다. U0는 자기회귀 모델이 이미지를 한 픽셀 블록씩 순서대로 예측하는 기존 방식(NTP) 대신, 대각선·역대각선 방향을 동시에 풀어 나가는 병렬 디코딩(FlashAR+)을 쓴다. 여기에 vLLM 기반의 배치 실행과 페이지 단위 KV 캐시 관리를 얹어, 1024×1024 이미지 한 장을 만드는 시간을 450.77초에서 5.44초로 줄였다. 82.9배는 이미지 한 장의 생성 속도에 붙은 숫자다.

▲ 이미지 한 장 생성 방식 비교 — 순차 디코딩(NTP)과 병렬 디코딩(FlashAR+)의 단계 수 차이가 450.77초→5.44초, 82.9배 차이로 이어진다. 페블러스 원본 도식 (arXiv:2607.11643 재해석).

이 구분이 중요한 이유는, 데이터셋 하나가 완성되기까지는 이미지 생성 말고도 궤적 설계·검수·필터링 같은 단계가 남기 때문이다. 그래서 "데이터 파이프라인 전체가 82배 빨라졌다"는 표현은 과장이다. 그럼에도 이미지 합성이 파이프라인에서 가장 무거운 구간이었던 만큼, 이 병목을 두 자릿수 배율로 걷어냈다는 사실만으로도 로봇 데이터 생산의 경제성이 바뀐다. 한 장을 8분 기다리던 작업이 5초로 줄면, 같은 예산으로 찍어낼 수 있는 시나리오의 규모 자체가 달라진다.

U0가 이전의 개별 합성 기법과 갈리는 지점은 통합이다. 텍스트로 이미지를 만들고, 이미지를 편집하고, 체화 장면(로봇이 놓인 작업 환경)을 생성하고, 기존 로봇 궤적을 새 환경으로 옮겨 심는 네 가지 일을 38억 파라미터 자기회귀 모델 하나가 겸한다. 지금까지는 이 일들이 각기 다른 모델과 파이프라인으로 흩어져 있었다. 하나로 묶였다는 것은 곧 데이터를 조립 라인처럼 흘려보낼 수 있다는 뜻이다. 한 모델의 출력이 다음 단계의 입력이 되고, 사람이 도구 사이를 갈아 끼우는 손이 사라진다.

2.1재촬영 없이 시나리오를 늘리는 법

네 가지 중 로봇 데이터 실무에 가장 직접적인 것은 체화 전이(embodied transfer)다. 이미 촬영해 둔 실제 로봇 궤적 하나를 받아, 로봇의 동작은 그대로 둔 채 배경·조명·물체의 재질과 배치만 바꿔 새로운 학습 장면을 만들어 낸다. 창고 조명에서 찍은 집기 동작을 주방 조명과 다른 작업대 위로 옮기고, 물체를 금속에서 유리로 바꾸는 식이다. 위험하거나 드물게 일어나는 상황을 실제로 연출하지 않고도 확보할 수 있다는 점에서, 이건 데이터 증강이라기보다 촬영본 한 편을 여러 편으로 복제하는 공정에 가깝다.

▲ 체화 전이(embodied transfer) 개념도 — 실제 로봇 궤적 하나를 재촬영 없이 조명·배경·재질만 바꿔 여러 학습 시나리오로 복제한다. 페블러스 원본 도식 (arXiv:2607.11643 재해석).

페블러스가 앞서 다룬 알리바바 RynnWorld-Teleop은 사람 손동작 스트림으로 로봇 시연을 실시간 합성하는 접근이었다. U0는 그보다 상류에 있다. 손동작 한 번으로 시연 한 편을 만드는 것이 아니라, 이미 있는 시연을 무한히 변주하고 그 전 과정을 하나의 공개된 모델로 묶었다. 개별 기법이 대량생산 설비로 바뀐 셈이다.

생성이 빠르다는 것과 그렇게 만든 데이터가 쓸모 있다는 것은 다른 이야기다. 논문은 두 가지를 분리해 증명하려 했다. U0가 찍어낸 데이터로 별도의 독립 정책(π₀.₅)을 학습시킨 뒤, 학습 때 보지 못한 조건에서 성능을 쟀다. 분포 밖(out-of-distribution) 성공률이 36.9%에서 63.2%로 올랐다. 학습에 쓰인 것은 U0가 생성한 데이터였지, U0 자신이 시험을 본 것이 아니라는 점이 핵심이다.

실제 로봇 테스트도 같은 방향을 가리켰다. 미지의 조명·배경 조건에서 정책의 작업 완료율이 평균 26%포인트 올랐다. 생성 품질 자체도 GPT-Image-2.0 대비 체화 장면 생성 인간 평가에서 앞섰고, 126개 모델이 참여한 WorldArena 벤치마크에서 1위로 보도됐다. 동시에 Geneval·ImageEdit 같은 범용 이미지 벤치마크에서 성능이 무너지지 않아, 로봇용으로 특화하면서도 일반 생성 능력을 유지했다는 점을 확인했다.

U0의 발표에서 기술 수치만큼 무게가 실린 부분은 공개 방식이다. 샤오미는 프로젝트 웹사이트와 GitHub 저장소, Hugging Face 모델 가중치, ModelScope 컬렉션을 통해 소스코드와 학습된 가중치를 전면 공개했다. 이건 논문만 내고 결과를 자랑하는 방식과 다르다. 컴퓨팅 자원만 갖추면 누구나 U0를 내려받아 자체 로봇 데이터 공장을 돌릴 수 있다는 뜻이다.

이 흐름은 샤오미 혼자의 실험이 아니다. U0는 앞서 공개된 실시간 실행용 Xiaomi-Robotics-0(47억 파라미터)과 10만 시간 규모의 실세계 조작 데이터로 학습한 Xiaomi-Robotics-1을 잇는 라인업의 일부로 소개됐다. 인식과 실행을 담당하는 모델 위에 데이터를 찍어내는 모델을 얹어, 로봇 개발의 전 단계를 오픈소스로 열어 두려는 로드맵이다. 로봇 데이터를 확보하는 일이 특정 기업의 자본과 하드웨어에 묶여 있던 구도가, 내려받아 쓰는 소프트웨어 문제로 바뀌는 지점이다.

진입장벽이 낮아지면 경쟁의 무대도 옮겨 간다. 누구나 데이터를 찍어낼 수 있게 되면, "데이터를 얼마나 가졌나"는 더 이상 해자가 아니다. 값싸고 흔해진 상품이 된 로봇 데이터 위에서, 승부는 다른 곳에서 갈리기 시작한다.

물량이 82배로 늘 때 자연스럽게 따라오는 질문이 있다. 그렇게 찍어낸 데이터가 실제 물리 법칙과 드문 상황을 충실히 담고 있는가, 그리고 그것을 누가 검증하는가다. 생성이 값싸질수록 검증되지 않은 데이터가 학습 파이프라인으로 흘러들 위험도 함께 커진다.

이 우려는 근거가 있다. 페블러스가 앞서 다룬 RoboScape 연구는 월드모델에서 물리 법칙을 명시적으로 심지 않으면 정책 성공률이 40.6%포인트까지 붕괴한다는 것을 보였다. 그럴듯해 보이지만 중력·마찰·접촉을 어긴 시연은, 화면상으로는 완벽해도 실제 로봇에게는 잘못된 습관을 가르친다. 빠른 합성이 곧 신뢰할 수 있는 합성은 아니라는 뜻이다.

여기에 계보(provenance)의 문제가 겹친다. 여러 로봇 데이터셋을 한자리에 놓고 비교한 데이터셋 지형 리포트는, 지금의 합성 데이터가 어디서 어떻게 만들어졌는지를 추적하기 어렵다는 공백을 공통 문제로 지적했다. 오픈소스 모델이 여러 손을 거쳐 데이터를 대량으로 찍어내기 시작하면, 이 계보 공백은 더 넓어진다. 어떤 시연이 어떤 조건에서 합성됐고 물리적으로 얼마나 타당한지를 기록하지 않으면, 데이터가 늘어날수록 그 데이터를 신뢰할 근거는 오히려 줄어든다.

▲ 로봇 데이터 파이프라인의 병목 이동 — 수집에서 생성으로, 다시 생성된 데이터의 충실도·계보 검증으로. 페블러스 원본 해석 도식.

R.1학술 논문

• 1.Li, X. et al. (2026). "Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model." arXiv:2607.11643.

R.2업계·보도

• 2.Tech Times. (2026-07-16). "Xiaomi Open-Sources Robotics World Model Behind an 82× Data Generation Speedup." Tech Times.
• 3.Pandaily. (2026-07). "Xiaomi Open-Sources Robotics-U0: A 38B-Parameter Embodied Generative Model That Unifies Four Robot Tasks." Pandaily.

U0 한 편으로 로봇 데이터의 판이 끝나는 것은 아니다. 그러나 인식·실행 모델 위에 데이터를 찍어내는 모델을 오픈소스로 얹은 이 발표는, 로봇 데이터가 값싼 상품으로 바뀌는 흐름이 이미 시작됐음을 분명히 한다. 물량이 흔해진 자리에서 다음 승부처는 그 물량의 충실도를 보증하는 능력이다. 페블러스가 PebbloSim에서 물리적으로 그럴듯하지만 틀린 합성 데이터를 걸러내는 문제에 매달려 온 이유이기도 하다.

읽어주셔서 감사합니다. 찍어낸 로봇 데이터의 충실도와 계보를 어떻게 검증할지에 대한 의견이나 질문이 있으시면 언제든 나눠 주세요.

(주)페블러스 데이터 커뮤니케이션팀
2026년 7월 18일