Executive Summary

지난 몇 년 언어와 이미지 모델이 폭발적으로 좋아진 비결은 단순했다. 인터넷에 이미 쌓여 있던 텍스트와 사진을 긁어 규모를 키우면 됐다. 데이터는 사실상 공짜였고, 문제는 그것을 얼마나 잘 삼키느냐였다. 그런데 로봇은 이 공식을 그대로 쓸 수 없다. 로봇이 배우려는 것은 "이 장면에서 무엇을 보고, 몸이 어떤 상태이며, 그래서 어떤 힘을 어떻게 주었는가"라는 폐루프다. 관측과 물리적 상태와 행동이 한 묶음으로 짝지어져(paired) 있어야 하고, 이 짝지음은 웹 어디에도 굴러다니지 않는다. 유튜브 요리 영상에는 손이 냄비를 어떤 각도로 얼마의 힘으로 쥐었는지가 라벨로 붙어 있지 않기 때문이다.

이 짝지음 요구가 로봇 데이터를 근본적으로 희소하고 비싸게 만든다. 그리고 여기서 로봇 데이터 특유의 긴장이 생긴다. 데이터를 많이 모으려면 특정 로봇 밖으로 나가야 한다. 웹 영상을 긁고, 사람이 손으로 하는 장면을 찍고, 시뮬레이터로 찍어낸다. 그러나 밖으로 나갈수록 그 데이터는 내 로봇의 팔 길이, 관절 수, 그리퍼 모양, 접촉 물리와 어긋난다. 반대로 정합성을 높이려 내 로봇을 사람이 직접 원격 조종해 한 궤적씩 모으면, 정확하지만 느리고 비싸서 규모가 막힌다. 한쪽을 당기면 다른 쪽이 딸려 온다. 이것이 이 글을 관통하는 축, 확장성 ↔ 로봇 정합성의 긴장이다.

한 가지 미리 밝혀 둔다. 이 글은 페블러스가 최근 발행한 두 편의 로봇 데이터 리포트와 한 묶음이다. 앞서 로봇 데이터셋 지형도는 OXE·DROID 같은 대표 데이터셋 여섯 종이 어떤 공통 형식을 따르는지를 다뤘고, 폐루프 큐레이션 리포트는 이미 모은 데이터를 어떻게 고르고 섞어 실기로 검증하는지를 다뤘다. 이번 글은 그 앞단, 애초에 어떤 소스 유형에 투자할 것인가라는 메타 프레임을 다룬다. 데이터셋을 갖추는 문제, 데이터를 요리하는 문제, 그리고 그 이전에 무엇을 재료로 삼을지 고르는 문제. 이 글은 세 번째다. 그래서 물리충실도나 재현성 같은 용어는 앞 두 글이 세운 정의를 그대로 이어 쓴다.

기준점이 되는 자료는 11개 기관이 2026년 7월 공동으로 정리한 서베이 "Data Pyramid for Embodied Manipulation"(arXiv 2607.24744)이다. 이 서베이가 로봇 조작 학습에 쓰이는 데이터를 다섯 층으로 세우고 네 기준으로 재정렬한 골격을 제시했고, 이 글은 그 골격을 페블러스 독자의 자가 진단 관점에서 다시 읽는다.

피라미드를 위에서부터 내려가며 읽어 보자. 위로 갈수록 내 로봇과의 정합성이 높고, 아래로 갈수록 모을 수 있는 양이 많다. 맨 위는 실로봇 데이터다. 사람이 로봇을 직접 원격 조종하거나 손잡고 가르쳐(kinesthetic teaching) 얻은 궤적으로, 내 로봇의 관측·상태·행동·접촉이 완벽하게 짝지어져 있다. 대표적으로 Open X-Embodiment(OXE)는 22개 이상 구현체에서 모은 100만+ 궤적을 하나의 형식으로 통합했고, DROID는 실제 환경에서 86개 태스크를 7만 6천 궤적, 약 350시간 분량으로 담았다. AgiBot World는 100대의 휴머노이드로 100만 궤적을 모았다. 규모가 작지 않아 보이지만, 언어 모델이 삼키는 조 단위 토큰에 비하면 여전히 자릿수가 몇 개 모자란다. 정확한 대신 늘 부족한 층이다.

그 아래 UMI형 데이터가 온다. UMI(Universal Manipulation Interface)는 로봇 없이 사람이 손에 쥐고 다니는 핸드헬드 그리퍼다. 그리퍼 끝(엔드이펙터)의 움직임만 기록하므로, 특정 로봇 몸체에 묶이지 않은 채 조작 모션을 저비용·고속으로 수집한다. 컵을 정리하는 태스크에서 UMI는 텔레오퍼레이션보다 3배 이상 빠르게 데이터를 모으고, 사람이 원격으로는 도저히 못 하는 동적으로 던지는 동작까지 시연으로 남긴다. 실로봇의 정확성과 확장성 사이를 잇는 첫 번째 다리다.

세 번째는 에고·엑소센트릭 인간 영상이다. 사람 머리에 카메라를 달아 1인칭(에고)으로, 혹은 바깥에서 3인칭(엑소)으로 사람이 손으로 하는 일상 조작을 찍는다. Ego4D는 3,670시간, Ego-Exo4D는 1,286시간에 이르는 대규모 인간 활동 영상을 담았다. 로봇 행동 라벨은 없지만 인간의 손재주와 상황 다양성이 압도적이다. HumanEgo 실험에서 인간 에고 영상은 로봇 텔레오퍼레이션 대비 약 3.75배의 샘플 효율을 보였다. 사람의 손을 로봇의 교재로 빌려 오는 층이다.

네 번째 시뮬레이션은 확장성의 화신이다. 물리 엔진 안에서 장면·물체·조명·마찰을 마음대로 바꿔 가며 데이터를 무한히 찍어낸다. NVIDIA의 GR00T 파이프라인은 사람이 시연한 소량을 증강해, 물리 세계로는 6,500시간이 걸릴 분량을 11시간 만에 만들어 591배로 압축했다고 보고했다. 문제는 시뮬과 실제 사이의 성능 차이, 곧 sim-to-real 갭이다. 이 갭은 태스크 난이도에 따라 -11%p에서 -87%p까지 벌어지는데, 이 숫자의 정체는 다음 섹션에서 자세히 본다.

맨 아래는 범용 웹·비전언어(VLA) 데이터다. 인터넷의 텍스트·이미지·영상 전체가 여기 속한다. 로봇 행동은 전혀 담겨 있지 않지만, 대신 "컵은 음료를 담는 물건", "빨간불에는 멈춘다" 같은 의미와 상식을 무한히 공급한다. RT-2가 웹 데이터를 로봇 데이터와 함께 학습(co-training)했더니 처음 보는 물체에 대한 일반화가 32%에서 62%로 올랐다. 확장성은 최고, 물리 정합성은 0에 가까운 층이다.

이 다섯 층을 하나의 그림으로 세우면, 왜 '피라미드'라는 은유가 정확한지 보인다. 위로 갈수록 정합성이 높아 좁고 귀하며, 아래로 갈수록 확장성이 커 넓고 흔하다.

로봇 학습 데이터 5층 피라미드. 위(실로봇)로 갈수록 내 로봇과의 정합성이 높아 좁고 귀하며, 아래(범용 웹)로 갈수록 확장성이 커 넓고 흔하다. 각 층의 대표 데이터셋 규모는 참고문헌의 원출처 대조. 골격 출처: arXiv 2607.24744.

층의 순서만으로는 "무엇을 얼마나 섞을지"를 정할 수 없다. 실로봇이 위에 있다고 해서 언제나 더 좋은 것은 아니기 때문이다. 그래서 서베이는 다섯 층을 네 개의 서로 다른 자로 다시 잰다. 품질은 시연이 얼마나 깨끗하고 성공적인가, 다양성은 물체·장면·태스크가 얼마나 넓게 펼쳐지는가, 재사용성은 다른 로봇·다른 과제로 얼마나 잘 옮겨지는가, 그리고 물리충실도는 그 데이터가 실제 물리(접촉·힘·관성)를 얼마나 정직하게 반영하는가를 묻는다. 물리충실도와 재현성의 정의는 앞서 발행한 두 리포트가 세워 둔 것을 그대로 쓴다.

네 자로 재면 순위가 자마다 뒤집힌다. 실로봇은 품질과 물리충실도에서 최고지만 재사용성과 확장성은 최저다. 범용 웹은 다양성이 압도적이지만 물리충실도가 사실상 없다. 시뮬은 무한히 찍어내고 조절할 수 있어 다양성과 재사용성이 높지만 sim-to-real 갭이 물리충실도를 깎는다. 아래 표는 다섯 층을 네 기준으로 나란히 세운 것이다. 핵심은 어느 자로 재도 전부 1등인 층은 없다는 점이다.

다섯 층을 네 기준(품질·다양성·재사용성·물리충실도)으로 재정렬. 강/중/약은 서베이의 상대 평가를 요약한 것으로, 셀의 절대 수치가 아니라 층 사이의 상대 위치를 읽어야 한다. 출처: arXiv 2607.24744 및 각 데이터셋 원문(참고문헌).

3.1다리 층은 왜 필요한가

표를 세로로 읽으면 흥미로운 사실이 드러난다. 실로봇(정합성 최고)과 범용 웹(확장성 최고)은 정반대 극단이고, 그 사이가 UMI·에고·시뮬로 채워진다. 이 가운데 층들이 바로 '다리'다. UMI는 로봇 없이 조작 모션을, 에고 영상은 로봇 없이 손재주를, 시뮬은 로봇 없이 물리 롤아웃을 공급한다. 셋 다 "실로봇만큼 정확하진 않지만 훨씬 싸고 빠르게, 웹보다는 훨씬 물리에 가깝게" 데이터를 만들어 극단 사이의 빈 곳을 메운다. 피라미드가 무너지지 않는 이유가 이 다리들에 있다.

3.2"빨리 많이"가 "쓸 만하다"는 아니다

다만 다리의 값어치를 잴 때 흔히 빠지는 함정이 있다. 수집 속도와 데이터 효율을 같은 축으로 착각하는 것이다. UMI는 텔레오퍼레이션보다 3배 이상 빠르게 데이터를 모은다. 그러나 이는 수집 처리량(throughput)이 빠르다는 뜻이지, 그렇게 모은 데이터 한 건 한 건이 학습에 더 효율적이라는 뜻은 아니다. 실제로 어떤 연구(EgoGuide)는 같은 성공률에 도달하기까지 UMI가 텔레오퍼레이션보다 5배 많은 에피소드를 요구할 수 있다고 지적한다. 빨리 많이 모은 데이터가 그만큼 알짜라는 보장은 없다. 처리량과 학습 효율은 반드시 나눠서 봐야 하며, 이 구분이 바로 데이터를 진단하고 큐레이션할 이유가 된다.

층을 나누고 자로 재는 이유는 결국 하나다. 각 층이 로봇에게 서로 다른 능력을 심어 주기 때문이다. 로봇 조작 지능은 크게 다섯 갈래로 나뉜다. 장면을 알아보는 지각, 상황을 헤아리는 추론, 순서를 짜는 계획, 실제 힘과 궤적을 만드는 행동생성, 그리고 "이렇게 하면 물체가 저렇게 움직일 것"을 내다보는 세계예측이다. 그리고 이 능력들은 서로 다른 층에서 상속된다. 어떤 능력이 약하다면, 그 능력을 공급하는 층이 내 데이터에서 비어 있다는 신호다.

대략의 대응은 이렇다. 범용 웹은 의미와 상식을 실어 지각과 추론을 키우고, 실로봇은 정밀한 행동생성을 공급하며, 시뮬은 물리 롤아웃으로 세계예측을 담당한다. 에고·엑소 인간 영상과 UMI는 그 사이에서 손재주와 모션 다양성을 보탠다. 아래 도식이 어느 층이 어느 능력으로 흘러드는지를 보여준다.

데이터 층 → 로봇 능력 매핑. 굵은 오렌지 선은 그 능력의 주 공급원을 뜻한다. 개념 도식이며 배타적 대응이 아니라 지배적 기여를 나타낸다. 골격 출처: arXiv 2607.24744.

4.1혼합의 산술: 더 모으기보다 섞기

능력이 층에서 상속된다면, 실력을 끌어올리는 길은 "더 모으기"가 아니라 "부족한 능력의 층을 섞기"다. 이 명제를 숫자가 못 박는다. 같은 태스크에서 데모를 200건에서 500건으로 늘리면 성공률은 +8%p 남짓 오르는 데 그친다. 그런데 같은 규모에 인간 중심 데이터를 co-training으로 섞으면 +52%p가 뛴다. 데이터를 두 배 반으로 불리는 것보다, 다른 종류를 한 스푼 섞는 편이 여섯 배 넘게 효과적이라는 뜻이다. HumanEgo 실험은 이를 곡선으로 보여준다. 학습 데이터에서 인간 영상 비율을 0%, 25%, 50%, 75%, 100%로 올리자 실물 성공률이 65 → 72.5 → 77.5 → 90 → 95%로 단조 증가했다. OXE로 여러 로봇 데이터를 혼합 사전학습한 정책(RT-1-X)은 단독 학습 대비 평균 약 50% 더 나았다.

(좌) 같은 태스크에서 데모를 200→500건으로 증량하면 +8%p, 같은 규모에 인간 중심 데이터를 혼합하면 +52%p. (우) HumanEgo: 학습 데이터의 인간 영상 비율을 0→100%로 올릴수록 실물 성공률이 65→95%로 단조 증가. 페블러스 원본 도식(재해석). 출처: arXiv 2607.24744; HumanEgo arXiv:2605.24934.

4.2갭을 가르는 건 소스가 아니라 정렬이다

섞기가 답이라면 남는 질문은 "어떻게 섞느냐"다. 여기서 흔한 오해가 하나 있다. 시뮬이나 다른 로봇 데이터는 어차피 내 로봇과 달라 못 쓴다는 생각이다. 실제로 시뮬을 실제로 옮길 때의 sim-to-real 갭은 만만찮아서, 가벼운 태스크에서는 -11%p, RoboDojo의 18개 실태스크처럼 까다로운 경우엔 -87%p까지 벌어진다. 단일 숫자로 "시뮬은 몇 %p 손해"라고 말할 수 없는 넓은 스펙트럼이다.

그런데 결정 변수는 소스의 격차 자체가 아니라 정렬 기법을 썼는가였다. 다른 구현체 데이터로 학습해 곧바로 내 로봇에 적용하는 제로샷 성공률은 0%에서 94%까지 전 구간을 오간다. 같은 휴머노이드(G1)의 사과 집기 태스크가 대표적이다. 제로샷으로는 0%였다가, 표준 파인튜닝을 거치면 48%, 접촉을 강화한 정렬을 더하면 94%까지 올랐다. 데이터 소스도 로봇도 그대로인데 정렬만으로 0에서 94가 갈린 것이다. 시뮬 사전학습에 소량의 실데이터 파인튜닝을 얹으면 남은 갭의 60~80%를 회복한다는 보고도 같은 이야기를 한다. 층을 잘 골라 섞되, 그 사이를 잇는 정렬 레시피가 성패를 가른다.

4.3아직 비어 있는 칸, 그리고 업계의 서로 다른 베팅

피라미드가 모든 칸을 채운 것은 아니다. 서베이는 여섯 개의 미해결 과제를 짚는다. 촉각·힘 데이터의 결핍, 실패에서 회복하는 시연의 부족, 확장 가능한 수집 파이프라인의 미비, 서로 다른 로봇 사이의 cross-embodiment 정렬, 인간 손재주를 로봇 손으로 옮기는 문제, 그리고 이 모두를 관통하는 데이터 레시피 설계다. 어느 하나 알고리즘만으로 풀리지 않고, 전부 "어떤 데이터를 어떻게 갖추고 섞느냐"의 문제라는 공통점을 갖는다.

그래서 업계는 이미 서로 다른 층에 베팅을 나눠 걸었고, 그 선택이 곧 사업 모델을 가른다. Tesla·Figure·Physical Intelligence·AgiBot은 실로봇 대량 텔레오퍼레이션에 투자한다. 다만 Tesla는 2025년 중반 텔레오퍼레이션에서 헬멧형 1인칭 리그로 전환해 에고 층으로 무게를 옮겼다. NVIDIA는 Isaac·GR00T로 시뮬 대량 생성에 베팅해 합성과 실데이터를 결합하고, GR00T N1은 아예 학습 데이터를 피라미드형(위로 갈수록 양은 적고 구현체 특이성은 높은)으로 배치한다. Hugging Face의 LeRobot은 오픈 생태계 쪽에 서서, 공개 데이터셋을 1,145개에서 2년 만에 5만 8천 개 이상으로 50배 가까이 불렸다. "어느 층에 투자할지"가 이미 산업의 승부처라는 뜻이다.

이 서베이가 세운 '확장성 ↔ 정합성' 축과 네 기준의 어휘는, 페블러스가 오래 말해 온 AI-Ready Data의 언어와 거의 그대로 겹친다. 그 겹침을 네 각도에서 짧게 짚는다.

비즈니스와 기술의 교차점

논문의 출발점은 "로봇은 관측·상태·행동이 짝지어진 데이터를 요구하고, 그래서 확장성과 정합성이 상충한다"는 데이터 현실이다. 이는 페블러스 Physical AI 사업의 정중앙에 있는 문제다. 어느 데이터 소스에 투자할지, 어떤 비율로 섞을지가 로봇 능력의 실질적 상한을 정하기 때문이다. 다섯 층 중 시뮬레이션 층은 PebbloSim, 혼합비와 품질 진단은 DataClinic, 소스 사이의 정합성·완전성 판단은 AI-Ready Data의 어휘와 정확히 맞닿는다.

데이터 품질 관점

데이터 소스 구성이 로봇의 지각·추론·계획·행동생성·세계예측 능력을 각각 다르게 키운다는 통찰은, "데이터 품질·구성이 모델 내부 능력을 결정한다"는 명제의 로봇판 실증이다. 품질·다양성·재사용성·물리충실도라는 네 축은 AI-Ready Data 품질 어휘와 1:1로 대응하고, 특히 물리충실도는 합성·시뮬 데이터의 sim-to-real 갭(-11~-87%p)과 직결된다. "빨리 많이 모았다"가 "쓸 만한 데이터"를 보장하지 않는다는 3.2절의 구분이, 진단과 큐레이션이 필요한 이유를 그대로 설명한다.

고객·파트너 실무 함의

로봇·Physical AI 팀은 늘 같은 벽 앞에 선다. 실로봇 텔레오퍼레이션은 비싸고, 시뮬은 갭이 있고, 웹은 행동이 없다. 그렇다면 어떤 레시피로 섞을 것인가. 여섯 개 미해결 과제 중에서도 데이터 레시피 설계, cross-embodiment 정렬, 실패 복구 데이터는 진단·큐레이션 서비스로 직접 다룰 수 있는 구체적 페인 포인트다. 혼합 +52%p 대 증량 +8%p, 정렬 유무로 0%에서 94%라는 수치가 "레시피를 진단할 가치"를 정량으로 보여준다.

페블러스의 포지셔닝

앞서 발행한 두 리포트가 "어떤 데이터셋이 있는가(지형도)"와 "그 데이터를 어떻게 검증하는가(폐루프 큐레이션)"를 다뤘다면, 이 글은 그보다 앞선 "무엇을 재료로 삼을 것인가(층 선택)"를 다룬다. 세 편이 이어지면 층 선택 → 데이터셋 표준화 → 폐루프 검증이라는 하나의 흐름이 된다. 로봇 지능의 병목이 데이터 구성이라면, 그 구성을 진단하고 근거화하는 자리에 페블러스가 있다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 8월 1일

원 서베이 · 학술 논문

• 1."Data Pyramid for Embodied Manipulation." 11개 기관 공동 서베이, 2026년 7월. arXiv:2607.24744. 이 글의 5층·4기준·6대 과제 골격의 출처. HF: huggingface.co/papers/2607.24744.
• 2.Open X-Embodiment Collaboration. "Open X-Embodiment: Robotic Learning Datasets and RT-X Models." arXiv:2310.08864. 100만+ 궤적, 22개+ 구현체(집계 방식별 편차, 보수 표기). RT-1-X 혼합 사전학습 +50%.
• 3.Khazatsky, A. et al. "DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset." RSS 2024. arXiv:2403.12945. 86개 태스크 · 7.6만 궤적 · 약 350시간. 공식: droid-dataset.github.io.
• 4."AgiBot World Colosseo." IROS 2025. arXiv:2503.06669. 약 100만 궤적 · 2,976시간 · 100대 휴머노이드.
• 5.Chi, C. et al. "Universal Manipulation Interface (UMI)." arXiv:2402.10329. 핸드헬드 그리퍼, 텔레오퍼레이션 대비 3배+ 수집 속도. 공식: umi-gripper.github.io.
• 6."HumanEgo." arXiv:2605.24934. 인간:로봇 혼합비 65→95% 단조 증가, 인간 에고 영상 3.75× 샘플 효율.
• 7.Grauman, K. et al. "Ego4D." CVPR 2022 (3,670시간). 및 "Ego-Exo4D" (1,286시간 · 5,035 takes). 대규모 인간 에고·엑소센트릭 영상.
• 8.Brohan, A. et al. "RT-2: Vision-Language-Action Models." 웹 co-training으로 신규 물체 일반화 32→62%.

산업 릴리스 · 데이터셋

• 9.NVIDIA. "GR00T N1: An Open Foundation Model for Generalist Humanoid Robots." arXiv:2503.14734. 합성 시연 591배 압축, 합성+실 결합 +40%, 데이터의 피라미드형 배치.
• 10.Hugging Face. "LeRobot." 공개 로봇 데이터셋 1,145 → 58,000+ (약 2년, 오픈 생태계).

페블러스 시리즈 (인접)

• 11.페블러스. "유명 로봇 데이터셋 6종이 따르는 공통 형식은?" 2026-07-16. 데이터셋 지형도(시리즈 1편).
• 12.페블러스. "완벽한 데이터를 섞었는데 로봇이 더 나빠졌다" 2026-07-17. 폐루프 큐레이션(시리즈 2편).