Executive Summary

로봇을 학습시키는 공개 데이터는 크게 두 갈래로 나뉜다. 하나는 사람이 실제 로봇을 조종해 기록하는 실로봇 텔레옵이고, 다른 하나는 시뮬레이터에서 소수 시연을 증폭하거나 대량으로 찍어내는 합성이다. DROID와 Open X-Embodiment가 앞쪽에, GR00T·RoboCasa·MimicGen·LIBERO가 뒤쪽에 선다. 규모는 DROID의 76,000 궤적부터 Open X-Embodiment의 100만 궤적, GR00T의 약 345,000 궤적까지 벌어지고, 라이선스도 상업 가능한 CC-BY 4.0부터 비상업 전용까지 갈린다.

그런데 이 여섯을 한 표에 올려 보면 마지막 열에서 역설이 드러난다. 수집 방식과 규모와 라이선스가 다 다른데도, 배포 형식만은 예외 없이 HuggingFace의 LeRobot으로 수렴한다. 이 리포트의 축이 여기 있다. 데이터가 흩어진 자리에서 형식은 이미 하나로 표준화됐고, 그 표준 위에 무엇이 여전히 비어 있는지가 다음 이야기다.

6종 마스터 비교표. 궤적 수·주도 기관·수집 방식은 갈라지지만 마지막 열(LeRobot 재배포)만은 여섯이 공통이다.
※ RoboCasa365(2026)는 별도 논문이다 — arXiv:2603.04356 (ICLR 2026), 2,500+ 씬 / 60개 주방활동에 걸친 365 태스크. 원 RoboCasa(2406.02523)와 혼동하지 않는다.

서로 다른 연구실이 모은 로봇 데이터는 대개 비교할 수 없다. 로봇 팔이 다르고, 카메라 배치가 다르고, 그리퍼가 다르기 때문이다. DROID(arXiv:2403.12945, RSS 2024)는 이 문제를 하드웨어 표준화로 풀었다. 스탠퍼드·UC버클리·UT오스틴을 포함한 13개 기관이 똑같은 셋업(Franka Panda 7-DoF 팔 + Robotiq 2F-85 그리퍼 + Oculus Quest 2 텔레옵)으로 12개월간 76,000 궤적, 350시간 분량을 모았다. 태스크는 86종, 씬은 564개, 수집자는 50명에 이른다. 하드웨어를 통일했기에 13개 기관의 데이터가 처음부터 서로 비교 가능한 상태로 쌓였다.

아래는 DROID의 표준 수집 셋업이다. 전 기관이 동일한 로봇 팔과 텔레옵 장비를 쓴다.

DROID 표준 하드웨어 셋업. Franka Panda 7-DoF + Robotiq 2F-85 그리퍼 + Zed 스테레오 카메라 + Oculus Quest 2 텔레옵. 출처: DROID (Khazatsky et al. 2024, CC-BY 4.0)

표준화가 다양성을 희생시킨 것은 아니다. DROID의 564개 씬은 실험실 한 구석이 아니라 실제 사무실·주방·복도 등 in-the-wild 환경에 넓게 퍼져 있다. 아래 분포는 하드웨어를 고정하고도 환경 다양성을 확보했음을 보여준다.

DROID 564개 씬 분포 — in-the-wild 다양성. 출처: DROID (Khazatsky et al. 2024, CC-BY 4.0)

카메라 구성도 촘촘하다. 외부 Zed 2 스테레오 2대와 손목 Zed Mini 1대가 붙어, 데이터셋 전체에서 1,417개의 카메라 뷰포인트와 캘리브레이션이 확보됐다. 뷰포인트가 많다는 것은 같은 동작을 여러 각도에서 배울 수 있다는 뜻이다.

DROID 카메라 뷰포인트/캘리브레이션 분포 — 총 1,417개. 출처: DROID (Khazatsky et al. 2024, CC-BY 4.0)

DROID는 RGB 영상, depth(스테레오), 관절·그리퍼 상태, 언어 지시를 모두 담는다. 실로봇 데이터로서 가질 수 있는 모달리티는 거의 갖췄다. 그런데 여기에도 비어 있는 칸이 있다. 로봇이 물건을 쥘 때 그리퍼에 걸린 접촉력의 로그, 그리고 각 궤적이 물리적으로 타당한지를 사후에 검증할 수 있는 증명이 없다. 이 공백은 DROID만의 문제가 아니라 여섯 데이터셋이 공통으로 안고 있는 문제이며, 9번 섹션에서 본격적으로 다룬다.

DROID가 하드웨어를 통일해 균질성을 얻었다면, Open X-Embodiment(arXiv:2310.08864)는 정반대 길을 걸었다. Google DeepMind가 주도해 34개 연구실에 이미 흩어져 있던 데이터셋 60개를 RLDS라는 한 형식으로 풀링했다. 그 결과 서로 다른 로봇 22종의 기록(100만 궤적 이상, 527가지 스킬)이 한 모델이 배울 수 있는 형태로 묶였다. 표준 포맷 하나가 이질적인 데이터를 얼마나 강력하게 통합할 수 있는지를 처음 증명한 시도다.

아래 모자이크는 22종 임바디먼트와 60개 데이터셋이 하나로 묶인 모습이다. 로봇 팔부터 이동 로봇까지 형태가 제각각인 기록이 같은 학습 파이프라인에 들어간다.

Open X-Embodiment — 22 임바디먼트 × 60 데이터셋 통합 모자이크. 출처: Open X-Embodiment (Collaboration 2023, CC-BY 4.0)

통합의 효과는 모델 성능으로 확인됐다. 같은 데이터로 학습한 RT-1-X는 in-domain 태스크에서 원래 모델보다 성공률이 50% 높았고, 더 큰 RT-2-X는 창발 스킬을 3배 더 보여줬다. 하나의 로봇 데이터만으로는 나오지 않던 일반화가, 22종을 함께 배우자 나타난 것이다. 이질적 데이터를 한 형식으로 묶는 것만으로 모델이 더 넓게 배운다는 증거였다.

지금까지 본 데이터셋은 원래 서로 다른 형식으로 태어났다. DROID는 RLDS(TFDS) 기반, Open X-Embodiment도 RLDS, GR00T는 NVIDIA 자체 레이아웃이었다. 그런데 실무자가 이 데이터를 꺼내 학습에 쓸 때는 대부분 HuggingFace의 LeRobot 형식으로 다시 포장된 버전을 쓴다. LeRobot은 에피소드를 <task>/data/chunk-000/episode_NNNNNN.parquet 같은 표준 구조로 저장해, 출신이 다른 데이터를 하나의 로더로 읽게 하는 공통 레이아웃이다.

수렴은 추상적 주장이 아니라 실제 배포로 확인된다. DROID는 IPEC-COMMUNITY/droid_lerobot로 변환돼 92,233 에피소드 / 27,044,326 프레임을 담고, 원본 2TB TFDS가 LeRobot v3.0에서는 약 400GB로 줄었다(Apache-2.0). Open X-Embodiment는 IPEC-COMMUNITY/OpenX-LeRobot로 서브셋 31개가 올라와 있다. RoboCasa·LIBERO·GR00T 데이터도 같은 표준 레이아웃을 따른다. 수집 방식이 여섯 갈래로 갈라져도 실무 배포의 마지막 형식은 하나다.

이 수렴이 하루아침에 이뤄진 것은 아니다. lerobot 저장소의 대규모 데이터셋 지원은 PR #286에서 시작돼(이 PR 자체는 병합되지 않고 닫혔지만) 후속 PR(#354·#505·#747·#758)로 최종 반영되며 점진적으로 자리 잡았다. 표준은 선언이 아니라 여러 기여가 쌓여 만들어진 결과다.

실로봇으로 수만 궤적을 모으려면 사람이 오래 로봇을 조종해야 한다. 시뮬레이션 진영은 여기서 발상을 뒤집는다. 사람이 몇백 개만 시연하면, 물리엔진이 씬·객체·로봇 팔을 바꿔가며 그 시연을 수백 배로 증폭한다. 이 증폭의 핵심 엔진이 MimicGen이고, 그것을 대규모 주방 환경에 얹은 것이 RoboCasa다.

5.1RoboCasa — 120개 주방 씬을 10만 궤적으로

원 RoboCasa(arXiv:2406.02523, 2024)는 120개 주방 씬과 약 2,509개 고유 3D 객체 위에서 100개 태스크(25개 atomic + 75개 composite)를 정의한다. 여기에 MimicGen을 걸어 atomic 태스크마다 인간 시연 50개를 100,000 궤적으로 부풀렸다. 시뮬레이터는 RoboSuite와 MuJoCo, 코드 라이선스는 Apache-2.0이다.

아래는 RoboCasa의 120개 주방 씬과 MimicGen 증폭 개요다. 사람이 만든 소수 시연이 다양한 씬으로 퍼져 나가는 구조를 보여준다.

RoboCasa — 120 주방 씬 + MimicGen 72K+ 증폭. 출처: RoboCasa (Nasiriany et al. 2024, arXiv:2406.02523, CC-BY 4.0)

5.2MimicGen — 200개 시연을 50,000개로

MimicGen(arXiv:2310.17596, CoRL 2023, NVIDIA Seattle Robotics Lab)은 이 증폭을 담당하는 데이터 생성 시스템이다. 약 200개의 인간 시연에서 출발해 다양한 씬·객체·로봇 팔에 맞춰 궤적을 적응시키며 18개 태스크에 걸쳐 50,000개 이상의 궤적을 만든다. 배율로 보면 약 250배다. 라이선스는 NVIDIA Source Code License로, 상업 사용에는 제약이 따른다(8번 섹션에서 다룬다).

증폭의 규모감을 도식으로 보면 이렇다. 왼쪽의 얇은 막대(사람 시연)가 오른쪽의 두꺼운 막대(합성 궤적)로 확장된다.

RoboCasa·MimicGen이 소수 시연을 수백 배로 부풀렸다면, NVIDIA는 시뮬레이터에서 궤적을 아예 산업 규모로 찍어낸다. nvidia/PhysicalAI-Robotics-GR00T-X-Embodiment-Sim은 약 345,000 궤적 / 1.91TB에 이르는 합성 데이터로, 휴머노이드 파운데이션 모델 GR00T의 학습을 떠받친다. Bimanual, Humanoid tabletop, Unitree G1 같은 다양한 임바디먼트를 포함하며, 라이선스는 CC-BY 4.0으로 상업 사용이 가능하다. 합성 대량생산이 연구 실험을 넘어 업계 표준 생산 방식이 된 순간이다.

이 데이터셋의 파일 구조는 <task>/data/chunk-000/episode_NNNNNN.parquet로, LeRobot 표준 레이아웃과 일치한다. 다만 데이터셋 카드가 스스로 "LeRobot"이라 이름 붙이지는 않으므로, 정확히는 파일 구조 근거로 "LeRobot 호환 포맷"이라 부르는 것이 맞다. GR00T-Mimic blueprint 문맥에서 자주 인용되는 "750K 궤적을 11시간에 = 인간 9개월치" 같은 수치는 데이터셋 규모가 아니라 생성 파이프라인의 처리량 예시다. 데이터셋 규모를 말할 때는 약 345,000 궤적 / 1.91TB를 기준으로 삼는다.

지금까지의 다섯은 모두 데이터를 만드는 도구였다. LIBERO(arXiv:2306.03310)는 성격이 다르다. 데이터를 만드는 게 아니라, 만든 모델의 실력을 재는 자, 곧 벤치마크다. lifelong·continual 학습, 즉 로봇이 새 태스크를 배우면서 이전 태스크를 잊지 않는지를 재기 위한 표준 시험대로 설계됐다. 130개 태스크(Spatial 10 / Object 10 / Goal 10 / Long 10 + LIBERO-90)에 태스크당 50개 인간 시연이 붙고, RoboSuite 기반이며 라이선스는 MIT다.

LIBERO 성적을 인용할 때 흔한 혼동이 하나 있어 바로잡는다. GR00T N1.5 블로그(2025-06-11)는 LIBERO를 쓰지 않았다. N1.5는 Language Table·Sim GR-1·RoboCasa·RefCOCOg·DreamGen으로 평가했다. 이 리포트가 소개하는 LIBERO 성적은 NVIDIA의 Isaac-GR00T 코드베이스 examples/LIBERO에 담긴 GR00T-N1.7-3B 파인튜닝 예제 기준이다.

LIBERO 성적 — 출처: NVIDIA Isaac-GR00T 코드베이스 examples/LIBERO의 GR00T-N1.7-3B 파인튜닝 예제. ⚠️ N1.5 블로그 성적이 아니다.

데이터셋을 학습에 쓰는 것과 그 학습 결과로 상업 제품을 파는 것은 다른 문제다. 같은 로봇 데이터라도 버전과 미러(재배포본)에 따라 라이선스가 갈리기 때문이다. 상업 배포를 앞둔 팀이 반드시 확인해야 할 함정을 표로 정리했다.

라이선스 매트릭스. 강조 행은 이름이 유사해 가장 자주 오인되는 GR00T 두 데이터셋이다.

핵심 함정은 세 가지로 압축된다. 첫째, GR00T X-Embodiment-Sim(CC-BY 4.0, 상업 가능)과 Teleop-Sim(CC-BY-NC 4.0, 비상업)은 이름만 비슷할 뿐 라이선스가 정반대다. 둘째, RoboCasa 2024와 RoboCasa365 2026은 다른 논문이므로 수치와 라이선스를 섞으면 안 된다. 셋째, DROID는 공식 배포본이 CC-BY 4.0이지만 일부 미러(cadene·droid_lerobot)는 Apache-2.0이라, 인용 근거로는 공식 CC-BY 4.0을 쓰는 편이 안전하다.

여섯 데이터셋을 나란히 놓고 무엇이 있고 무엇이 없는지를 축별로 따져 보면, 흥미로운 공통점이 드러난다. RGB 영상·관절 상태·행동 같은 결과물은 여섯이 모두 풍부하게 남긴다. 그런데 그 결과물이 어떻게 만들어졌고 물리적으로 타당한지를 증명할 근거로 내려가면, 여섯 칸이 나란히 비어 있다.

계통추적 갭 대비표. 위쪽 네 축(결과물)은 여섯이 공통으로 남기고, 아래쪽 네 축(증명)은 여섯이 공통으로 버린다. 생성 내력의 N/A는 실로봇이라 시드 개념이 없는 경우다.

표를 위아래로 가르면 이야기가 선명해진다. 위쪽 네 축은 "결과물", 곧 카메라에 찍힌 것, 로봇이 한 것이다. 아래쪽 네 축은 "증명", 곧 그 결과가 어떻게 나왔고 물리적으로 타당한지의 근거다. 여섯 데이터셋은 위를 남기고 아래를 버린다. 특히 합성 데이터(GR00T·RoboCasa·MimicGen)는 시드·조명 같은 생성 내력을 재현성의 핵심으로 남길 수 있는데도 남기지 않는다. 이 대비를 도식으로 옮기면 다음과 같다.

계통추적 갭에서 비어 있던 네 축(접촉력·생성 내력·물리 일관성·실패 이력)은 그냥 빈칸이 아니라, 채울 수 있는데도 아무도 채우지 않은 자리다. 페블러스는 이 자리를 다섯 종의 진단층으로 메운다. 각 진단층은 계통추적 갭의 한 축을 데이터의 1급 시민으로 끌어올린다.

• ① 접촉 장부 → 접촉력(force): 로봇이 물건을 쥐고 놓는 동안 그리퍼에 걸린 힘을 시계열로 기록해, 여섯 데이터셋이 공통으로 버린 접촉력 축을 복원한다.
• ② 내려놓기 오차 → 물리 일관성: 물체를 놓는 순간의 위치·자세 오차를 측정해, 궤적이 물리적으로 타당한지를 검증 가능한 지표로 남긴다.
• ③ 세그멘테이션·depth → RLDS 결손 복원: 표준 포맷으로 변환하는 과정에서 누락되기 쉬운 세그멘테이션·depth 채널을 채워, 데이터의 완결성을 회복한다.
• ④ 생성 이력서 → seed·조명 계통추적: 합성 궤적이 어떤 시드·조명·초기 조건에서 태어났는지를 함께 실어, 나중에 그 궤적을 되짚고 재현할 수 있게 한다.
• ⑤ 해시 사슬 → 재현성: 각 데이터 조각에 물리 일관성 해시와 생성 내력 해시를 붙여, 데이터가 언제 어떻게 바뀌었는지 추적 가능한 사슬을 남긴다.

중요한 것은 이 진단층이 별도의 특수 포맷을 요구하지 않는다는 점이다. 페블러스의 데이터도 4번 섹션에서 본 LeRobot 형식을 따르므로, 다른 여섯 데이터셋과 똑같은 로더에 그대로 붙는다. 표준 파이프라인에 진입하는 데는 마찰이 없고, 그 위에 증명 네 축이 얹힌다. 표준 호환성과 차별성이 동시에 성립하는 구조다.

이 접근은 DataClinic이 다른 도메인에서 이미 해온 일의 자연스러운 확장이다. 데이터 품질을 스케일이 아니라 검증 가능성으로 재정의하는 일, 계통추적 갭은 그 명제의 피지컬 AI 버전이다.

이 리포트가 짚은 두 사실, 곧 수집은 갈라져도 배포는 LeRobot으로 수렴한다는 것과 여섯 데이터셋 모두 계통추적을 버린다는 것은 페블러스의 사업 좌표와 정확히 맞물린다. 네 각도에서 그 연결을 풀어 본다.

비즈니스와 기술의 교차점

합성 데이터의 대량생산은 이미 업계 표준이 됐다. GR00T의 약 345,000 궤적, MimicGen의 250배 증폭, RoboCasa의 100,000 궤적이 그 증거다. 스케일 경쟁의 고지는 NVIDIA·DeepMind·대학 연합이 이미 점령했다. 그 위에 놓일 다음 좌표는 "얼마나 많은가"가 아니라 "증명 딸린 데이터인가"다. AI-Ready Data·DataClinic·Physical AI를 잇는 페블러스의 본진이 정확히 그 지점에 있다.

데이터 품질 관점

학습 데이터가 접촉력·물리 일관성·생성 내력을 버리면, 모델은 물리적으로 타당하지 않은 궤적도 정답으로 학습한다. 이것이 내부 표현의 오염이다. 실패·폐기 이력이 없으면 무엇이 나쁜 데이터였는지 사후 진단이 불가능하다. 스케일보다 검증 가능성이 먼저라는 DataClinic의 명제가 피지컬 AI 데이터에서 그대로 성립한다. 계통추적 갭은 데이터 품질 문제의 물리 버전이다.

고객·파트너 실무 함의

라이선스 지뢰밭과 재현성 부재는 기업이 이 데이터로 상업 제품을 만들 때 직접적인 법적·기술적 리스크다. GR00T Teleop-Sim은 비상업이고, MimicGen은 제한 라이선스이며, DROID는 미러마다 라이선스가 갈린다. 로보틱스 스타트업과 파트너는 자체 데이터에 계보·라이선스 명확성·물리 증명을 더해야 상업적으로 안전해진다. 페블러스는 이 "더해야 할 것"을 데이터에 실어 공급한다.

페블러스의 포지셔닝

이 지형도는 국내에서 여섯 데이터셋을 한 화면에 올려 실무 기준으로 비교한 드문 시도다. 그 위에서 페블러스는 두 가지를 동시에 세운다. 하나는 LeRobot 형식 수렴이라는 업계 표준에 페블러스 데이터가 그대로 붙는 호환성, 다른 하나는 아무도 안 남기는 계통추적을 데이터의 1급 시민으로 남기는 차별성이다. 표준 형식 위에 증명을 얹는 좌표, 그것이 페블러스가 서려는 자리다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 7월 16일

학술 논문

• 1.Khazatsky, A. et al. "DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset." RSS 2024. arXiv:2403.12945. 공식: droid-dataset.github.io.
• 2.Open X-Embodiment Collaboration. "Open X-Embodiment: Robotic Learning Datasets and RT-X Models." arXiv:2310.08864 (Google DeepMind). 공식: robotics-transformer-x.github.io.
• 3.Nasiriany, S. et al. "RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots." arXiv:2406.02523, 2024.
• 4.Mandlekar, A. et al. "MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations." CoRL 2023 (NVIDIA). arXiv:2310.17596.
• 5.Liu, B. et al. "LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning." arXiv:2306.03310.
• 6.⚠️ (별개 논문) "RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots." ICLR 2026. arXiv:2603.04356 — 원 RoboCasa(2406.02523)와 다른 논문.

HuggingFace 데이터셋 카드

• 7.nvidia/PhysicalAI-Robotics-GR00T-X-Embodiment-Sim (CC-BY 4.0, ~345K 궤적 / 1.91TB).
• 8.nvidia/PhysicalAI-Robotics-GR00T-Teleop-Sim (CC-BY-NC 4.0, 비상업).
• 9.IPEC-COMMUNITY/droid_lerobot (92,233 에피소드 / 27,044,326 프레임 / Apache-2.0).
• 10.IPEC-COMMUNITY/OpenX-LeRobot (서브셋 31개).
• 11.KarlP/droid (CC-BY 4.0, 개선 캘리브레이션 미러).

GitHub · 블로그 · 코드베이스

• 12.NVIDIA/Isaac-GR00T — examples/LIBERO의 GR00T-N1.7-3B 파인튜닝 예제 (LIBERO 성적 출처).
• 13.Google DeepMind Blog. "Scaling up learning across many different robot types."
• 14.NVIDIA Technical Blog. "Accelerate Generalist Humanoid Robot Development with NVIDIA Isaac GR00T N1."
• 15.LeRobot 포팅 문서 (DROID v3.0 예제). huggingface.co/docs/lerobot.
• 16.⚠️ lerobot PR #286 (closed, 병합 안 됨 · 2024-08-27) — 대규모 데이터셋 지원의 시작점. 후속 PR #354·#505·#747·#758로 최종 반영.