Executive Summary
로봇에게 물건 집는 법을 가르치려면 그 동작을 보여 주는 데이터가 필요하다. 지금까지 그 데이터를 만드는 길은 둘뿐이었다. 사람이 로봇을 직접 조종해 시연을 남기거나(원격조종), 시뮬레이터 안에서 대량으로 찍어내거나(시뮬레이션). 앞의 것은 현장과 잘 맞지만 비싸고 느리고, 뒤의 것은 싸고 빠르지만 정작 그 로봇이 일할 현장과 닮지 않는다. 이 글은 두 길 사이를 사진 한 장으로 잇겠다는 연구를 본다.
경희대학교가 공개한 PRISM은 사용자가 자기 작업 공간을 찍은 RGB-D 이미지 한 장과 자연어 지시문 하나를 받아, 그 장면을 닮은 '디지털 사촌'을 구성하고 사람의 조종 없이 실행 가능한 조작 시연을 합성한다. 실제 로봇으로 검증한 세 종의 조작 태스크에서 최대 100% 성공률을 기록했고, 일반화를 재는 LIBERO 벤치마크에서는 기존 방법 대비 최대 50%포인트 이상 앞섰다. 다만 아직 Franka 로봇팔과 강체 물체에 한정되며, 심한 가림이 있으면 재구성이 흔들린다.
페블러스 독자에게 이 연구가 중요한 이유는 로봇공학 그 자체가 아니다. AI-Ready Data의 무게중심이 "더 많이 모으기"에서 "현장에 맞게 생성하기"로 옮겨가는 신호이기 때문이다. 데이터가 수집되는 게 아니라 만들어지기 시작하면, 다음 질문은 하나다. 그 생성된 데이터의 품질과 다양성을 무엇으로 보증하는가.
주요 수치
PRISM의 이야기는 아래 네 숫자가 한자리에 모인다는 데서 시작한다. 입력은 사진 한 장으로 줄고, 사람의 조종은 사라지며, 그런데도 성능은 오히려 올라간다.
사진 1장
필요한 입력
작업 공간 RGB-D 이미지 + 자연어 지시문 1개
원격조종 0회
사람 텔레오퍼레이션
시연을 사람 조종 없이 절차적으로 합성
최대 100%
실환경 성공률
실물 조작 3종 태스크 검증
+50%p
LIBERO 일반화 우위
RoboTwin 2.0·X-Sim 대비 최대치
데이터는 늘 병목이었다
로봇이 스스로 물건을 다루도록 만드는 최근의 방법은 VLA(Vision-Language-Action) 모델이다. 카메라로 본 장면과 사람이 준 지시("우유를 바구니에 넣어라")를 받아, 로봇 팔의 다음 움직임을 직접 출력하는 정책이다. 이런 정책은 사람의 시연을 보고 흉내 내며 배운다. 그래서 학습의 성패는 결국 "얼마나 좋은 시연 데이터를 얼마나 많이 확보하느냐"로 귀결된다.
그 데이터를 만드는 방법은 오랫동안 두 갈래였다. 첫째는 원격조종이다. 사람이 조이스틱이나 마스터 암으로 로봇을 직접 움직여 성공적인 시연을 하나씩 남긴다. 목표 환경과 정확히 일치하는 고품질 데이터를 얻지만, 한 번에 하나씩 사람 손을 거쳐야 하니 비싸고 느리며 규모를 키우기 어렵다.
둘째는 시뮬레이션이다. 가상 환경 안에서 로봇을 수천 번 움직여 시연을 대량으로 찍어낸다. 값싸고 빠르지만 대신 문제가 있다. 시뮬레이터 속 장면은 실제 사용자의 부엌, 창고, 작업대와 닮지 않는다. 조명도 물체도 배치도 다르다. 그렇게 배운 정책을 현실로 옮기면 성능이 무너지는 이른바 sim-to-real 간극이 생긴다.
그림 1. 로봇 시연 데이터를 얻는 두 갈래 길과 PRISM의 위치. 텔레오퍼레이션은 목표 환경 정렬을, 시뮬레이션은 규모·다양성을 주지만 어느 쪽도 둘 다 주지 못한다. 페블러스 원본 도식(논문 개념 재해석).
정리하면 기존 접근은 둘 중 하나만 줬다. 원격조종은 "목표 환경과의 정렬"을 주지만 다양성과 규모가 부족하고, 시뮬레이션은 "규모와 다양성"을 주지만 목표 환경과의 정렬을 잃는다. PRISM이 지목한 빈틈이 바로 이 지점이다. 사진 한 장으로 두 성질을 동시에 만들 수는 없을까.
사진 한 장이 '디지털 사촌'이 되기까지
PRISM의 입력은 단순하다. 사용자가 자기 작업 공간을 RGB-D 카메라(깊이까지 찍는 카메라)로 한 장 찍고, "우유를 바구니에 넣어라" 같은 지시문 하나를 준다. 여기서부터 파이프라인이 작동한다. 먼저 시각 언어 모델이 사진 속 물체가 무엇인지 알아보고, Grounded-SAM이 각 물체의 경계를 잘라낸다. 사진은 이제 "바구니 하나, 우유팩 하나, 그리고 그 위치들"이라는 구조화된 장면으로 바뀐다.
다음 단계가 이 연구의 핵심 개념인 디지털 사촌(digital cousin)이다. 여기서 시스템은 사진 속 물체를 똑같이 복제하지 않는다. 대신 CLIP·DINOv2 임베딩으로 대규모 3D 자산 라이브러리를 뒤져, 의미와 생김새가 비슷한 다른 인스턴스를 골라 온다. 사진에 찍힌 그 우유팩이 아니라 그 우유팩의 사촌들을 데려오는 셈이다. 카테고리와 공간 배치는 원본 사진을 따르되, 개별 물체는 매번 다른 것으로 샘플링한다.
왜 굳이 사촌인가. 원본을 그대로 복제한 '디지털 트윈'으로만 학습하면 정책이 그 특정 물체에 과적합해, 색이나 모양이 조금만 달라져도 실패한다. 이 개념을 처음 제시한 2024년 CoRL 논문 ACDC는, 디지털 사촌으로 학습한 정책이 디지털 트윈으로 학습한 정책보다 실제 로봇에서 훨씬 강건했다고 보고했다(zero-shot 성공률 90% 대 25%). 정확한 복제보다 적절한 다양성이 일반화에 낫다는 것이다. PRISM은 이 통찰을 장면 생성의 토대로 삼는다.
그림 2. 사진 한 장이 디지털 사촌 장면이 되는 과정. 원본을 그대로 복제하지 않고, 카테고리·배치는 보존한 채 CLIP·DINOv2 임베딩으로 유사한 다른 인스턴스를 골라 온다. 페블러스 원본 도식(논문 개념 재해석).
사람 없이 시연을 만드는 법
디지털 사촌 장면을 만드는 데까지는 앞선 연구도 도달했다. PRISM이 한 걸음 더 나간 지점은 그 장면 위에서 실행 가능한 시연까지 사람 없이 만들어낸다는 데 있다. 장면만 있으면 로봇은 여전히 "그래서 어떻게 움직이라는 건가"를 모른다. 그 궤적을 채우는 것이 다음 두 장치다.
3.1동작을 고려한 그립 선택
로봇이 물체를 어떻게 쥐느냐는 그다음 동작 전체를 좌우한다. 어색한 각도로 쥐면 팔이 뒤틀리는 경로를 돌아야 하고, 그런 궤적은 흉내 내 배우기가 어렵다. PRISM은 로봇 손의 기본 방향에서 회전이 가장 적게 필요한 그립을 고른다. 결과적으로 팔이 자연스럽게 움직이는, 모방학습에 유리한 궤적이 나온다.
3.2궤적은 두고 겉모습만 흔든다
그립이 정해지면 시뮬레이터 안에서 물리적으로 타당한 궤적을 절차적으로 생성한다. 사람의 조이스틱은 한 번도 등장하지 않는다. 여기에 데이터 다양성을 붙이는 마지막 장치가 궤적 보존 랜덤화다. 움직임의 경로 자체는 고정한 채, 조명·텍스처·카메라 각도·물체의 초기 자세만 바꿔가며 같은 동작을 수백 번 다르게 찍는다. 정책이 특정 조명이나 배경에 의존하지 않도록, 본질(궤적)은 지키고 표면(외양)만 흔드는 것이다.
그림 3. 사람 없이 시연을 만드는 두 장치. 회전이 가장 적은 그립을 골라 자연스러운 궤적을 만들고(①), 그 궤적은 고정한 채 조명·텍스처·카메라 각도만 바꿔 같은 동작을 다양하게 찍는다(②, 주황 점선 = 동일한 궤적). 페블러스 원본 도식(논문 개념 재해석).
이 조합으로 PRISM은 "장면 생성"과 "시연 생성"을 하나의 파이프라인으로 묶는다. 사용자는 사진 한 장과 문장 하나를 넣을 뿐이고, 나오는 것은 그 사용자의 현장을 닮았으면서도 다양성까지 갖춘, 곧바로 학습에 쓸 수 있는 시연 데이터셋이다.
숫자는 일반화에서 갈린다
효과는 두 무대에서 측정됐다. 하나는 시뮬레이션끼리 비교하는 LIBERO·LIBERO-Plus 일반화 벤치마크, 다른 하나는 실제 로봇을 쓰는 실환경 실험이다. 아래 표는 두 조작 태스크에서 PRISM을 두 베이스라인(RoboTwin 2.0, X-Sim)과 비교한 성공률이다. 눈여겨볼 열은 학습 때 보지 못한 변형을 다루는 LIBERO·LIBERO-Plus 쪽이다.
| 태스크 / 방법 | In-Domain | LIBERO | LIBERO-Plus |
|---|---|---|---|
| 우유를 바구니에 넣기 (정책: π0.5) | |||
| RoboTwin 2.0 | 74.0 | 14.0 | 21.9 |
| X-Sim | 96.0 | 48.0 | 35.8 |
| PRISM | 72.0 | 98.0 | 67.6 |
| 와인병을 캐비닛에 올리기 (정책: Diffusion Policy) | |||
| RoboTwin 2.0 | 78.0 | 34.0 | 27.2 |
| X-Sim | 40.0 | 44.0 | 0.6 |
| PRISM | 100.0 | 56.0 | 28.8 |
단위: 성공률(%). 출처: PRISM (arXiv:2607.04880) Table. In-Domain은 학습 분포 안, LIBERO·LIBERO-Plus는 보지 못한 변형에 대한 일반화 성능.
패턴은 분명하다. 학습 분포 안(In-Domain)에서는 세 방법이 엎치락뒤치락하지만, 학습 때 보지 못한 변형을 다루는 LIBERO·LIBERO-Plus로 가면 PRISM이 크게 벌린다. 첫 태스크의 LIBERO에서 98.0%로 X-Sim(48.0%)을 50%포인트 앞서고, LIBERO-Plus에서도 67.6%로 거의 두 배다. 목표 환경 정렬과 다양성을 동시에 챙긴 데이터가 일반화에서 값을 한다는 뜻이다.
실물 로봇 실험에서도 방향은 같았다. 우유를 바구니에 넣기, 와인병을 캐비닛에 올리기, 상자를 바구니에 담기 등 세 종의 실환경 조작 태스크에서 PRISM으로 학습한 정책이 최대 100% 성공률을 기록했고, 훈련 때와 다른 환경 변형에서도 강건성을 유지했다. 사람이 단 한 번도 조종하지 않은 데이터로 학습한 결과라는 점이 이 수치의 무게다.
물론 한계도 저자들이 분명히 적어 두었다. 지금의 PRISM은 Franka 로봇팔과 강체 물체에 한정된다. 천·끈·음식처럼 모양이 변하는 물체는 아직 다루지 못한다. 또 단일 이미지로 3D를 복원하다 보니 물체가 심하게 가려지면 재구성이 부정확해지고, 그만큼 시연 품질도 떨어질 수 있다. 사진 한 장이라는 강점이 곧 사진 한 장이라는 제약이기도 하다.
수집에서 생성으로
PRISM 하나로 로봇 데이터 문제가 풀렸다고 말하려는 게 아니다. 이 연구는 더 큰 흐름의 한 사례에 가깝다. 같은 시기 Real2Render2Real, Robot Learning from Any Images처럼 "현장 이미지에서 로봇 학습 데이터를 만들어낸다"는 문제의식을 공유하는 연구가 여러 갈래로 자라고 있다. 로봇 데이터를 확보하는 기본 동사가 '모으다(collect)'에서 '생성하다(generate)'로 바뀌는 중이다.
이 전환은 데이터를 다루는 사람에게 익숙한 질문을 되돌려 준다. 데이터를 웹에서 긁어오던 시절에는 "얼마나 많이, 얼마나 다양하게 모았나"가 관건이었다. 데이터를 현장에 맞게 만들어내기 시작하면, 관건은 "만들어낸 데이터가 진짜 현장을 대표하는가, 그 다양성은 충분하고 편향되지 않았는가"로 옮겨간다. 생성이 쉬워질수록 검증은 더 중요해진다. 그럴듯하지만 현장과 어긋난 데이터를 대량으로 찍어내는 일도 그만큼 쉬워지기 때문이다.
Editor's Note. 페블러스가 AI-Ready Data를 이야기할 때 늘 돌아오는 지점이 여기다. 데이터가 수집되든 생성되든, 그것이 학습에 쓸 만한 품질과 다양성을 갖췄는지 판별하는 일은 사라지지 않는다. 오히려 생성이 값싸질수록 그 판별의 값어치가 오른다. PRISM 같은 연구가 "무엇을 만들 수 있는가"를 밀어붙이는 동안, "만든 것을 어떻게 믿을 것인가"라는 질문은 여전히 열려 있다.
참고문헌
소스 논문
- 1.Ko, D., Kim, H., Yeo, C., Lee, D., Park, T., & Hwang, H. (2026). "PRISM: Personalized Robotic Dataset Generation via Image-based Scene and Motion Synthesis." arXiv:2607.04880 (경희대학교).
계보·인접 연구
- 2.Dai, T., 외. (2024). "ACDC: Automated Creation of Digital Cousins for Robust Policy Learning." CoRL 2024, arXiv:2410.07408.
- 3.Yu, J., 외. (2025). "Real2Render2Real: Scaling Robot Data Without Dynamics Simulation or Robot Hardware." arXiv:2505.09601.
- 4.저자 외. (2025). "Robot Learning from Any Images." arXiv:2509.22970.