Executive Summary

사람이 스마트 글라스나 손목 카메라로 찍은 작업 영상을 로봇 16종이 따라 할 수 있는 궤적으로 바꾸는 데이터 엔진이 공개됐다. 중국의 로봇 파운데이션 모델 회사 Action Intelligence(행원지능, 行元智能)이 10월 26일 연구 페이지에 올린 Chorus(코러스)다. 장비마다 다른 영상을 작업 의미와 공간 운동이라는 하나의 중간 표현으로 모은 뒤, 그 표현을 로봇마다 그 몸에 맞게 옮겨 학습 데이터로 바꾼다.

회사가 공개한 수치는 주로 변환율이다. 선별을 통과한 사람 영상 1시간이 로봇 16종에 걸쳐 평균 85%의 비율로 변환되면서 약 13.6시간의 궤적 데이터가 된다. 영상 한 편을 열여섯 번 쓰는 셈이라 궤적 1시간당 처리 비용도 그만큼 내려간다. 다만 이렇게 만든 데이터로 학습한 로봇이 실제로 더 잘하게 됐는지를 보여 주는 수치는 아직 없다.

주요 수치

Chorus가 공개한 숫자는 변환의 폭과 비용, 그리고 아직 비어 있는 칸으로 나뉜다.

출처: 행원지능 Chorus 연구 페이지 (2026년 10월 26일 게재).

16종

리타기팅을 지원하는 로봇

사람 손의 운동 하나를 로봇 16종의 관절 각도로 각각 풀어낸다

85%

평균 사용 가능 변환율

로봇의 관절 한계와 충돌을 통과해 쓸 수 있는 궤적으로 남는 비율이다

1 → 13.6시간

선별 통과 영상이 바뀌는 궤적 분량

처리 비용은 입력 1시간당 약 200위안, 궤적 1시간당 약 14.7위안이다

0건

공개된 학습 결과

이 데이터로 학습한 로봇의 성공률이나 일반화 수치는 원문에 없다

1

서로 다른 장비의 영상을 한 표현으로 모은다

사람이 물건을 집고 옮기고 닦는 장면은 이미 여러 장비에 쌓이고 있다. 스마트 글라스, 가슴에 단 카메라, 손목 카메라, 넥밴드, 머리에 쓰는 장비, 그리고 연구실에서 쓰는 UMI형 손잡이 장치가 각각 다른 화각과 다른 좌표로 같은 동작을 기록한다. Chorus가 입력으로 받는 것이 이렇게 제각각으로 쌓인 영상이다. 카메라 구성도 한 대만 쓴 단안부터 스테레오, 4카메라, 6카메라까지 받는다.

장비가 다르면 영상의 형식도 다르다. Chorus는 이것들을 먼저 공통의 중간 표현으로 모은다. 표현은 두 축으로 이뤄진다. 지금 사람이 무슨 작업을 하고 있는지를 적은 작업 의미, 그리고 손과 물체가 공간에서 어떻게 움직였는지를 복원한 공간 운동이다. 로봇이 직접 읽는 것은 원본 영상이 아니라 이 중간 표현이다. 장비가 하나 늘어도 그 장비를 중간 표현으로 옮기는 길만 새로 내면 뒤쪽 공정은 그대로 쓸 수 있다.

원문이 적은 처리 순서는 여섯 단계다. 영상을 공통 표현으로 모으고, 의미를 붙이고, 공간을 복원하고, 로봇에 맞게 적응시키고, 로봇이 등장하는 관측 영상을 합성하고, 마지막으로 데이터를 채점한다.

영상 한 편이 로봇 궤적이 되기까지 — 원문이 적은 여섯 단계 ① 공통 표현으로 모으기 단안·스테레오·4·6카메라 ② 의미 주석 자체 4B 모델 · 10FPS ③ 공간 복원 깊이 · 손 위치 · 물체 분할 ④ 로봇 적응 역기구학 · 로봇 16종 ⑤ 관측 합성 배경 복원 · 가림 처리 ⑥ 데이터 채점 품질 네 축 + 행동 놀라움 입력: 스마트 글라스·가슴 카메라·손목 카메라·넥밴드·머리 착용 장비·UMI형 장치로 찍은 사람 시연 출력: 로봇별 궤적과 로봇이 등장하는 합성 관측 영상, 그리고 각 궤적에 붙은 점수 행원지능 Chorus 연구 페이지(2026.10.26)의 서술을 옮긴 도식이다
▲ 페블러스 원본 도식. 원문 본문의 단계 이름과 각 단계에 적힌 기법을 옮겼다

회사는 이 글을 연구 아카이브의 두 번째 장으로 올렸다. 첫 장은 사람 곁에 머무는 로봇을 다룬 Continuo였고, Chorus는 그 로봇이 무엇으로 배우는지로 이어진다. 회사는 또한 이 정도 범위의 사람 시연 출처를 하나의 틀로 묶은 것은 자기들이 아는 한 처음이라고 밝혔다. 원문의 표현은 "to the best of our knowledge"이고, 바깥에서 검증된 사실이 아니라 회사가 그렇게 밝힌 주장으로 읽는 것이 맞다.

2

영상에서 '무엇을'과 '어떻게'를 뽑아낸다

로봇에게 영상을 보여 주는 것만으로는 아무 일도 일어나지 않는다. 그 영상 안에서 사람이 무슨 작업을 했는지, 손이 어느 좌표를 어떤 속도로 지나갔는지가 글자와 숫자로 남아야 학습 자료가 된다. Chorus의 두 번째와 세 번째 단계가 이 두 가지를 각각 맡는다.

2.1의미 주석

무엇을 했는지는 회사가 직접 만든 40억 파라미터 모델이 붙인다. 이 모델은 초당 10프레임으로 영상을 훑으면서 프레임 단위로 원자 동작을 알아본다. 손을 뻗는다, 집는다, 돌린다처럼 더 쪼갤 수 없는 단위의 동작이다. 원문은 이 작업의 비용이 Gemini 3.8 Flash를 기준선으로 삼았을 때 약 20분의 1이라고 적었다. 범용 모델을 불러 쓰는 대신 작은 전용 모델을 돌리는 선택이 이 공정의 단가를 결정한다.

붙은 주석은 세 층으로 늘어난다. 원자 동작, 그것들이 모인 하위 작업, 그리고 영상 전체가 수행한 작업까지 각각 지시문이 만들어진다. 같은 영상 한 편에서 서로 다른 눈금의 지시문이 나오면서 지시문 분량이 약 세 배가 된다는 것이 원문의 설명이다.

2.2공간 복원

어떻게 했는지는 깊이 추정, 손 위치 추적, 물체 분할로 복원한다. 사람이 찍은 영상에는 카메라 보정값이나 촬영 자세가 적혀 있지 않은 경우가 대부분인데, Chorus는 그런 값이 없으면 녹화된 영상에서 역으로 추정한다. 손이 빠르게 움직이거나 물체에 가려 궤적이 끊기는 자리는 시간 방향과 기하 구조를 함께 고려한 최적화로 메운다.

이 단계에서 눈여겨볼 선택은 복원 결과만 넘기지 않는다는 점이다. 복원이 얼마나 불확실한지도 함께 보관해 다음 단계로 넘긴다. 뒤에서 로봇의 관절 각도를 계산할 때, 애초에 흐릿하게 복원된 구간과 또렷하게 복원된 구간을 같은 무게로 다루지 않기 위해서다.

3

사람의 팔을 로봇 16종의 팔로 옮긴다

사람의 팔과 로봇의 팔은 길이도 관절 수도 다르다. 사람이 그린 손의 궤적을 로봇이 그대로 따라 그릴 수 있는 경우는 드물다. 그래서 네 번째 단계는 같은 운동을 로봇의 몸에 맞게 옮겨 싣는 일을 한다. 로봇공학에서 리타기팅이라고 부르는 작업이다.

순서는 이렇게 짜여 있다. 먼저 장면 안에 로봇의 기저를 어디에 둘지 정한다. 그다음 사람 손의 운동을 로봇 말단장치의 자세로 옮긴다. 그 자세를 역기구학으로 풀어 관절 한계를 넘지 않는 관절 각도를 찾는다. 찾은 각도를 순기구학으로 다시 돌려 원래 목표 궤적과 얼마나 어긋나는지 대조하고, 관절마다 신뢰도 점수를 붙인다. 로봇 팔이 지나갈 자리에 놓인 잡동사니는 장면 편집으로 치우는데, 조작 대상이나 물체를 받치는 면처럼 과제에 필요한 형상은 남긴다.

이 절차를 거쳐 평균 85%가 쓸 수 있는 데이터로 남는다. 현재 지원하는 로봇은 16종이고, 원문은 그만큼을 지원하는 이유를 추론 공정을 최적화하기 위해서라고 적었다. 변환의 산술은 단순하다. 선별을 통과한 영상 1시간에 로봇 16종을 곱하고 85%를 곱하면 약 13.6시간의 궤적이 된다. 사람이 한 번 찍은 장면이 로봇 열여섯 종의 서로 다른 몸으로 번역된다.

사람 손의 운동 하나가 로봇 16종의 몸으로 번역되는 네 단계 ① 로봇 기저 배치 장면 안 위치 결정 ② 자세 변환 손 운동 → 말단장치 ③ 역기구학 관절 한계 안 각도 ④ 순기구학 대조 관절별 신뢰도 1시간 선별 통과 영상 16종 지원 로봇 수 85% 평균 변환율 13.6시간 학습 궤적 × × = 입력: 로봇 기저 배치 → 손 운동을 말단장치 자세로 → 역기구학(관절 한계 안) → 순기구학 대조, 관절별 신뢰도 잡동사니는 장면 편집으로 치우되 조작 대상과 받침면은 남긴다 · 산술: 1시간 × 16종 × 85% ≈ 13.6시간 행원지능 Chorus 연구 페이지(2026.10.26)의 서술을 옮긴 도식이다
▲ 페블러스 원본 도식. 로봇 적응 단계(3절)의 처리 순서와 변환 산술을 옮겼다

이 산술이 성립하려면 같은 사람 영상에서 나온 로봇 16종의 궤적이 서로 충분히 다른 학습 신호여야 한다. 원문은 변환된 분량을 시간으로 적을 뿐, 열여섯 벌이 서로 얼마나 중복되는지는 따로 재지 않는다.

다섯 번째 단계는 로봇이 등장하는 화면을 만든다. 원래 영상 위에 로봇을 투영하고, 사람 손을 지워 생긴 빈 영역은 배경 복원으로 채우며, 로봇과 주변 물체가 서로를 가리는 관계를 지키면서 합성한다. 학습에 쓰이는 관측 영상이 사람 손이 아니라 로봇 팔을 보여 주게 하는 손질이다.

비용은 두 가지 눈금으로 적혀 있다. 입력 영상을 처리하는 데 1시간당 약 200위안이 들고, 이를 산출된 궤적 분량으로 나누면 궤적 1시간당 약 14.7위안이다. 뒤쪽 숫자가 작아 보이는 이유는 앞의 16종 곱하기에 있다. 원격조작으로 로봇을 직접 움직여 데이터를 모으는 방식이 로봇 대수와 조작자 인건비에 비례해 비용이 붙는 것과는 다른 구조다.

회사가 다음으로 적은 계획은 두 가지다. 지금보다 더 많은 카메라 시점을 지원하는 것, 그리고 실제 로봇이 실행한 데이터를 함께 다루는 것이다.

4

품질 네 축과 '행동 놀라움'

변환을 마친 궤적이 전부 쓸모 있는 것은 아니다. 마지막 단계에서 Chorus는 만들어진 데이터에 점수를 붙인다. 품질 쪽 축은 넷이다. 작업 의미가 온전히 붙었는지, 3차원 복원이 정확하고 안정적인지, 운동이 물리적으로 일관되는지, 화면의 시각 품질이 쓸 만한지를 본다. 여기에 유효 길이와 동작 수가 보조 지표로 붙는다.

흥미로운 축은 따로 있다. 회사가 행동 놀라움(action surprise)이라고 이름 붙인 지표다. 언어 모델에게 직전까지의 맥락을 주고 다음 동작을 예측하게 한 뒤, 영상에서 실제로 관찰된 동작과 얼마나 어긋나는지를 측정한다. 어긋남이 클수록 그 구간에는 예상 밖의 선택이나 전략 변경, 혹은 실수를 바로잡는 교정 동작이 들어 있을 가능성이 높다고 본다. Chorus는 이런 구간을 검토 우선순위 위로 올린다.

품질 네 축과 이 축은 재는 대상이 다르다. 앞의 넷은 데이터가 깨끗한지를 묻고, 행동 놀라움은 데이터가 로봇의 행동 범위를 얼마나 넓히는지를 묻는다. 깨끗하지만 똑같은 동작만 반복하는 영상 1만 시간보다, 거칠어도 서로 다른 상황을 담은 영상 쪽이 학습에 더 쓸모 있을 수 있다는 생각이 이 축에 깔려 있다.

5

로봇 학습 데이터는 왜 모자라나

언어 모델은 인터넷에 이미 쌓여 있던 글을 읽고 커졌다. 로봇에게는 그렇게 쌓인 기록이 없다. 로봇이 배우려면 관측과 행동이 짝지어진 기록이 필요한데, 그 기록은 누군가 로봇을 실제로 움직여야 생긴다. 조작자 한 사람이 로봇 한 대를 원격으로 움직여 시연을 모으는 방식이 지금도 표준에 가깝고, 이 방식의 비용은 로봇 대수와 사람의 시간에 그대로 비례한다.

반대편에는 전혀 다른 규모의 더미가 있다. 사람이 1인칭 시점으로 찍어 둔 작업 영상이다. 웨어러블 카메라와 스마트 글라스가 보급되면서 이 쪽은 로봇 한 대가 평생 만들 수 있는 시연량을 압도한다. 격차는 자릿수로 적혀 있다. 행동 라벨이 정밀하게 붙은 공개 원격조작 영상이 1만 시간대인 데 비해, 라벨이 없는 1인칭 사람 영상은 100만 시간대다. 페블러스가 앞서 정리한 로봇 데이터 인터페이스 리포트가 1차 출처의 표를 인용해 적은 약 100배의 격차다. 그런데 그 100만 시간에는 관절 각도도, 말단장치 자세도, 작업 라벨도 붙어 있지 않다.

Chorus는 이 둘 사이에 서 있다. 로봇을 더 사는 대신, 이미 찍힌 사람 영상에 로봇이 읽을 수 있는 좌표와 라벨을 붙여 넘기겠다는 것이다. 같은 발상은 Chorus만의 것이 아니다.

6

사람 영상으로 로봇을 가르치려는 다른 시도들

비교할 칸은 넷이다. 무엇을 입력으로 받는가, 무엇을 내놓는가, 로봇 몇 종에 걸치는가, 만든 데이터를 점수로 거르는가. 아래 표는 1차 출처로 확인한 다섯 갈래를 그 넷으로 갈라 본 것이다. Chorus 자체는 학술 논문이나 공개 저장소 없이 회사의 연구 페이지로만 공개돼 있어, 아래 수치의 성격이 서로 다르다는 점을 염두에 두고 읽어야 한다.

이름 입력 출력 로봇 수 품질 채점
Chorus 여섯 종류 장비로 찍은 사람의 자유 시연 로봇별 궤적과 합성 관측 영상 16종 품질 네 축과 행동 놀라움
UMI (스탠퍼드 외, arXiv:2402.10329) 3D 프린트 그리퍼에 카메라를 달고 사람이 찍은 시연 말단장치 기준 상대 궤적과 그 위에서 학습한 정책 특정 수 주장 없음 (그리퍼 규격이 맞으면 호환) 기구학 제약 통과 여부만
EgoMimic (조지아텍) 스마트 글라스 1인칭 영상과 로봇 시연을 함께 변환 데이터가 아니라 사람·로봇 공동학습 1종 (기구학 격차를 줄이도록 설계한 양팔 로봇) 논문에서 확인되지 않음
Phantom (스탠퍼드, arXiv:2503.00779) 사람 시연 영상만 (로봇 데이터 없이) 사람 팔을 지우고 로봇을 덧그린 관측·행동 쌍 단일 셋업 명시 없음
MimicGen · DexMimicGen 시뮬레이션에서 모은 소수의 로봇 원격조작 시연 재조합·증강으로 불린 합성 로봇 궤적 팔 4종 (DexMimicGen은 양팔·휴머노이드) 과제 성공 여부 이진 필터
NVIDIA GR00T 합성 흐름 사람이 시뮬레이션 속 로봇을 원격조작한 시연 도메인 랜덤화와 사실감 입히기를 거친 합성 궤적 휴머노이드 중심, 다중 임베디먼트 수치 없음 물리 타당성 5점 척도로 채점해 상위만 채택

▲ 각 시스템의 논문과 공식 페이지에 적힌 범위만 옮겼다. 해당 자료에서 확인되지 않은 항목은 그렇게 적었다

표를 세로로 읽으면 Chorus가 어느 칸에서 갈라지는지 보인다. 사람의 자유 시연을 입력으로 받는 쪽은 Phantom과 EgoMimic이고, 하나의 시연을 여러 로봇으로 불리는 쪽은 MimicGen 계열이며, 생성한 데이터를 점수로 거르는 쪽은 GR00T 합성 흐름이다. 세 가지를 한 공정 안에 함께 둔 시스템은 1차 출처에서 확인되지 않는다. 회사가 "처음"이라고 밝힌 것도 이 조합이다.

분량을 불리는 원리도 저마다 다르다. MimicGen은 시뮬레이션에서 모은 로봇 시연 약 200개로 5만 개가 넘는 궤적을 만들었고, DexMimicGen은 60개로 2만 1천여 개를 만들었다. 엔비디아가 GR00T 합성 흐름으로 공개한 수치는 궤적 78만 개다. 다만 이 숫자들은 시뮬레이션 안에서 물체 위치와 장면을 바꿔 가며 같은 동작을 재조합해 얻은 것이다. 사람이 한 번 찍은 장면을 열여섯 몸으로 옮겨 13.6배를 얻는 Chorus는 가상 장면의 가짓수가 아니라 로봇 몸의 가짓수에서 분량을 얻는다.

공개가 어디서 끝나는지도 갈린다. UMI는 변환한 궤적 위에서 로봇을 특정하지 않는 확산 정책을 학습시켰고, EgoMimic은 사람 영상과 로봇 시연을 좌표계로 정렬해 함께 학습시키는 데까지 갔으며, Phantom은 로봇 데이터 없이 사람 영상만으로 학습한 정책을 실제 로봇에 제로샷으로 올렸다. 셋 모두 변환에서 멈추지 않고 그 데이터로 학습한 결과까지 함께 내놓는다. Chorus가 공개한 범위는 변환과 채점까지다.

비교 대상은 아니지만 함께 놓고 볼 것이 1인칭 데이터셋이다. Ego4D는 9개국 923명이 찍은 3,670시간 이상의 영상을, Ego-Exo4D는 740명이 참여한 1,286시간의 1인칭·3인칭 동기화 영상을 모았다. 사람의 1인칭 영상과 주석을 대규모로 모은 연구 자산이지만, 그것을 로봇 데이터로 바꾸는 공정은 포함하지 않는다. Chorus 같은 엔진이 입력으로 삼을 수 있는 쪽이 이런 데이터셋이다.

7

이 기술의 뿌리는 어디에 있나

Chorus를 이루는 부품은 대부분 오래된 연구에서 왔다. 새로운 것은 부품이 아니라 그것들을 하나의 공정으로 이어 붙인 배열이다. 아래는 각 단계가 어느 연구에 기대고 있는지를 원 논문까지 따라가 적은 것이다.

Chorus의 단계 기대고 있는 연구 갈래
사람 운동을 로봇에 옮기기 컴퓨터 그래픽스의 리타기팅 — Gleicher, SIGGRAPH 1998
관절 각도 계산 역기구학 기법 — Aristidou 외, Computer Graphics Forum 2018
1인칭 작업 영상 다루기 에고센트릭 비전 — EPIC-KITCHENS, ECCV 2018
손의 자세 복원 3D 손 재구성 — HaMeR, CVPR 2024
카메라 한 대로 깊이 얻기 단안 깊이 추정 — Depth Anything, CVPR 2024
지운 자리 메우기 영상 인페인팅 — ProPainter, ICCV 2023
예상 밖의 구간 찾기 예측 오차로 새로움을 재는 호기심 계열 — Schmidhuber 1991, Pathak 외 ICM, ICML 2017

▲ 왼쪽은 원문이 적은 단계, 오른쪽은 그 단계가 쓰는 기법의 대표 1차 출처다

마지막 줄은 조금 다르게 읽어야 한다. 예측이 빗나간 정도를 새로움의 신호로 쓰는 생각은 1990년대 호기심 연구에서 시작해 2017년 내재적 호기심 모듈로 이어진 계열이다. 그쪽은 이 신호를 탐험에 썼고 Chorus는 데이터 선별에 쓴다. 다만 원문은 이 계보를 인용하지 않으므로, 같은 방향의 발상이 데이터 쪽으로 옮겨 온 사례로 보는 것이 정확하다.

8

페블러스가 Chorus에 주목하는 이유

8.1변환된 데이터와 배울 수 있는 데이터는 다르다

Chorus가 공개한 것은 정교한 변환 공정이다. 영상을 좌표로 바꾸고, 관절 한계를 지키고, 결과물에 점수를 붙여 걸러 낸다. 공정의 각 칸이 무엇을 하는지도 비교적 소상히 적혀 있다. 비어 있는 칸은 하나다. 이렇게 고른 데이터로 학습한 로봇이 그러지 않은 경우보다 얼마나 잘하게 됐는지가 원문에 없다. 6절의 표에서 정책 학습 결과까지 함께 내놓은 시스템과 Chorus가 나뉘는 자리가 여기다.

이 공백은 Chorus만의 것이 아니다. GR00T 합성 흐름의 물리 타당성 채점도 몇 퍼센트가 걸러지는지, 거르기 전후로 학습 결과가 어떻게 달라지는지는 공개하지 않는다. 생성과 채점의 절차는 설명하면서, 그 채점이 옳았는지를 판정하는 수치는 내놓지 않는다. 채점을 공정 안에 넣은 쪽에서 되풀이되는 모양이다.

채점 축이 하나 늘어나는 것과 그 축이 실제로 배울 수 있는 신호를 골라내는 것은 다른 일이다. 행동 놀라움이 높은 구간이 정말 학습에 더 보탬이 되는지는 그 구간을 넣고 뺀 모델을 비교해 봐야 알 수 있다. 데이터의 가치는 변환 공정이 아니라 그 데이터로 학습한 모델의 성적이 판정한다. 그 성적이 나오기 전까지 13.6시간이라는 숫자가 말해 주는 것은 분량이지 학습 가치가 아니다.

8.2페블러스는 어디에서 같은 문제를 푸는가

페블러스가 2021년 창업 때 첫 과제로 붙든 생각은 정밀 겨냥 합성데이터였다. 어려운 문제를 정확히 겨냥한 소수의 데이터가 남은 차이를 만든다는 것이다. 그러려면 어디가 어려운지를 먼저 알아야 한다. 데이터클리닉은 데이터를 고차원 공간에 펼쳐 밀도와 빈자리를 찾아 그 겨냥을 가능하게 하는 도구다. 진단 방법은 미국 특허 US 12,481,720으로, 빈자리를 채우는 합성 데이터 생성은 US 11,967,308로 등록돼 있다.

데이터 그린하우스는 이 도구들을 하나의 고리로 잇는다. 진단하고, 합성하고, 덜어 내고, 다시 진단한다. 페블로심은 시뮬레이션에서 로봇 조작 데이터를 만들어 이 고리에 넣는 쪽이다. Chorus의 데이터 채점·선별 단계와 마주 보지만 출발점이 다르다. Chorus는 변환을 마친 뒤 점수로 고르고, 페블러스는 어디가 비었는지를 먼저 찾은 다음 그 자리를 겨냥해 만든다.

페블러스도 아직 데이터를 만들어 파는 단계는 아니다. 이 글이 Chorus에 던진 질문은 페블러스 자신에게도 그대로 돌아온다. 진단이 짚은 빈자리가 정말 모델의 성적을 바꿨는지는 결국 학습 결과로만 증명된다. 그래서 페블러스가 데이터를 두고 쓰는 문장은 하나다. 데이터를 수렵하지 않는다. 데이터를 경작한다.

더 읽을거리는 셋이다. 데이터 그린하우스 전략은 진단과 합성의 고리를 자율형 데이터 운영체제로 정리했고, 피지컬 AI를 위한 데이터는 수렵과 경작이라는 비유가 어디서 나왔는지를 다룬다. ISO/IEC 5259 로드맵은 데이터 품질을 국제 표준의 언어로 적는 쪽의 작업이다.

R

참고문헌

R.11차 출처

R.2비교 기술

R.3기술 원천 논문