Executive Summary

성공으로 기록된 로봇 시연 안에 조종자가 헤맨 흔적이 남고, 로봇이 그것까지 따라 배운다는 보고가 나왔다. 실제 로봇 데이터를 20만 시간 넘게 모은 팀이 자기 수집 과정을 뜯어본 arXiv 논문으로, 2026년 11월 17일에 올라왔다. 양팔 로봇 25대의 기구학 분석, 조종 방식을 바꿔 가며 돌린 원격조종 실험, 그 데이터로 파인튜닝한 정책을 실제 로봇에서 평가한 결과가 한 편에 묶여 있다.

가장 눈에 띄는 숫자는 90%다. 양팔 블록 옮기기 과업에서 조종자가 돌아간 구간이 섞인 비율을 0%에서 80%까지 올리자 시연의 평균 손목 경로가 0.215m 늘었고, 그 데이터로 학습한 정책의 경로도 0.194m 늘었다. 늘어난 거리의 약 90%가 로봇의 몸짓으로 옮겨 갔다. 그 시연은 전부 과업에 성공한 기록이고, 겉에 붙은 라벨도 '성공'이다.

1절부터 4절까지는 논문이 보고한 실험과 수치를 따라간다. 이 결과를 AI-Ready Data의 문제로 보는 5절은 이 글의 해석이다.

주요 수치

출처: Hidden Variables Behind Real-Robot Data Quality(arXiv:2611.22388, 2026-11-17)

앞의 세 칸은 수집한 데이터가 로봇의 행동으로 옮겨 가는 통로를 각각 다른 각도에서 잰 값이다. 첫 칸은 조종자의 비효율이 얼마나 전이되는지, 둘째 칸은 보정이 맞는 시연이 남아 있는지에 따라 성공률이 어떻게 갈리는지, 셋째 칸은 추론 시점에 영점이 어긋났을 때 어떻게 되는지를 보여 준다. 넷째 칸은 데이터를 만드는 조종 방식 쪽 수치다.

약 90%

로봇에 남은 '헤맨 거리'

시연 경로가 0.215m 늘자 학습된 경로도 0.194m 늘었다

66.7% → 26.7%

보정 맞는 시연 25%의 유무

시험관 전달·삽입 과업 30회 기준 성공률

30회 전부 실패

추론 시점 보정 불일치

학습 데이터가 전부 정상이어도 결과가 같다

43~53%

줄어든 과업 완료 시간

신체 부위를 따로 떼어 병렬로 조작했을 때

1

돌아간 경로는 학습을 거쳐도 지워지지 않는다

원격조종으로 로봇 데이터를 모을 때 조종자는 늘 깔끔하게 움직이지 않는다. 작업 공간이 좁아 팔이 걸리고, 조종 장치가 뻑뻑하고, 화면이 한 박자 늦게 따라온다. 그래서 가다가 멈추고, 한 번 지나친 지점으로 되돌아오고, 자세를 고쳐 잡는 동작이 섞인다. 그러고도 물건은 결국 제자리에 놓인다. 과업은 성공이고 기록도 성공이다.

연구진은 이 '성공한 비효율'이 학습 뒤에도 남는지를 직접 시험했다. 양팔 블록 옮기기 과업에서 조종자가 한 번 돌아간 구간이 들어 있는 시연의 비율을 0%, 20%, 50%, 80%로 올려 가며 같은 조건으로 정책을 학습시켰다. 0%에서 80%로 가는 동안 시연의 평균 손목 경로는 0.215m 길어졌다. 그 데이터로 배운 정책의 경로는 0.194m 길어졌다. 사람이 더 걸은 거리의 약 90%를 로봇이 그대로 가져갔다.

섞어 넣은 시연이 어떤 모양인지도 숫자로 남아 있다. 시연 100편 가운데 일부를 멈춤과 돌아감이 들어 있는 궤적으로 바꿔 넣는 방식이었는데, 그 궤적은 깨끗한 시연과 견주면 손목이 지나간 경로가 평균 33% 길고, 관절이 움찔거리는 정도가 약 1.8배이며, 0.3초를 넘는 한쪽 팔의 멈춤이 1.1회에서 1.6회로 늘어난다. 영상으로 보면 그냥 조금 굼뜬 시연이다.

다만 모든 결함이 같은 비율로 옮겨 가지는 않았다. 관절이 급격히 움찔거리는 정도는 늘어난 양의 약 45%만 정책에 남았다. 경로의 낭비는 거의 그대로 전해지는데 움직임의 거칠기는 절반쯤 걸러진다는 뜻이다. 그래서 학습된 로봇이 겉보기에 부드럽게 움직인다는 사실만으로 학습 데이터가 깨끗했다고 볼 수는 없다.

돌아간 구간을 섞은 비율과 늘어난 경로 원격조종 시연 돌아간 구간 0% → 80% 학습 데이터 라벨은 전부 '성공' 학습된 로봇 동작 비효율까지 재현한다 시연에서 늘어난 경로 0.215 m 학습된 정책에서 늘어난 경로 0.194 m 두 값의 비 ≈ 90%
▲ 페블러스 원본 도식. 양팔 블록 옮기기 과업 한 건에서 나온 값이며, 모든 과업의 평균이 아니다. | 출처: arXiv:2611.22388 4.3절

시간으로도 같은 일이 벌어졌다. 돌아간 시연의 비중이 0%에서 80%로 오르는 동안 로봇이 움직이기 시작해 물건을 놓기까지 걸린 시간은 25.3초에서 32.6초로, 약 29% 길어졌다. 데이터를 더 많이 넣을수록 느려지는 로봇이 나온 셈인데, 그 데이터는 품질 검사에서 걸러 낼 근거가 없다. 전부 성공한 시연이기 때문이다.

논문은 여기서 데이터를 받아들이는 기준을 바꾸라고 말한다. 시연을 학습에 쓸지 판단할 때 경로의 효율과 움직임의 연속성, 걸린 시간을 함께 봐야 한다는 것이다. 순서에 관한 권고도 붙어 있다. 관절 한계나 어색한 조작 매핑, 제어 지연 탓에 되풀이되는 보정 동작은 학습 데이터에서 걸러 내기 전에 수집 장비 쪽에서 먼저 고치라고 적었다. 걸러 내는 일은 그다음이다.

성패 라벨은 결과만 본다. 조종자가 어떤 경로로 거기에 닿았는지는 라벨 바깥에 있다. 그래서 수집 단계에서 생긴 비효율은 걸러지지 않고 모델의 기본 동작이 된다. 지시문과 궤적이 어긋난 경우를 다룬 행동은 맞고 지시문만 틀린 로봇 시연 데이터와 비교하면 결이 다르다. 그쪽은 설명이 틀렸고, 이쪽은 설명도 결과도 맞는데 과정이 지저분하다.

2

기준이 맞는 시연 25%가 성공률을 가른다

보정(calibration)은 로봇이 자기 몸의 상태를 숫자로 읽는 기준을 맞추는 일이다. 논문이 꼽은 항목은 관절 영점, 기구학 파라미터, 토크 센서, 동역학, 카메라의 내부·외부 파라미터다. 이 가운데 실험의 초점은 관절 영점에 있다. 상태 표현에 가장 직접 영향을 주기 때문이다. 같은 팔꿈치 각도를 어떤 로봇은 0도로 읽고 어떤 로봇은 2도로 읽으면, 두 로봇이 남긴 시연은 글자는 같고 뜻은 다른 기록이 된다.

데이터를 오래 모은 팀에는 이런 기록이 쌓여 있다. 장비를 새로 들이고 보정 절차를 바꿀 때마다 기준이 조금씩 달라지는데, 과거 데이터를 통째로 버려야 하는지는 현장에서 바로 돈이 걸리는 질문이다. 연구진은 시험관을 건네고 꽂는 과업에서 학습 데이터 구성을 네 가지로 나눠 각각 30회씩 돌렸다.

구성 학습 데이터 성공률
A 전부 보정이 맞는 시연 63.3%
A′ 보정이 맞는 25편 + 한쪽으로 쏠려 어긋난 75편 66.7%
B 맞는 시연 없음, 어긋난 방향이 양쪽으로 흩어짐 20%
B′ 맞는 시연 없음, 한쪽으로 쏠려 어긋남 26.7%

▲ 시험관 전달·삽입 과업, 구성마다 30회 시행. '맞는다'는 기준은 추론에 쓸 로봇의 영점이다. | 출처: arXiv:2611.22388 4.2절

읽는 방향을 잘못 잡기 쉬운 표다. 눈길이 가는 쌍은 A′와 B′다. 둘 다 어긋난 시연을 같은 방식으로 담고 있고, 차이는 보정이 맞는 시연 25편이 들어 있느냐뿐이다. 그 25%가 있으면 66.7%로, 전부 정상인 A의 63.3%와 사실상 같은 자리에 선다. 그 25%가 빠지면 26.7%로 내려앉는다.

B는 따로 읽을 값이다. B의 어긋남은 한쪽으로 쏠리지 않고 양쪽으로 흩어져 있어서, 데이터 전체로 평균을 내면 오차가 서로 상쇄돼 0에 가깝다. 그런데도 성공률은 20%로 네 구성 가운데 가장 낮다. 오차가 평균적으로 없다는 것과 시연들이 같은 기준을 쓴다는 것은 다른 이야기다.

그러니까 성능을 가른 것은 어긋난 데이터의 비율이 아니다. 75%가 어긋나 있어도 추론에 쓸 로봇과 기준이 맞는 시연이 조금 남아 있으면 버틴다. 논문의 권고도 같은 모양이다. 보정 기준이 섞인 과거 데이터를 버릴 필요는 없고, 대신 추론 로봇에 맞춘 기준 궤적을 닻처럼 일부 남겨 두라고 적었다.

3

추론 로봇의 영점이 다르면 30번 다 실패한다

같은 실험에는 반대쪽 조건도 들어 있다. 학습 데이터는 전부 보정이 맞는데, 정책을 올려 돌리는 로봇의 관절 영점이 수집 때와 다른 경우다. 결과는 30회 시행 전부 실패였다. 성공률이 낮아진 것이 아니라 한 번도 성공하지 못했다.

2절과 3절을 나란히 놓으면 비대칭이 보인다. 학습 쪽에서는 어긋남이 75%까지 섞여도 닻이 남아 있으면 견딘다. 추론 쪽에서는 어긋남이 한 번만 있어도 끝난다. 데이터 품질의 사슬이 수집에서 끊기지 않고 로봇 개체 하나하나의 보정까지 이어진다는 뜻이다. 데이터를 잘 모으는 것과 그 데이터를 쓸 로봇을 맞춰 두는 것은 같은 일의 앞뒤다.

논문은 여기에 절차 하나를 못 박는다. 모델을 배포하기 전에 수집 로봇과 추론 로봇의 영점이 맞는지 확인하는 일을 필수 점검으로 두라는 것이다. 방법도 적어 두었다. 보정 버전을 기록해 두고, 정해진 자세에서 관절 값이 어떻게 읽히는지 확인하고, 관절마다 영점 오차를 따로 보정한다. 셋 다 데이터 과학보다는 설비 관리에 가까운 일인데, 이 실험에서 30회 전패와 63.3%를 가른 것이 그 일이었다.

4

로봇의 몸과 조종 방식이 품질을 먼저 정한다

논문의 앞 절반은 데이터가 생기기 전으로 거슬러 올라간다. 어떤 로봇으로, 어떤 조종 장치로 모으느냐가 시연의 질을 미리 결정한다는 것이다.

4.1손이 닿는다고 쓸 수 있는 것은 아니다

연구진은 양팔 로봇 25대를 놓고 작업 공간 10,075개 지점마다 공구가 향할 수 있는 방향 64가지를 따져 봤다. 위치만 보면 휴머노이드형과 바퀴형 리프트 팔이 각각 55%와 53%에 닿는다. 그런데 방향까지 맞춰야 하는 조건을 걸면 41%와 33%로 떨어진다. 탁상 고정형은 같은 기준에서 91%와 75%다. 손끝이 거기까지 간다는 사실과 거기서 필요한 각도로 공구를 쥘 수 있다는 사실은 다르다. 위치만 보는 지표는 실제로 할 수 있는 일의 범위를 부풀린다.

로봇 형태별 작업 공간 도달률 — 위치만 vs 방향까지 위치만 도달 방향까지 맞춤 휴머노이드형 55% 41% 바퀴형 리프트 팔 53% 33% 탁상 고정형 91% 75%
▲ 페블러스 원본 도식. 작업 공간 10,075개 지점 × 공구 방향 64가지 기준. | 출처: arXiv:2611.22388 4.1절

해법은 의외로 작았다. 어깨를 반지름 15cm 구 안에서 움직이게 허용하자 닿을 수 있는 단면적이 고정 어깨 대비 3.4~5.5배로 늘었다. 사람이 물건을 집을 때 상체를 살짝 기울이는 동작에 해당한다. 팔을 길게 만들지 않아도 몸통 쪽에 자유도를 조금 주면 수집할 수 있는 과업의 폭이 달라진다.

4.2조종 장치가 시연의 모양을 바꾼다

조종 방식 실험에서는 양팔과 허리 같은 신체 부위를 따로 떼어 병렬로 조작하게 하자 완료 시간이 43~53% 줄었다. 바닥에서 물건을 집는 과업은 35.7초에서 16.7초로, 닦는 과업은 27.0초에서 15.3초로 내려갔다. 접촉이 많은 과업에서는 힘 제어가 네 과업 모두 100% 성공한 반면, 위치 제어는 블록 쌓기에서만 100%였고 문 열기·닦기·상자 옮기기에서 83.3%, 80%, 86.7%에 그쳤다. 최대 접촉력도 힘 제어 쪽이 낮았다.

시야에 관한 결과는 더 직접적이다. 로봇의 처음 시야 밖에 블록을 두고 가까운 쪽 손을 고르게 하는 과업에서, 고개를 돌려 블록을 확인한 뒤 팔을 고르는 시연으로 배운 정책은 팔 선택 정확도가 100%였다. 그 확인 동작이 빠진 시연으로 배운 정책은 50% 언저리, 곧 동전 던지기 수준에 머물렀다. 조종자는 자기 눈으로 이미 블록을 봤지만 로봇 카메라는 보지 못한 채 기록이 남았기 때문이다. 판단의 근거가 되는 장면이 시연 안에 들어 있지 않으면 결과만 따라 하는 정책이 나온다.

지연도 같은 자리에 있다. 연구진이 조종 장치에 지연을 일부러 더 걸어 가며 재 보니, 2cm 목표에서 더해진 지연이 0에서 200밀리초로 늘자 평균 완료 시간이 약 13초에서 26초로 두 배가 됐고 800밀리초에서는 약 62초까지 올라갔다. 집게 쪽 지연은 100밀리초가 붙을 때마다 집고 놓는 동작 한 번에 약 200밀리초를 더 얹었다. 반대로 전체 지연이 100밀리초 아래로 내려가면 조종자가 어긋남을 느끼기 어려워져 더 줄여도 나아지는 폭이 작았다. 지연이 하는 일은 조종자를 느리게 만드는 데서 끝나지 않는다. 느려진 조종자가 만드는 보정 동작이 1절에서 본 경로가 되어 데이터에 남는다.

네 가지 결과가 가리키는 방향은 같다. 데이터의 질은 수집이 끝난 뒤 골라내는 문제이기 전에, 어떤 몸과 어떤 조종 장치를 쓸지 정하는 단계에서 이미 상당 부분 결정된다. 완벽해 보이는 데이터를 섞었는데도 로봇이 나빠진 사례를 다룬 완벽한 데이터를 섞었는데 로봇이 더 나빠졌다가 선별의 어려움을 보여 줬다면, 이 논문은 그 앞 단계를 본다.

5

페블러스가 이 논문을 주목하는 이유

로봇 데이터를 모으는 쪽에서 가장 자주 듣는 목표는 시간이다. 몇만 시간을 모았고 내년에 몇십만 시간을 채운다는 식이다. 이 논문이 흔드는 것이 그 지표다. 20만 시간을 모은 팀이 자기 데이터를 뜯어보고 내놓은 결론은 수집계의 설계가 그 시간의 값어치를 먼저 정한다는 것이었다.

까다로운 대목은 여기서 문제가 되는 결함이 전부 '성공' 안에 숨어 있다는 점이다. 돌아간 경로도 성공이고, 영점이 2도 밀린 시연도 성공이고, 로봇 카메라가 못 본 채 고른 팔도 성공이다. 성패 라벨, 과업 이름, 수집 시간 같은 겉보기 메타데이터로는 이 셋을 하나도 구분하지 못한다. AI-Ready Data를 "모델이 바로 쓸 수 있는 상태"로 정의한다면, 로봇 데이터에서 그 상태는 라벨이 맞는 것으로는 부족하고 궤적 자체가 깨끗해야 성립한다.

Physical AI를 준비하는 팀이라면 쌓고 있는 데이터에 세 가지를 물어볼 수 있다.

  • 성공한 시연의 경로 길이와 소요 시간 분포를 보고 있는가. 같은 과업의 시연들이 얼마나 흩어져 있는지를 보면 조종 단계의 비효율이 드러난다. 성패만 집계하면 보이지 않는다.
  • 지금 돌리는 로봇과 보정 기준이 맞는 시연이 데이터 안에 남아 있는가. 과거 배치를 버리기 전에 확인할 것은 어긋난 비율이 아니라 닻이 있는지다.
  • 행동을 고르는 근거가 된 장면이 기록에 들어 있는가. 조종자가 눈으로 보고 판단한 내용이 로봇 센서에 남지 않으면 정책은 근거 없이 결과만 흉내 낸다.

논문도 질문만 남기고 끝내지는 않는다. 수집 규모를 늘리기 전에 재 보라며 다섯 가지를 꼽는다. 실효 작업공간, 조종 효율, 관측의 완전성, 보정 정합, 동작 품질이다. 앞의 둘은 장비와 조종 장치를 고르는 단계에서, 뒤의 셋은 이미 쌓인 데이터에서 잴 수 있다. 다섯 모두 성패 라벨 바깥에 있는 값이라는 점이 공통점이다.

한 가지 구분은 분명히 해 둘 필요가 있다. 시연에 들어 있는 여분의 동작에는 남겨야 할 쪽과 걷어 내야 할 쪽이 따로 있다. 목표를 확인하려고 고개를 돌리거나 장애물을 피해 도는 동작은 그 판단의 근거와 함께 남겨 두어야 할 기록이라고 논문은 적었다. 걷어 낼 것은 관절 한계와 어색한 조작 매핑, 제어 지연 탓에 되풀이되는 보정 쪽이다. 4절의 능동 탐색과 1절의 돌아간 경로는 둘 다 경로를 길게 만들지만 같은 것이 아니다. 하나는 로봇이 판단에 쓸 정보를 얻는 동작이고, 하나는 장비의 결함을 사람이 대신 메운 흔적이다.

앞의 세 질문은 모두 데이터를 더 모을지가 아니라 지금 가진 데이터가 무엇을 가르치고 있는지를 묻는다. 재는 방법은 이미 나와 있다. 경로 길이도 멈춤 횟수도 관절 영점 값도 로그에 들어 있는 숫자다. 다만 그 숫자를 수집을 늘리기 전에 들여다보는 절차를 가진 팀이 아직 드물다.

Editor's Note

이 글의 수치는 arXiv에 올라온 논문 본문에서 확인했다. 제출된 지 며칠 지나지 않아 동료 심사를 거치지 않았고, 다른 팀이 같은 실험을 재현한 사례도 아직 없다. 90%라는 전이율은 양팔 블록 옮기기 과업 한 건에서 나온 값이고, 보정 실험 역시 논문이 "우리가 시험한 구성에서"라는 단서를 달아 두었다. 논문이 스스로 적은 한계도 좁지 않다. 데이터 품질 실험은 특정 과업과 단일 정책 모델, 하나의 행동 표현에 걸려 있고, 일부는 인위로 주입한 오차와 한 번의 학습에서 얻은 결과다. 4절의 기구학 수치도 실물을 잰 값이 아니라 URDF 모델과 이산화한 역기구학 계산에 기댔다. 충돌과 동역학, 하드웨어 한계까지 넣으면 실제 작업공간은 더 좁아진다. 과업과 로봇이 바뀌면 숫자도 달라질 것이다. 그래도 방향은 분명하다.