Executive Summary

주요 수치

네 칸을 뽑았다. 앞의 둘은 이 데이터의 크기와 다듬은 정밀도를, 뒤의 둘은 성적에 기여한 정도와 바깥에서 확인할 수 있는 범위를 가리킨다.

출처: Lambda-humanoid Team, "λ₀: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation"(arXiv:2610.18950, 2026년 10월 13일) 및 OpenLambda 저장소.

휴머노이드에게 집안일을 시키려면 걷기와 집기가 한 동작으로 이어져야 한다. 지금까지 그런 데이터를 모으는 표준 방법은 전신 원격조작이었다. 사람이 장비를 걸치고 로봇의 팔다리를 대신 움직여 한 건씩 시연을 만든다. 논문은 이 방식의 한계를 이렇게 적었다. 조작자가 실물 휴머노이드를 한 번씩 끌고 다녀야 하므로, 로봇을 쓸 수 있느냐에 수집량이 묶이고 과제와 환경을 넓히는 비용이 커진다는 것이다.

1인칭 영상은 그 제약을 받지 않는다. 사람은 로봇 없이도 하루 종일 물건을 집고 옮기고 치운다. 다만 기존의 1인칭 데이터는 대부분 손목과 손의 궤적만 남겼다. 어디로 걸어갔는지, 무릎을 얼마나 굽혔는지, 상체를 어느 쪽으로 기울였는지가 빠진 기록이다. 걷기와 집기가 한 동작인 과제에서는 빠진 절반이 더 중요하다.

HumanVerse는 그 빠진 자리를 채우려고 만든 500시간짜리 기록이다. 에피소드는 32,993개, 자세 프레임은 8,700만 개다. 촬영자는 고프로 히어로13 카메라와 피코 4 울트라 헤드셋, 그리고 전신 트래커를 함께 걸치고 움직였다. 영상과 몸 동작이 같은 시계에 맞춰 기록되고, 손가락 동작은 영상에서 사후에 복원한다. 유니트리 G1의 머리에도 같은 기종의 카메라를 달아 사람이 보던 화각과 로봇이 볼 화각을 맞췄다.

찍은 장소는 집, 소매점과 마트, 산업 현장, 사무실, 야외다. 작업은 청소와 요리, 세탁, 상 차리기, 큰 물건 옮기기처럼 특별할 것 없는 일들이다. 논문 제목에 붙은 '개방 환경(open-world)'은 바로 이 장소와 작업의 다양성을 가리킨다. 저자는 Lambda-humanoid 팀으로 표기됐지만 소속은 알리바바 그룹의 Token Hub와 아맵(Amap)이고, 데이터 수집은 알리바바의 데이터 기술 팀과 아맵의 임바디드 AI 데이터 팀이 맡았다. 같은 데이터셋과 모델을 소개한 선행 논문이 2026년 9월 30일에 먼저 올라와 있는데, 그쪽에는 저자들의 이름이 그대로 실려 있다.

이 방향을 이 팀만 보고 있는 것은 아니다. 논문의 관련 연구 절에는 같은 시기에 나온 비슷한 시도가 여럿 올라 있다. 1인칭 영상으로 시각·언어·행동 모델을 학습시킨 EgoVLA, 사람 시연에서 능동 지각까지 배우게 한 HALOMI, 사람의 전신 이동조작 시연을 고정된 로봇 데이터와 함께 학습시킨 EMMA가 그렇다. 저자들은 EMMA도 사람 데이터를 늘릴수록 성적이 올라간다고 보고했다는 점을 짚으면서, 자기 쪽 차이를 이족 휴머노이드의 이동조작에서 몸과 손 동작을 함께 지도 신호로 썼다는 데서 찾았다. 병목을 사람 쪽으로 옮기는 일은 여러 곳에서 동시에 벌어지고 있다.

사람이 찍은 영상을 그대로 로봇에게 먹일 수는 없다. 화면 아래쪽에는 사람의 팔과 손이 나오는데, 로봇에는 그런 팔이 없다. 키와 팔 길이가 다르니 같은 자세를 취해도 손끝이 닿는 자리가 다르다. 명령한 대로 관절이 정확히 움직여 주지도 않는다. 그래서 연구진은 '사람에서 휴머노이드로' 옮기는 과정을 네 단계로 쪼갰다.

2.1보이는 것을 맞춘다

첫 단계는 화면 자체를 고친다. SAM2로 영상 속 사람 팔을 따내고, DiffuEraser로 그 자리를 지운 뒤, 같은 관절 위치에서 렌더링한 G1의 팔을 합성해 끼워 넣는다. 학습이 끝난 모델이 실제 로봇 위에서 보게 될 장면과 학습할 때 본 장면을 같은 모습으로 만드는 작업이다.

2.2움직임을 맞춘다

다음은 몸이다. 사람 신체 모델(SMPL)을 G1의 키에 맞춰 줄이고 자세를 보정한 뒤, SONIC 전신 제어기로 그 동작을 로봇 몸에서 한 번 굴려 본다. 골격 구조가 달라 남는 오차는 제약 조건을 건 오프라인 전신 역기구학으로 다시 깎는다. 마지막으로 실제 실행에서 생긴 어긋남을 되먹여, 로봇에게 줄 동작 신호 자체를 조금씩 고쳐 나간다.

네 단계를 모두 거친 효과는 50개 과제, 약 한 시간 분량의 검증 데이터에서 측정됐다. 과제 평균 손끝 위치 오차가 17.03cm에서 3.83cm로, 방향 오차가 36.06도에서 10.85도로 줄었다. 17cm는 컵 손잡이 옆을 스치는 거리이고, 3.8cm는 손가락 두 마디 정도다.

이 데이터로 학습한 모델이 λ₀다. 학습은 세 단계로 나뉜다. 1단계는 EgoDex와 HOI4D 같은 공개 1인칭 데이터 일곱 종으로 양손 상태를 맞히는 사전학습, 2단계는 HumanVerse를 로봇이 읽을 수 있는 형태로 바꿔 전신 협응을 배우는 중간학습, 3단계는 실제 로봇 시연으로 마무리하는 후학습이다. 중심이 되는 시각·언어 모델은 Qwen3.5-2B이고, 출력은 G1 위에서 SONIC 전신 제어기와 브레인코 Revo2 손으로 전달된다.

시뮬레이션 성적부터 보면, 팀이 직접 정의한 SIMPLE 벤치마크에서 λ₀가 90.0%를 기록했다. 6개 과제를 난이도 0에서 2까지 세 단계로 나눠 각 조합마다 열 번씩, 모두 180회를 시행한 결과다. 같은 조건에서 StarVLA는 86.1%, Ψ₀는 85.6%, π₀.₅는 51.1%, GR00T N1.6은 48.9%였다. 이름이 비슷한 SIMPLER 환경과는 다른, 이 팀의 자체 벤치마크라는 점은 기억해 둘 만하다.

실물 유니트리 G1에서는 네 과제를 열 번씩, 모두 40회 시행했다. 병 버리기, 장난감 정리, 상자 옮기기, 의자 놓기다. 표의 진행률은 과제마다 미리 정해 둔 중간 지점 점수를 더해 100점으로 환산하고 과제끼리 균등하게 평균한 값이다.

▲ 논문 표 1. 각 칸은 열 번 중 성공 횟수와 진행률이다. 성공 건수로는 π₀.₅가, 진행률로는 StarVLA가 베이스라인 가운데 가장 높다.

λ₀는 40회 중 25회를 성공해 62.5%, 진행률 80.4%를 기록했다. 성공 건수가 가장 많았던 베이스라인은 π₀.₅의 16회(40.0%)이고, 진행률이 가장 높았던 베이스라인은 StarVLA의 54.6%다. 두 기준 어느 쪽으로 봐도 격차가 작지 않다.

3.1사람 영상을 뺐을 때 남는 것

이 성적에서 HumanVerse의 몫이 얼마인지는 따로 측정됐다. 구조와 로봇 후학습을 그대로 둔 채 학습 단계만 하나씩 빼 본 실험이다. 2단계 중간학습을 빼면 실물 성공률이 62.5%에서 22.5%로, 진행률은 80.4%에서 59.9%로 떨어진다. 1단계 사전학습을 뺐을 때의 하락(50.0%, 75.9%)보다 훨씬 크다. 둘 다 빼면 15.0%와 54.0%가 남는다.

분량을 조금씩 늘려 가며 측정한 곡선도 같은 방향을 가리킨다. 2단계에 넣는 HumanVerse의 비율을 0%에서 100%까지 여섯 단계로 바꾸자 실물 진행률이 59.9%, 64.2%, 67.3%, 72.1%, 76.4%, 80.4%로 한 번도 내려가지 않고 올라갔다. 처음부터 끝까지 20.5포인트가 벌어진다.

3.2'로봇 시연 없이'가 가리키는 실험은 따로 있다

이 논문을 소개하는 문장에서 가장 자주 섞이는 대목이 여기다. 초록에는 "목표 과제의 로봇 시연 없이" 유니트리 G1으로 옮겨 검증했다는 말이 나온다. 그 문장이 가리키는 것은 5.1절의 파이프라인 검증 실험이다. 노트북 닫기, 냉장고 열기, 커튼 당기기, 서랍 닫기 같은 전신 과제 네 개와 장거리 과제 세 개를 사람 시연만 정렬해 로봇에 바로 옮겼고, 평균 진행률은 각각 51.7%와 76.2%였다.

앞의 표에 나온 62.5%는 다른 실험의 숫자다. 5.2절의 λ₀는 3단계 로봇 후학습을 거친 모델이고, 비교 대상인 네 베이스라인도 같은 조건에서 평가됐다. 두 실험을 붙여 "로봇 시연을 한 건도 쓰지 않고 62.5%"라고 말하면 논문보다 한 걸음 더 나간 주장이 된다. 정확히 말하면 이렇다. 사람 시연만으로도 로봇이 과제의 절반 이상을 진행할 수 있고, 거기에 로봇 데이터를 얹은 모델은 같은 로봇 데이터만 쓴 모델보다 훨씬 잘한다.

사람 영상이 로봇 데이터의 빈 곳을 메우는지도 연구진이 확인했다. 로봇 시연에는 없고 사람 영상에만 등장하는 물체로 시험하자, λ₀의 진행률은 사람 데이터를 쓰지 않은 같은 모델의 48.4%에서 55.8%로 올라갔다. 네 과제 모두에서 올랐지만, 로봇이 이미 본 물체를 다룰 때의 성적에는 미치지 못한다. 연구진도 이 비교가 사람 데이터 전체의 효과를 묶어서 볼 뿐 특정 물체 영상의 기여를 떼어 내지는 못한다고 적었다.

여기까지가 논문이 보고한 성적이다. 그런데 이 결과를 직접 확인하려는 사람은 곧 벽을 만난다. 코드 저장소 OpenLambda는 아파치 2.0 라이선스로 공개됐고, 2단계 중간학습을 마친 모델 체크포인트도 허깅페이스에서 받을 수 있다. 받을 수 없는 것은 그 체크포인트를 만든 데이터다. 저장소는 "HumanVerse-500 학습 데이터는 이번 코드 공개에 포함되지 않는다"고 적었고, 지금 내려받을 수 있는 자료는 동작 정렬 예시 네 건과 네 과제의 예시 궤적뿐이다. 사전학습과 중간학습에 쓴 데이터셋도 공개 대상이 아니다. 프로젝트 페이지에는 허깅페이스의 샘플 데이터셋 주소가 걸려 있지만, 2026년 10월 16일 기준으로 그 주소는 바깥에서 열리지 않고 권한 없음 응답만 돌아온다.

공개된 코드도 아직 전부는 아니다. 저장소는 남은 할 일을 그대로 적어 두었다. G1과 SONIC 제어기, 브레인코 손, 머리 카메라로 에피소드를 녹화하는 수집기가 아직 없고, 사람 기록과 로봇 시연을 λ₀의 표준 에피소드 형식으로 바꾸는 변환기도 없다. 2절에서 본 시각 정렬 코드 자리에는 '곧'이라고만 적혀 있고, 시뮬레이션 평가와 실제 로봇 배포 지침도 준비 중이다. 1·2단계 학습 코드와 설정은 올라와 있지만, 저장소 스스로 이것으로 처음부터 끝까지 재현된다고 보장하지는 않는다고 밝혔다.

'개방 환경'이 열어 둔 것은 촬영 장소이지 데이터가 아니다. 모델은 받아 돌려 볼 수 있지만 그 모델이 무엇을 보고 배웠는지는 논문의 서술로만 남는다. 500시간이 정말 500시간인지, 장소 분포가 서술대로인지, 특정 체형이나 생활 양식에 치우치지는 않았는지를 바깥에서 셀 방법이 지금은 없다.

데이터를 다루는 공정 자체는 꽤 꼼꼼하게 적혀 있다. 부록에 따르면 에피소드마다 고정된 명세서를 두고 출처와 촬영 메타데이터, 주석 적용 범위, 변환 버전, 분할 배정을 기록한다. 타임스탬프와 스트림 겹침, 좌표 규약, 유효값을 구조적으로 검사하고, 손을 영상에 다시 투영해 눈으로 확인한다. 분할은 촬영 세션 단위로 나눠 같은 회차의 장면이 학습과 검증에 함께 들어가지 않게 했다. 후학습용으로 따로 모은 과제별 사람 시연은 범용 중간학습 말뭉치와 분리해 둔다.

빠진 것은 다른 쪽이다. 논문 본문과 부록, 프로젝트 페이지, 코드 저장소 어디에도 촬영 참가자의 동의, 윤리 심의, 얼굴이나 음성 처리에 관한 문장이 없다. 감사의 글에 데이터 수집자 열여섯 명이 실명으로 올라 있으니 인터넷에서 긁어모은 영상이 아니라 팀이 사람을 두고 찍은 기록인 것은 분명하다. 사내에 절차가 있었을 가능성이 높지만, 공개된 문서만 놓고 보면 그 절차가 무엇이었는지 알 수 없다.

피지컬 AI의 병목은 오랫동안 로봇 쪽에 있었다. 로봇이 있어야 데이터가 쌓이고, 데이터가 쌓여야 로봇이 늘어나는 순환을 어디서 끊을 것인가. 페블러스 블로그도 로봇 학습 데이터를 다섯 층으로 줄 세워 본 적이 있고, 투자금이 몰리는 와중에 촉각 데이터만 비어 있는 상황도 다뤘다. 이번 연구는 그 순환을 사람 쪽에서 끊어 본 시도다. 병목이 자리를 바꾸자 질문도 따라 바뀌었다.

바뀐 질문은 세 가지다. 첫째, 찍어 온 영상을 로봇이 쓸 수 있는 학습 데이터로 만드는 일이 따로 남는다. 손끝 오차를 17cm에서 3.8cm로 줄인 네 단계가 그 일이다. 데이터 수집이 싸진 만큼 데이터 가공과 그 가공을 검증하는 일이 비싸진다. 둘째, 사람 영상에 무엇을 함께 기록해야 쓸모가 생기는지를 이 논문이 구체적으로 보여 준다. 영상만으로는 부족하고 전신 자세와 손 동작, 촬영 시계, 세션 식별자, 변환기 버전이 한 묶음으로 붙어야 한다. 셋째, 그 묶음에 사람에 관한 항목이 빠져 있다.

세 번째가 기업 입장에서 가장 늦게 드러나고 가장 비싸게 치러지는 항목이다. 공장이나 매장에서 직원의 작업을 1인칭으로 찍어 로봇 학습에 쓰는 계획은 이미 여러 곳에서 검토되고 있다. 영상 한 건이 들어올 때 촬영자가 누구였고 어떤 동의를 받았으며 보관 기한이 언제까지인지가 에피소드 명세서에 함께 적히지 않으면, 모델을 다 만든 뒤에 그 데이터를 쓸 수 있는지를 다시 묻게 된다. 공정 이력을 꼼꼼히 남기는 팀이라도 사람에 관한 이력은 별도 항목으로 세우지 않으면 빠진다.

데이터 자체를 공개하지 않은 선택을 탓하기는 어렵다. 사람의 집과 얼굴이 찍힌 영상 500시간을 그대로 풀면 오히려 더 큰 문제가 생긴다. 다만 공개하지 않을 이유가 프라이버시라면 그 이유를 적는 편이 낫다. 지금은 공개하지 않았다는 사실만 있고 왜 그런지가 없어서, 독자가 짐작으로 메워야 한다.

여기까지 읽어 주셔서 감사하다. 논문 전문은 arXiv에서, 코드는 OpenLambda 저장소에서 볼 수 있다. 여러분의 팀이 사람을 찍은 데이터를 쌓고 있다면, 그 기록에 사람에 관한 항목이 몇 개나 들어 있는가? 세어 본 적이 있다면 그 목록을 나눠 주시면 좋겠다.

• 1.Lambda-humanoid Team. (2026). "𝜆₀: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation." arXiv:2610.18950.
• 2.Lambda-humanoid Team. (2026). "OpenLambda." GitHub 저장소.
• 3.Lambda-humanoid Team. (2026). "λ₀ 프로젝트 페이지."
• 4.Lambda-humanoid Team. (2026). "lambda0-midtrain-100k." Hugging Face.