Executive Summary

주요 수치

앞의 세 숫자는 감사가 만든 개선이고, 마지막 숫자는 그 개선이 모든 단계에 고르게 오지는 않았다는 기록입니다.

출처: arXiv:2608.07895 Table VII 및 LIBERO 실험 결과

사람이 원격조종으로 로봇을 움직여 시연을 만들고, 그 에피소드에 동작을 설명하는 문장이 붙습니다. 시각-언어-행동(VLA) 정책은 이렇게 짝지어진 지시와 궤적을 보고 배웁니다. 이 짝은 대량 수집 과정에서 어긋납니다. 여러 태스크를 연속으로 녹화하다 순서가 밀리거나, 태스크 목록에서 비슷한 항목을 잘못 고르거나, 오랜 시간 어노테이션을 하다 손이 미끄러집니다.

문제는 결과물이 멀쩡해 보인다는 점입니다. 로봇이 물건을 떨어뜨린 시연은 영상만 재생해도 티가 나고, 실패 여부를 자동으로 표시하는 파이프라인도 이미 있습니다. 반면 지시만 잘못 붙은 시연은 궤적이 처음부터 끝까지 정상으로 실행됩니다. 사람이 데이터셋을 훑으며 하는 품질 점검을 그대로 통과합니다.

정책이 입는 피해의 성격도 다릅니다. 실패한 롤아웃은 나쁜 동작을 섞어 넣는 데 그치지만, 잘못 붙은 지시는 언어와 행동을 잇는 대응 관계 자체를 뒤집습니다. 집으라는 말이 놓는 동작과 짝지어진 사례를 충분히 보면, 정책은 두 낱말을 구분할 근거를 잃습니다. 이 손상은 지시문으로 태스크를 구분해야 하는 환경에서 특히 크게 나타납니다.

저자들은 이 결함을 실험으로 재현하기 위해 두 가지 방식으로 오염을 주입했습니다. 하나는 다른 태스크의 최근접 이웃을 가진 경계 사례일수록 라벨이 뒤집힐 확률을 높이는 방식이고, 다른 하나는 태스크별 시연을 다섯 덩어리로 나눈 뒤 한 덩어리를 통째로 다른 태스크 라벨로 옮기는 방식입니다. 오염률은 30%로 맞췄습니다. 앞의 방식은 어노테이터가 헷갈리는 상황을, 뒤의 방식은 수집 세션 하나가 통째로 잘못 표시된 상황을 흉내 냅니다. 실패한 시연을 버리지 않고 라벨링해 자산으로 쓴 AgiBotWorld의 헛손질 라벨링과 견주면, 이번 결함은 반대편에 있습니다. 성공한 시연에 붙은 문장이 틀린 경우입니다.

MMPF(Multimodal Probabilistic Fusion)는 한 에피소드를 세 갈래로 나눠 봅니다. 머리에 달린 카메라, 손목 카메라, 그리고 관절 위치와 액션이 남긴 고유감각 기록입니다. 각 갈래를 독립된 전문가로 놓고, 이 에피소드에 붙어야 할 태스크 라벨이 무엇인지 각자 판단하게 합니다.

전문가 한 명의 판단은 두 신호를 섞어 만듭니다. 첫째는 국소 이웃 합의입니다. 임베딩 공간에서 가장 가까운 30개 에피소드를 찾아 그들에게 붙은 라벨의 분포를 보되, 거리가 가까울수록 큰 표를 줍니다. 둘째는 전역 프로토타입 유사도입니다. 각 태스크 라벨이 붙은 모든 에피소드의 평균 임베딩을 그 태스크의 전형으로 삼고, 지금 에피소드가 어느 전형에 가까운지를 잽니다. 이웃만 보면 국소적으로 뭉친 오염에 함께 휩쓸리고, 전형만 보면 태스크 안의 변형을 놓칩니다. 두 신호는 λ=0.5로 동등하게 섞였습니다.

마지막 단계에서 세 전문가의 판단을 곱해 합칩니다. 이때 각 전문가의 분포가 얼마나 뾰족한지를 재서, 확신이 큰 쪽에 더 큰 표를 줍니다. 손목 카메라가 무언가에 가려 아무것도 구분하지 못하는 에피소드에서는 손목 카메라의 발언권이 자동으로 줄어듭니다. 이 장치가 필요한 구간은 실제로 있었습니다. 저자들은 실기 데이터셋 하나에 작업자가 머리 카메라를 제대로 잡지 못한 상황을 10% 섞어 두었는데, 그런 에피소드에서는 머리 카메라의 판단이 흐려지고 남은 두 전문가가 그만큼 더 말하게 됩니다.

전체 파이프라인은 파라미터를 학습하지 않습니다. 시각 임베딩은 공개 모델 Cosmos-Embed1을 그대로 쓰고, 사전학습된 표준 인코더가 없는 고유감각 쪽은 마스크 재구성과 역동역학으로 따로 학습한 경량 인코더를 씁니다. 이 인코더는 태스크 라벨을 보지 않고 배웠습니다. 감사 대상이 라벨인데 라벨로 학습한 분류기를 감사자로 쓰면 오염을 함께 배우기 때문에, 라벨을 보지 않은 표현 위에서 통계만으로 판단하는 구성은 이 문제에서 설계상 이점이 있습니다.

감사 성능은 두 지표로 따로 셉니다. 검출은 어떤 에피소드가 오염됐는지 짚어내는 일이고, 교정은 그 에피소드에 원래 붙었어야 할 라벨을 맞히는 일입니다. 앞의 것을 잘해도 뒤의 것을 못하면 쓸 수 있는 선택지는 삭제뿐입니다. 두 지표를 섞어 읽으면 결론이 달라집니다.

측정은 세 곳에서 이뤄졌습니다. LIBERO는 로봇 조작 학습에 널리 쓰이는 시뮬레이션 벤치마크입니다. 저자들은 성격이 다른 네 개 스위트를 앞서 말한 두 가지 오염 방식과 조합해 여덟 개 세팅을 만들었습니다. 나머지 둘은 실제 로봇으로 모은 데이터입니다. Table은 종이와 머그를 대상으로 응시·접근·집기·놓기 네 가지 기본 동작을 담은 1,260건이고, Bottle-mug는 병과 머그를 집어 목표 지점에 놓는 두 단계 조작 2,980건입니다. 세 곳 모두 머리 카메라, 손목 카메라, 고유감각이 함께 기록돼 있습니다.

단위 %. LIBERO는 4개 스위트와 2가지 오염 방식을 조합한 8개 세팅. 출처: arXiv:2608.07895

교정 정확도 100%는 시뮬레이션 벤치마크에서 나온 값이고, 검출된 진짜 불일치에 한정된 값입니다. 검출 단계에서 놓친 에피소드는 이 분모에 들어가지 않습니다. 검출 쪽 F1이 88.9%에서 100% 사이로 세팅마다 흔들린다는 점을 함께 읽어야 합니다.

비교 대상은 세 가지였습니다. 라벨로 학습한 분류기의 예측 확률로 의심 사례를 짚는 Confident Learning, CLIP 계열의 비전-언어 유사도로 지시문과 영상을 맞대 보는 Retrieval, 표현 공간의 이웃과 라벨 임베딩 공간의 이웃을 함께 근거로 삼는 LEMoN입니다. 세 방법의 성적은 오염의 성격에 따라 크게 갈렸습니다. 라벨 오류 검출의 표준으로 쓰이는 Confident Learning은 물체 배치가 다른 LIBERO-Spatial에서 경계 사례형 오염을 만나자 F1 64.8%로 떨어졌습니다. 같은 조건에서 MMPF는 99.6%였습니다. 헷갈리기 쉬운 경계에서 라벨이 뒤집힐 때, 그 라벨로 학습한 분류기의 예측을 근거로 삼는 방법은 오염을 정상으로 학습해 버립니다. 저자들은 공정한 비교를 위해 모든 베이스라인을 같은 임베딩 위에 다시 구현했습니다.

감사가 끝나면 결정이 남습니다. 의심스러운 시연을 데이터셋에서 빼거나, 그대로 두고 라벨만 바꿔 답니다. 저자들은 30% 오염된 실기 데이터로 정책을 학습시켜 두 전략을 직접 비교했습니다. 실기 평가는 태스크당 10회 롤아웃으로 셌고, 정책은 공개 VLA 프레임워크 pi0.5로 학습했습니다. Table 데이터셋의 결과는 앞서 말한 네 동작, 곧 대상을 응시하는 Focus, 접근하는 Navigation, 집는 Pick, 내려놓는 Place 단계별로 갈렸습니다.

전체 성공률만 보면 재라벨링의 완승입니다. 73.8%에서 90.0%로 올랐고, 걸러 내기가 만든 78.8%보다 11.2%p 높습니다. 두 번째 데이터셋인 Bottle-mug에서도 재라벨링은 62.5%를 77.5%로 끌어올렸습니다.

단계별로 쪼개면 두 전략의 성격이 드러납니다. 대상을 응시하고 접근하는 앞 단계에서는 두 전략 모두 100%를 찍었습니다. 지시문만 제대로 붙으면 어느 태스크인지 헷갈릴 일이 없는 구간입니다. 반면 물건을 내려놓는 Place 단계에서 걸러 내기는 40%로 내려앉았습니다. 아무 처리도 하지 않은 50%보다 낮습니다. 오염된 시연을 지우면서 그 안에 들어 있던 정상 궤적까지 함께 지웠고, 저수준 제어를 배울 예시가 부족해진 것입니다.

저자들이 논문에 적은 판단 기준도 이 지점에 있습니다. 데이터셋이 충분히 크고 잘못 라벨링된 시연이 궤적까지 신뢰하기 어려울 때는 걸러 내는 편이 낫고, 데이터셋이 작아 제어 궤적의 손실이 아픈데 행동 자체는 정상일 때는 교정 정확도가 완벽하지 않더라도 고쳐 쓰는 편이 낫다는 것입니다. 어느 쪽도 수치로 된 문턱값을 갖고 있지 않습니다.

로봇 데이터를 다루는 팀이 실제로 마주하는 질문은 검출률이 몇 %인지가 아닙니다. 감사가 표시한 시연 목록을 앞에 두고 무엇을 지우고 무엇을 고칠지 정해야 합니다. 이 논문이 남긴 가장 실무적인 결과는 그 결정이 전체 성공률뿐 아니라 단계별 성공률을 서로 반대 방향으로 움직인다는 사실입니다. 같은 감사 결과에 같은 도구를 써도 어느 손잡이를 당기느냐에 따라 결과가 11.2%p 갈립니다.

결정을 내리려면 데이터셋에 대해 몇 가지를 알고 있어야 합니다.

• 표시된 시연의 궤적 자체가 정상인가, 아니면 라벨과 궤적이 함께 의심스러운가
• 해당 태스크의 시연이 몇 건 남는가. 지웠을 때 저수준 제어를 배울 예시가 부족해지는 단계는 어디인가
• 지시문이 태스크를 구분하는 역할을 하는가, 아니면 관측만으로도 구분되는가

세 질문 모두 감사 도구가 아니라 데이터셋의 기록이 답합니다. 원본 지시문과 교정된 지시문이 함께 남아 있는지, 시연이 어느 세션에서 어떤 순서로 수집됐는지, 태스크별 시연 수가 얼마인지가 레코드에 붙어 있어야 답할 수 있습니다. 혼합 비율과 시연 선별을 바꿨을 때 정책 성능이 어떻게 움직이는지 폐루프로 확인하기 어렵다는 문제는 완벽한 데이터를 섞었는데 로봇이 더 나빠졌다에서 다룬 적이 있습니다. 이번 논문의 마지막 실험은 그 공백을 두 전략에 한정해 실측으로 메운 사례에 가깝습니다.

방법 자체의 한계도 분명합니다. 판단이 궤적 임베딩의 품질에 기대는데, 영상 쪽과 달리 로봇 고유감각은 쓸 만한 사전학습 자원이 아직 부족합니다. 태스크 라벨의 목록이 미리 정해져 있다고 가정하기 때문에, 지시문이 자유롭게 서술되는 데이터셋에는 그대로 적용되지 않습니다. 저자들은 딱딱한 태스크 클래스를 지시문 임베딩 공간의 부드러운 이웃 관계로 바꾸는 방향을 다음 과제로 적었습니다.

• 1.Holk, S., Takanami, R., Matsushima, T., Iwasawa, Y., Matsuo, Y., Wu, Y.-H., & Ota, K. (2026). "Auditing Instruction-Trajectory Mismatches in Multimodal Robot Demonstrations." arXiv:2608.07895 (IEEE RA-L accepted).