Executive Summary
로봇 정책은 사람이 준 시연으로 배운다. 그 사람이 자기 시연을 빼 달라고 하면 정답은 그 시연 없이 처음부터 다시 학습시키는 것이지만, 재학습 비용은 정책 크기와 데이터 규모를 따라 커진다. 그래서 학습이 끝난 가중치를 값싸게 고치는 편집 연산자들이 나왔고, 편집이 성공했는지는 지금까지 망각 손실 한 줄이나 멤버십 공격 한 번으로 선언돼 왔다. 2026년 8월에 공개된 한 프리프린트는 그 선언을 감사의 문제로 다시 읽는다.
판정을 행동 축과 증거 축으로 쪼개고, 두 축을 재는 잣대를 독립 재학습 여러 벌로 만든 것이 이 논문의 설계다. 재학습본끼리도 서로 완전히 같지는 않으니, 그 거리만큼 가까우면 재학습과 구별할 근거가 없다는 발상이다. 그렇게 재 보면 실기 스무 번 중 열여덟 번을 성공해 재학습본 가까이 돌아온 편집본이, 멤버십 감사에서는 아무것도 지우지 않은 원본 정책과 똑같이 걸렸다. 반대 방향도 나온다. 증거를 흐린 편집은 행동이 오히려 재학습본에서 더 멀어졌다. 두 축을 하나의 가설로 합친 검정은 감사한 체크포인트를 전부 기각했다.
저자들은 이 감사가 삭제를 인증하지 못한다고 못 박는다. 반증만 한다는 것이다. 그런데 실무에 남는 함의는 그보다 구체적이다. 이 감사를 실행하려면 학습 데이터가 무엇인지 알려져 있어야 하고 재학습이 감당 가능해야 한다. 두 조건을 갖추지 못한 조직은 "지웠다"를 반증할 수도, 뒷받침할 수도 없다. 삭제권이 피지컬 AI로 넘어올 때 먼저 준비해야 하는 것은 감사 도구가 아니라 대조군을 만들 수 있는 데이터 인프라다.
18/20
편집본의 실기 성공
ACT 팔, 재학습 천장은 20/20
1.000
같은 편집본의 공격 AUC
재학습 널 0.639, 원본과 동일
9개 전부
합동 검정에서 기각
편집 7 + 대조군 2, 모두 p=0.050
14 중 13
폐루프가 무너진 기존 방법
성공률 68~101% 하락
삭제 요청이 로봇 정책에 도착하면
모방학습으로 만든 로봇 정책은 사람이 조종해 남긴 시연을 그대로 흉내 내며 자란다. 어떤 각도에서 컵을 쥐고 어느 지점에서 손을 놓는지가 전부 누군가의 손끝에서 온다. 그 사람이 동의를 거두면, 정책이 배운 것에서도 그 시연이 빠져야 한다. 정답은 단순하다. 그 시연을 뺀 데이터로 처음부터 다시 학습시키면 된다. 문제는 값이다. 정책이 커지고 데이터가 늘수록 전량 재학습은 요청 한 건마다 감당하기 어려운 청구서가 된다.
그래서 학습이 끝난 가중치를 값싸게 고치는 편집 연산자들이 등장했다. 지우고 싶은 데이터 쪽으로 손실을 밀어 올리거나, 문제가 되는 행동만 다른 행동으로 바꿔 치거나, 남은 데이터로 조금 더 학습시키는 식이다. 계산량은 재학습의 몇십 분의 일이면 충분하다. 그런데 이렇게 편집한 정책을 놓고 "지웠다"고 말할 자격이 있는지는, 지금까지 대개 지표 하나로 판정돼 왔다. 망각 손실이 충분히 올라갔는지, 아니면 멤버십 추론 공격이 더는 그 데이터를 맞히지 못하는지.
2026년 8월 21일 arXiv에 올라온 프리프린트 한 편이 그 판정 방식을 정면으로 문제 삼는다. 미시간대학교의 Jiazhuo Li가 제1저자이고 칭화대 선전국제대학원, 저장대학교, 우한이공대학교 연구자들이 함께 쓴 이 논문은 첫 문단에서 질문을 이렇게 세운다.
"우리는 메커니즘의 질문을 던진다. 로봇 정책에서 시연 하나가 '언러닝'됐다고 할 때, 정확히 무엇이 사라진 것인가?"
이 질문이 텍스트 모델의 언러닝과 갈라지는 지점은 폐루프라는 조건에 있다. 언어 모델은 출력 한 번을 보면 된다. 지웠다고 주장하는 문장을 다시 뱉는지 물어보면 된다. 정책은 다르다. 정책은 자기가 만든 행동이 다음 관측을 바꾸는 되먹임 안에서 움직인다. 같은 가중치를 가진 정책이라도 초기 상태가 어디였느냐에 따라 문제 행동이 나타나기도 하고 나타나지 않기도 한다. 무엇이 남았는지를 출력만 보고는 알아낼 수 없다. 페블러스가 토큰 단위 계보와 언러닝에서 다룬 문제가 언어 모델 쪽 판본이라면, 이 논문은 그 문제를 몸을 가진 정책 쪽으로 옮겨 놓는다.
1.1컵을 넘어뜨리도록 가르친 시연 30개
논문의 실험은 컵 하나를 옮기는 작업에서 출발한다. 저자들이 직접 원격조종으로 모은 시연 130개 가운데 30개가 어긋난 지점에서 컵을 놓아 넘어뜨리도록 가르친다. 정책은 그 모드를 그대로 흡수했다. 그리고 그 30개에 대해 삭제 요청이 들어온다. 요청은 "컵을 넘어뜨리는 행동을 없애 달라"가 아니라 "이 에피소드 인덱스들을 빼 달라"는 형태다. 논문의 표현대로 삭제 요청은 행동 라벨이 아니라 신원으로 대상을 지목한다. 무엇을 뺄지 지목할 수 있으려면 데이터에 이름표가 붙어 있어야 한다는 조건이 여기서 이미 작동한다. 페블러스가 에이전트 기억의 계보와 삭제에서 정리한 결론과 같은 자리다.
이 설정에는 단서가 하나 붙는다. 삭제 대상 30개가 동시에 틀린 행동을 가르치는 데이터라는 점이다. 그래서 이 실험에서는 지우면 성능이 올라간다. 논문 자신도 이 점을 경계한다. 여기서 말하는 성공은 재학습본에 얼마나 가까운가이지 과제 성공률의 최대화가 아니며, 해로운 모드를 지우는 일은 오히려 과제 성공률을 떨어뜨릴 수도 있다고 적는다. 철회 시나리오 자체가 구성된 것이라는 사실도 윤리 진술에 명시돼 있다. 현실의 철회는 대개 멀쩡한 데이터를 빼는 일이고, 그때 성능은 내려간다.
1.2현실에서는 데이터 쪽 철회도 이미 어렵다
논문 밖으로 한 걸음 나가 보면, 학습된 정책은커녕 데이터셋 단계의 철회부터 구조적으로 막혀 있다. 로봇 학습의 대표 공개 자산인 Open X-Embodiment는 서른 개 남짓한 연구실이 낸 60개 데이터셋을 하나로 합친 연합체다. 데이터는 CC BY 4.0으로 배포되는데, 이 라이선스는 이미 배포된 사본에 대해 철회가 성립하지 않도록 설계돼 있다. 데이터셋을 등록하는 양식은 있지만 공개된 탈퇴 양식은 찾을 수 없고, 연락 경로는 저장소 이슈와 메일링 주소뿐이다. 연합 구조라 철회 요청은 결국 원래 기여한 연구실로 되돌아갈 수밖에 없으며, 비공식 미러가 존재하는 이상 중앙에서 눌러도 전파되지 않는다. 연합이 아니라 한 프로토콜로 통일된 자산도 사정이 크게 다르지 않다. 열세 개 기관이 열두 달에 걸쳐 로봇 한 종으로 7만 6천 궤적을 모은 DROID에서도 공개된 철회 절차 문서는 확인되지 않는다. 정확히 말하면 두 경우 모두 공개된 철회 절차 문서를 찾지 못했다는 것이지 내부 절차가 없다고 단정할 근거는 없다.
그런데 이 보고서의 질문은 그다음 계단에 있다. 데이터를 지운 뒤에도, 그 데이터로 학습을 마친 정책은 계속 돌아간다. 미러에서 파일이 사라지는 것과 가중치 안에서 그 시연의 영향이 사라지는 것은 다른 사건이다. 앞의 것은 확인할 수 있다. 뒤의 것을 확인하려면 잣대가 있어야 한다. 이 논문이 만든 것이 바로 그 잣대다.
지웠다는 말은 두 주장을 뭉뚱그린다
논문의 첫 수는 "지웠다"라는 한 낱말이 두 가지 다른 주장을 뭉뚱그리고 있다고 진단하는 것이다. 하나는 편집된 정책이 그 시연 없이 재학습한 정책처럼 행동하느냐는 주장이고, 다른 하나는 질의 권한을 가진 감사자가 여전히 그 시연으로 학습했음을 탐지하느냐는 주장이다. 논문은 앞을 행동 축, 뒤를 증거 축이라 부르고 각각을 정의로 못 박는다.
2.1행동 축: 재학습본과 같은 상태에서 같은 행동을 하는가
행동 축은 편집본과 재학습본이 같은 상태에 놓였을 때 내놓는 행동의 차이를 잰다. 차이는 오염된 궤적의 구간별로 나뉘어 보고된다. 문제가 시작되기 전(PRE), 어긋난 행동이 기록된 구간(BRANCH), 그 직후(POST), 그리고 궤적의 꼬리(TAIL)다. 단위는 정규화하지 않은 원래 행동 단위 그대로다. 그리고 이 차이를 읽는 기준이 이 논문의 핵심 발상이다. 기준은 0이 아니라 독립 재학습본끼리의 거리, 곧 바닥값이다. 논문은 한 문장으로 정리한다. 바닥값에 있는 모델은 재학습본들이 서로 떨어져 있는 만큼 재학습본에 가깝다.
정의에는 배제 조항이 붙어 있다. 폐루프 성공률은 별개의 발현 채널이며 행동 축과 결코 같은 것으로 취급하지 않는다는 문장이다. 이 배제 조항이 뒤에서 가장 날카로운 결과를 낳는다. 실기에서 잘 굴러가는 것과 재학습본처럼 행동하는 것은 다른 사건이고, 실제로 같은 체크포인트에서 두 값이 갈라진다.
2.2증거 축: 순위 하나로는 부족하다
증거 축은 감사자가 삭제 대상 시연과 조건이 맞춰진 비회원 시연을 구별할 수 있는지를 잰다. 여기서도 기준선은 재학습본이다. 같은 공격을 재학습본에 돌려 얻은 값이 널이 된다. 다만 논문은 값을 하나가 아니라 둘로 보고할 것을 요구한다. 하나는 순위 통계인 공격 AUC이고, 다른 하나는 널 대비 절대 회원 손실 수준(mem/null)이다. 이유는 명확하다. 순위 통계는 척도에 무관해서 오버슈트를 보지 못한다. 논문의 표현으로는 순위와 절대값, 그 한 쌍이 곧 감사다. 멤버십 추론 공격 자체가 무엇인지는 페블러스가 의료 AI와 멤버십 추론에서 다룬 바 있다.
mem/null은 작을수록 나쁘다. 이 지표는 편집본의 회원 손실을 재학습본의 회원 손실로 나눈 값이라, 1.0이 목표다. 1.0보다 작으면 삭제 대상 데이터를 여전히 잘 맞힌다. 기억이 남아 있다는 뜻이다. 1.0보다 크면 재학습본보다도 못 맞힌다. 편집했다는 흔적 자체가 이상 신호로 잡힌다. 뒤에 나오는 0.22와 1.83은 "작다가 커졌다"가 아니라 "한쪽에서 목표를 못 만났고 다른 쪽에서 목표를 지나쳤다"로 읽어야 한다.
논문은 이 맹점을 명제로 세운다. 순위 통계는 회원과 비회원의 손실을 같은 방향으로 밀어 올리는 단조 변환에 불변이므로, 양쪽을 함께 부풀린 편집을 구조적으로 통과시킨다는 것이다. 그리고 실제로 그런 체크포인트가 측정된다. 증거 축의 주장 범위도 정직하게 좁혀 둔다. 여기서 말하는 증거는 시험한 손실 기반 감사자 계열 안에서만 유효하다고 정의에 적혀 있다.
지표 하나로는 부족하다는 지적 자체는 로봇 밖에서 이미 나와 있었다. 멤버십 추론을 원리부터 다시 세운 2022년 연구가 낮은 오탐률 영역에서의 탐지력을 봐야 한다고 주장했고, 이후 연구들은 표준 멤버십 공격 평가가 낮은 오탐률에서 탐지력이 떨어져 언러닝 위반을 놓친다고 보고했다. 이 논문의 순위·절대값 쌍은 그 경고의 로봇판에 가깝다.
2.3네 칸 중 한 칸만이 삭제 주장의 자격을 갖는다
두 축이 서로 독립이므로 편집된 정책은 네 칸 중 하나에 앉는다. 행동만 고쳐진 칸, 순위만 통과한 칸, 절대 수준을 지나쳐 버린 칸, 그리고 두 축을 모두 만족하는 칸이다. 삭제 주장의 자격을 갖는 것은 마지막 칸뿐이다. 아래 도식은 논문이 실제로 측정한 대표 체크포인트를 그 네 칸에 앉힌 것이다. 눈여겨볼 곳은 채워진 칸이 아니라 비어 있는 칸이다.
Li et al. (2026) arXiv:2608.20784v1의 Table 1·12(ACT 청크-50 블록)를 페블러스가 재해석해 그린 도식. 수치는 모두 ACT 팔의 값이며, 다른 정책군의 셀과 직접 비교하지 않는다.
잣대를 재학습으로 만든다
두 축을 정의했으면 눈금을 매겨야 한다. 여기서 논문이 택한 방법이 이 연구의 이름값이다. 눈금의 원점을 0에 두지 않고 재학습본에 둔다. 이유는 간단하다. 같은 데이터로 독립적으로 두 번 학습시켜도 두 정책은 완전히 같지 않다. 초기화가 다르고 배치 순서가 다르니 행동에도 차이가 남는다. 그런데 0을 기준으로 삼으면 재학습본 자신조차 통과하지 못하는 잣대가 만들어진다. 그래서 기준은 재학습본끼리의 거리가 된다. 그 거리보다 가까우면 재학습본과 구별할 근거가 없다는 뜻이다.
이 잣대를 어디에 댔는지도 함께 읽어야 한다. 저자들은 실물 로봇 정책 세 종과 시뮬레이션 팔 두 개에서 같은 감사를 돌렸다. ACT는 행동을 청크 단위로 회귀하는 8천만 파라미터급 트랜스포머 정책이고, 확산 정책은 행동 시퀀스를 확산 과정으로 생성하며, π₀.₅는 백본을 얼린 채 LoRA로 재적합하는 3B 규모 플로우매칭 VLA다. 셋은 행동을 만들어 내는 방식이 근본부터 다르다. 뒤에 나올 두 축의 해리가 이 셋 모두에서 재현된다는 사실이 우연으로 설명되지 않는 이유가 여기 있다. 다만 열아홉 벌 재학습이 실제로 가능했던 팔은 그중 가장 가벼운 ACT뿐이고, 이 제약은 이 보고서 마지막 절의 비용 이야기로 그대로 이어진다.
3.1세 개의 재학습 무리는 포개져 있다
논문에는 재학습본의 개수가 세 번 다르게 등장한다. 셋을 뭉뚱그리면 읽기가 어긋난다. ACT 팔에서 이 셋은 서로 다른 역할을 맡고 포개져 있다. 논문 표현대로 바닥값이 증거 널 안에 들어가고, 증거 널이 다시 열아홉 벌 컨포멀 무리 안에 들어간다.
ACT 팔의 재학습 무리 구조. 다른 정책군은 규모가 다르다. Diffusion Policy는 바닥값 4벌(쌍 6개), π₀.₅는 LoRA 재적합 3벌뿐이고, PushT는 조건당 250 롤아웃을 도는 5시드 무리다. 출처: Li et al. (2026) Table 3.
증거 축의 널은 0.639다. 멤버십 공격에서 AUC 0.5는 구별하지 못한다는 뜻이라는 통념을 그대로 들이대면 이 논문을 잘못 읽게 된다. 여기서 기준선은 이론값이 아니라 실제로 측정된 재학습본의 값이다. 논문은 0.5보다 높은 이유도 직접 해명한다. 50개 에피소드 풀에서 회원 라벨을 무작위로 재배치해 보면 모든 재학습 시드가 분포 한가운데 앉고, 수집 세션 순서에 따른 드리프트도 나타나지 않는다. 소표본에서 나오는 표집 폭이지 삭제 대상 집단의 정체성이 아니라는 것이다. 이 널의 여유폭은 0.105이며, 시드 편차만이 아니라 프레임 추출 편차까지 포함해 계산한 값이다. 이 풀 크기에서 회원 정보가 아예 없을 때 나올 수 있는 값의 띠가 0.24에서 0.76 사이라는 것도 함께 보고돼 있다. 0.639는 그 띠 안에 들어간다.
널이 0.5보다 높은 것이 ACT 팔만의 사정도 아니다. 같은 30개 대 10개 풀을 확산 정책과 π₀.₅에서 감사하면 널이 각각 0.534와 0.558로 나온다. 널의 자리는 팔마다 다르고, 그래서 편집본이 얼마나 떨어져 있는지도 팔마다 그 팔의 널에 대고 따로 읽어야 한다. ACT와 π₀.₅에서는 무편집 정책이 나란히 1.000에 앉아 널과 가장 먼 자리를 차지한다. 그 거리가 절대 수준에서 어느 정도인지는 PushT 팔의 숫자가 잘 보여 준다. 무편집 정책의 mem/null이 0.088에서 0.109 사이인데, 논문의 표현으로 옮기면 그 시연을 한 번도 보지 않은 모델보다 오염 에피소드를 약 열 배 잘 맞힌다.
3.2바닥값은 구간마다 네 배까지 벌어진다
바닥값을 궤적 전체에 하나만 깔면 안 되는 이유가 측정으로 드러난다. 재학습본끼리의 거리 자체가 구간마다 다르다. 어긋난 행동이 기록된 BRANCH 구간에서는 1.81인데, 궤적 꼬리인 TAIL에서는 7.27이다. 네 배다. 궤적 후반부는 재학습본끼리도 원래 많이 다르다는 뜻이고, 그 자리에 뭉뚱그린 단일 바닥값을 쓰면 가장 잘한 편집본을 두고 널에 도달했다고 오독하게 된다.
아래는 BRANCH 구간에서 세 값이 어떻게 놓이는지를 그린 것이다. 무편집 정책이 재학습본에서 3.99만큼 떨어져 있고, 바닥값은 1.81이다. 편집으로 좁혀야 할 격차는 그 사이 2.18이다. 가장 잘한 redirect 편집본이 3.45까지 왔으니 격차의 24.9%를 좁힌 셈이다. 남은 75%는 그대로다.
Li et al. (2026) Table 4의 BRANCH 열을 페블러스가 재해석. 같은 편집을 전체 계획 50스텝 관행으로 다시 재면 회복률이 75.1%로 뛴다. 무편집 정책의 발산이 청크 후반에서 급격히 커지기 때문이며, 논문은 실행 구간 값을 본문 정본으로 삼는다. 어느 관행을 쓰느냐가 같은 편집의 성적표를 세 배로 바꾼다는 사실 자체가 이 논문의 논지 중 하나다.
3.3컨포멀 검정은 반증만 한다
두 축을 따로 보고하는 데서 멈추지 않고, 논문은 둘을 하나의 가설로 합친다. BRANCH 구간의 행동 발산, mem/null의 로그 절대값, 널과의 AUC 차이를 묶은 벡터가 재학습 무리와 교환 가능한지를 검정하는 것이다. 재학습 복제본 각각이 나머지로부터 얼마나 이례적인지를 먼저 재고, 감사 대상 체크포인트를 그 분포에 얹어 p값을 낸다. 이때 p의 하한은 무리 크기 K에 대해 1/(K+1)로 고정된다. 저자들이 무리를 19벌까지 키운 이유가 여기 있다. 하한을 0.05로 내려야 통상적인 유의수준에서 기각이 가능해지기 때문이다.
논문은 같은 문장에서 못을 박는다. 이 검정은 반증 쪽으로만 단측이며, 인증은 이 방법으로 도달할 수 없다. 통상적인 유의수준에서의 반증은 달성 가능하지만 인증은 여전히 불가능하다는 것이다. 따라서 이 감사를 통과했다는 사실은 지웠다는 증명이 되지 못한다. 통과는 최소 조건이고, 감사가 할 수 있는 일은 삭제 주장을 깨뜨리는 것뿐이다.
실제로 이 검정이 감사 대상에 내놓은 값은 전부 p=0.050이었다. 이 숫자를 간신히 유의했다고 읽으면 정반대의 뜻이 된다. 0.050은 열아홉 벌 무리에서 나올 수 있는 가장 작은 값이고, 그러니까 이 무리로 낼 수 있는 가장 강한 기각이다. 효과 크기가 여유를 보여 준다. 체크포인트들의 비적합도는 16에서 57 사이인데, 재학습 복제본들이 서로에 대해 갖는 값의 범위는 0.4에서 3.3 사이(중앙값 1.0)다. 가장 가까운 redirect조차 복제본 중앙값의 열여섯 배 자리에 있다.
같은 체크포인트, 반대 판정
잣대가 준비됐으니 이제 재는 일이 남는다. ACT 팔에서 저자들은 편집 예산을 조금씩 늘려 가며 사다리를 만들었다. redirect는 어긋난 행동을 다른 행동으로 바꿔 치는 국소 편집이고, ascent는 삭제 대상 데이터 쪽으로 손실을 밀어 올리는 전역 편집이며, FT는 남은 데이터로 조금 더 학습시키는 대조군이다. 각 단마다 공격 AUC와 mem/null을 함께 읽으면, 순위 하나만 보던 시야에서는 보이지 않던 것이 드러난다.
| 체크포인트 | 공격 AUC [95% CI] | 널(0.639) 대비 | mem/null | 읽는 법 |
|---|---|---|---|---|
| θ₀ (무편집) | 1.000 [1.00, 1.00] | +0.36 | 0.22 | 여전히 강하게 기억 |
| FT200 (대조군) | 1.000 [1.00, 1.00] | +0.36 | 0.19 | θ₀보다 낮다 = 기억이 더 깊어졌다 |
| redirect R200 | 1.000 [1.00, 1.00] | +0.36 | 0.40 | 행동은 고쳤는데 증거는 그대로 |
| redirect R400 | 0.990 [0.96, 1.00] | +0.35 | 0.44 | 예산을 늘려도 포화 |
| ascent B100 | 0.940 [0.86, 1.00] | +0.30 | 0.57 | 순위가 내려오기 시작 |
| ascent B200 | 0.650 [0.44, 0.84] | +0.01 | 0.84 | 순위는 널에 닿았는데 절대는 아직 아래 |
| ascent B300 | 0.557 [0.34, 0.76] | −0.08 | 1.59 | 1.0을 넘어섬 |
| ascent B400 | 0.533 [0.30, 0.75] | −0.11 | 1.83 | 1.0을 크게 지나침 |
ACT 청크-50, 주 θ₀ 계보의 증거 사다리. 출처: Li et al. (2026) Table 1. 재학습 널 AUC는 0.639, 여유폭 0.105. mem/null은 1.0이 목표이며, 모든 에피소드 부트스트랩 신뢰구간이 1.0을 배제한다. 어느 단도 절대 수준에서 널에 안착하지 못했다는 뜻이다.
4.1가리기: 행동을 고쳤는데 감사자는 그대로 찾아낸다
표의 세 번째 줄이 이 보고서 제목의 근거다. redirect R200은 행동 축에서 격차의 24.9%를 좁혀 사다리에서 가장 잘한 편집본이다. 그런데 같은 체크포인트의 공격 AUC는 1.000이다. 아무것도 지우지 않은 원본 정책의 값과 똑같다. 감사자는 이 정책이 삭제 대상 시연으로 학습했다는 사실을 조금도 어려움 없이 맞힌다. mem/null도 0.40에 머물러 목표인 1.0의 절반에 못 미친다. 논문은 이 현상을 가리기라고 부른다. 행동이 좋아 보이니 편집이 성공한 것처럼 읽히지만 증거는 한 칸도 움직이지 않았다.
중요한 것은 이 결과가 우연이 아니라는 점이다. 저자들은 독립적으로 학습시킨 θ₀ 시드 세 개에서 같은 편집을 반복했고, 가리기는 세 시드 모두에서 그대로 재현됐다. 나쁜 쪽으로 일관된 결과다.
행동 쪽 재현도 같은 방향을 가리킨다. 세 계보 전부에서 redirect는 자기가 편집한 BRANCH 구간을 재학습 수준까지 끌어올리고(널 대비 1.05, 1.05, 1.03) 꼬리 구간은 손대지 않은 채 남긴다. 국소 수리는 확실히 일어나는데 증거는 그대로라는 조합이 계보를 바꿔도 반복된다. 그리고 이 조합은 정책군을 넘어서도 나타난다. π₀.₅ 팔에서는 redirect와 FT와 ascent 세 조건이 모두 공격 AUC 1.000을 받아 무편집 정책과 구별되지 않았고, 절대 수준으로 봐도 무편집에서 널까지의 격차를 3분의 1쯤 좁히는 데 그쳤다(mem/null 0.10에서 0.34, 0.34, 0.44).
4.2지나치기: 순위는 통과했는데 절대값이 널을 넘어간다
사다리 아래쪽에서는 반대 일이 벌어진다. ascent는 예산을 키울수록 공격 AUC를 끌어내려 B200에서 0.650에 이른다. 널이 0.639이니 순위 기준으로는 재학습본과 구별되지 않는 지점에 닿은 셈이다. 여기서 멈추고 순위만 보고했다면 성공 선언이 나왔을 것이다. 그런데 같은 체크포인트의 mem/null은 0.84이고, 예산을 더 키우면 1.59와 1.83으로 1.0을 지나쳐 버린다. 재학습본보다도 삭제 대상을 못 맞히는 상태, 곧 편집했다는 흔적 자체가 신호로 남는 상태다. 그리고 그렇게 만든 대가로 행동은 시작점보다 재학습본에서 더 멀어졌다.
운영자 입장에서 더 곤란한 사실이 하나 더 있다. ascent가 어디서 멈추는지를 정하는 것이 편집 예산이 아니라 학습 뽑기라는 점이다. 같은 사다리를 세 개의 서로 다른 학습 시드에서 돌리면 mem/null 종착점이 1.83, 0.91, 1.19로 갈린다. ascent가 쓰는 정지 규칙이 자기 자신의 손실을 참조하는 방식이라, 포화 수준이 계보마다 달라지기 때문이다. 논문은 예산이 아니라 학습 뽑기가 양쪽 종착점을 정한다고 적는다. 같은 연산자를 같은 예산으로 돌려도 결과가 뽑기에 달려 있다면, 그 연산자는 삭제 이행의 수단으로 쓰기 어렵다.
어디서 멈춰야 하는지를 짚어 낼 수 없다는 사정은 순위 쪽에서도 마찬가지다. ascent의 순위가 널을 가로지르는 지점을 보간하면 199스텝인데, 짝지은 부트스트랩 신뢰구간은 116에서 358까지 벌어진다. 재표본의 4분의 1은 어느 예산에서도 널을 가로지르지 않는다. 반면 행동 쪽에서 치르는 대가는 흔들리지 않고 커진다. B50까지는 바닥값 자체의 잡음 안에 머물다가 B100에서 −14.0%로 돌아서고 B400에서는 −182%에 이른다. 좁혀야 할 격차의 갑절 가까이를 반대 방향으로 갔다.
지나치기 역시 ACT만의 일이 아니다. 확산 정책 팔에서 500스텝 ascent는 순위 AUC 0.560으로 널인 0.534에 앉았는데, 같은 체크포인트의 절대 수준은 mem/null 1.52로 널을 지나쳐 있다. 순위 하나만 보고 성공을 선언하는 감사였다면 ACT에서 한 번, 확산 정책에서 또 한 번 같은 오판을 냈을 것이다.
4.3모순은 한 사례가 아니다
저자들은 이렇게 한 축에서 통과하고 다른 축에서 실패하는 사례를 부록의 표 하나에 모아 두었다. 본문은 이를 열두 건이라 세지만 표에는 열세 줄이 실려 있다. 논문 안의 사소한 불일치이고 결론에는 영향을 주지 않는다. 아래는 그중 성격이 다른 다섯 건을 골라 옮긴 것이다.
| 체크포인트 | 한쪽 감사의 판정 | 다른 쪽 감사의 판정 | 메커니즘 |
|---|---|---|---|
| ACT redirect | 행동: 격차 24.9% 회복 | 증거: AUC 1.000 = 무편집 정책 | 가리기, 삭제가 아님 |
| ACT-c100 ascent | 순위: 널 근처 (0.650 대 0.653) | 절대: 배포 널을 58% 초과 | 순위 통계가 오버슈트에 눈멂 |
| DP ascent-200 | 손실: FT 대비 32배 격차 축소 | 행동: 이동 0 | 손실 공간과 행동 공간은 다르다 |
| π₀.₅ redirect (실기) | 행동 3게이트 통과, 성공 17/20 | 시연별 공격 AUC 1.000 | 가리기가 정책군을 넘어 재현 |
| DP FT500 | 손실: 격차 5.9% 축소 (200스텝에선 0.19%) | 행동: 이동 0 | FT의 망각은 예산과 함께 자란다 |
Li et al. (2026) Table 10에서 발췌. 각 행은 같은 체크포인트가 서로 다른 감사에서 반대 판정을 받은 사례다.
마지막 줄은 실무에서 자주 빠뜨리는 몫을 가리킨다. 아무 삭제 연산도 하지 않고 남은 데이터로 조금 더 학습시키기만 해도 손실 격차는 조금씩 닫히고, 그 몫은 예산과 함께 자란다. 확산 정책에서 200스텝 미세조정이 0.19%, 500스텝 미세조정이 5.9%를 닫았다. 논문은 여기에 단서를 하나 붙인다. 모든 편집의 주장에서 이 몫을 빼고 읽으라는 것이다. 어떤 연산자가 손실 격차를 얼마 닫았다고 보고할 때, 그중 일부는 그냥 더 학습시켰기 때문에 닫힌 것일 수 있다.
4.4합동 검정은 아홉 개를 모두 기각했다
두 축을 하나로 묶은 컨포멀 검정의 결과는 단정적이다. 감사한 체크포인트 아홉 개가 전부 p=0.050으로 기각됐다. 여기서 아홉 개는 편집본 일곱 개와 대조군 두 개, 곧 무편집 정책과 FT200을 포함한 숫자다. 비적합도는 redirect가 16과 18로 가장 작고 고용량 ascent가 57로 가장 크다. 재학습 복제본들이 서로에 대해 갖는 값의 범위가 0.4에서 3.3 사이임을 생각하면, 가장 가까운 편집본조차 복제본이 아닌 것으로 판별될 만큼 떨어져 있다.
이 결과를 뒤집어 읽지 않도록 주의해야 한다. 검정이 전부 기각했다는 것은 감사한 편집 가운데 삭제 주장의 자격을 갖춘 것이 없다는 뜻이지, 언젠가 그런 편집이 나올 수 없다는 뜻이 아니다. 동시에 통과하는 편집본이 나온다 해도 그것이 지웠다는 증명은 아니다. 이 검정은 애초에 인증 쪽으로는 열려 있지 않다.
성공률은 삭제를 인증하지 않는다
여기까지는 오프라인 측정이다. 정작 궁금한 것은 로봇이 실제로 움직였을 때 무슨 일이 벌어지느냐다. 그 이야기의 출발점은 논문 밖에 있다.
문제가 되는 행동 모드를 가중치 수준에서 억제하는 편집기는 이미 나와 있고 성적도 좋다. 2026년 6월에 공개된 Behavior Uncloning의 MoRE 연산자가 그렇다. 이 연구가 드는 예가 인상적이다. 다양한 건네주기 시연으로 학습한 정책이 칼을 날부터 건네는 모드를 배울 수 있다는 것이다. MoRE는 임시로 만든 모드 분류기의 방향 전환 신호를 정책 가중치에 증류하고 분류기는 버린다. 추론 시간에 얹히는 비용이 0이고, 여덟 개 과제에서 원래 정책 대비 배포 성공률을 평균 44%p 끌어올리며 필터링된 데이터로 재학습한 기준선에 근접한다고 보고한다.
MoRE는 삭제를 주장하지 않는다. 목적은 안전하지 않은 모드의 억제이고 성적표도 배포 성공률이다. 감사 논문이 문제 삼는 것도 MoRE의 주장이 틀렸다는 것이 아니다. 관련연구에서 이 연산자를 "우리 redirect에 가장 가까운 연산자, 삭제 의미론도 증거 축도 없음, 정확히 우리가 감사하는 혼동"이라고 지목할 뿐이다. 즉 문제는 그 성적표의 눈금이 성공률이라는 것, 그리고 성공률이 삭제 판정으로 읽히는 순간 생기는 혼동이다.
5.1아무것도 지우지 않은 대조군이 성공률 1등을 했다
그 혼동이 실측으로 드러나는 자리가 π₀.₅ 팔의 실기 평가다. 3B 규모 플로우매칭 정책을 실제 로봇 팔에 얹고 조건마다 스무 번씩, 채점자에게 조건을 가린 채 돌렸다. 결과의 순서가 뒤집혀 있다.
| 조건 | ACT 팔 (청크-50) | π₀.₅ 팔 (3B VLA) | 메모 |
|---|---|---|---|
| 재학습 (천장) | 20/20 | 19/20 | 도달 목표 |
| redirect | 18/20 | 17/20 | ACT에서 1등, π₀.₅에서 2등 |
| FT (삭제 연산 없음) | 9/20 | 18/20 | π₀.₅에서 1등 |
| ascent | 7/20 | 8/20 | |
| θ₀ (무편집) | 5/20 | 2/20 | 오염 모드가 그대로 발현 |
Li et al. (2026) Table 11에서 발췌. 조건당 20회, 조건을 가린 채 채점, Wilson 신뢰구간과 McNemar 짝지은 검정으로 분석. 채점은 익명화해 뒤섞은 영상으로 진행됐고, 두 팔을 합쳐 200회 가운데 199회에서 현장 기록과 가림 채점이 일치했다. 어긋난 한 번은 가림 채점 쪽을 정본으로 삼았다. 두 팔의 순서가 정반대라는 점이 이 표의 요지다.
π₀.₅에서 1등을 한 FT는 삭제 연산을 하나도 수행하지 않은 조건이다. 남은 데이터로 조금 더 학습시켰을 뿐이다. 성공률만 놓고 보면 이 조건이 재학습본에 가장 근접했다. 그런데 같은 체크포인트를 행동 축으로 재면 4.6%밖에 움직이지 않았고, 증거 축에서는 공격 AUC가 1.000으로 조금도 움직이지 않았다.
성공률과 행동 축은 같은 것이 아니다. 논문의 두 축 매트릭스 캡션이 이 구분을 명시한다. 행동 열은 ACT 블록에서는 오프라인 행동 격차로, PushT와 π₀.₅ 블록에서는 폐루프 성공률로 채워져 있고, 두 채널은 같은 체크포인트에서 갈라지므로 발현 채널의 셀이 행동 축의 주장을 대신할 수 없다는 문장이 붙어 있다. 그러니 π₀.₅ FT의 행동이 94% 회복됐다고 쓰면 오보다. 정확히는 성공률로는 94%를 따라잡았지만 행동 축으로는 4.6%만 움직였고 증거는 전혀 움직이지 않았다.
ACT 팔의 18/20도 같은 주의가 필요하다. 이 조건은 재학습 천장과의 짝지은 검정에서 p=0.500을 받아, 다섯 조건 가운데 유일하게 천장과 분리되지 않았다. 하지만 논문은 이 결과를 탐지 실패이지 동등성이 아니라고 명시한다. 스무 번 시행에서 차이를 못 찾았다는 것은 차이가 없다는 증명이 아니다. 그리고 바로 그 체크포인트의 공격 AUC가 1.000이다.
실기 기록에는 성공률 표만으로는 보이지 않는 대목이 하나 더 있다. 성패를 가른 것이 컵을 놓는 각도였다는 사실이다. 성공률은 놓는 각도의 순서를 그대로 따라갔고, 무편집 정책의 각도는 11.3도에 표준편차 1.5도로 좁게 모여 있었다. 흔들려서 실패한 것이 아니라 일관되게 어긋난 곳을 겨눈 것이다. 반면 130개 시연에서 물려받은 쥐는 각도의 산포는 어떤 연산자로도 줄지 않았다. 천장인 재학습본이 ±0.8도인 자리에서 편집본들은 ±5.8도에서 ±8.8도 사이에 흩어져 있다. 편집이 되돌린 것은 놓는 겨냥이지 쥐는 분포가 아니었고, 성공률은 앞의 것만 따라간다.
그리고 이 대목에서 이 보고서의 주제와 곧장 이어지는 관찰이 나온다. 멤버십 공격을 한 번도 돌리지 않고 놓는 각도 하나만 보아도, 무편집 정책의 주행과 재학습본의 주행을 AUC 0.958로 갈라낼 수 있었다. 학습 계보가 감사자의 질의가 아니라 로봇의 몸짓으로 새어 나온 셈이다. 편집 연산자들은 이 신호를 고르지 않게 눌렀다. ascent가 0.775, FT가 0.653, redirect가 0.634다. 논문은 이것이 멤버십 추론이 아니라 행동 신호라고 분명히 구분해 둔다. 증거 축의 결론이 시험한 감사자 계열 안에서만 유효하다는 단서가 왜 필요한지를 이 숫자가 보여 준다.
5.2국소 수리는 에피소드 평균에서 사라진다
왜 두 축이 갈라지는지를 논문은 주장이 아니라 측정으로 답한다. 삭제 요청이 정책에 남긴 행동적 부담은 궤적 전체가 아니라 특정 구간에 몰려 있다. 어긋난 행동이 기록된 BRANCH 구간은 전체 프레임의 8.6%에 불과하다. redirect는 바로 그 구간을 고치도록 설계된 편집이다. 그래서 구간별로 mem/null을 다시 재면, redirect는 자기가 편집한 8.6%에서만 널에 도달하고 나머지 91.4%에서는 여전히 낮은 값에 머문다.
Li et al. (2026) Table 14를 페블러스가 재해석. 예측을 채점 전에 동결해 두고 확인한 결과이며, redirect는 BRANCH를 강하게 움직이고 그 밖은 거의 움직이지 않는다는 사전 예측이 그대로 확인됐다. 같은 표에서 ascent는 모든 구간을 1.27에서 2.31로 지나치고, FT200은 모든 구간에서 무편집 정책보다 낮다.
논문은 이 대비를 한 문장으로 정리한다. 에피소드 평균 통계가 실재하는 국소 수리를 12대 1로 희석한다는 것이다. 편집은 분명히 무언가를 고쳤는데, 집계 단위를 궤적 전체로 잡는 순간 그 수리가 통계에서 사라진다. 품질 신호는 집계 단위를 잘못 잡으면 없는 것이 된다. 페블러스가 로봇 데이터 큐레이션과 폐루프의 빈자리에서 다룬 문제의 다른 얼굴이다.
같은 갈라짐이 가중치 공간에서도 보인다. 수리가 일어난 redirect 체크포인트에서 두 목적의 기울기가 이루는 코사인은 0.30인데, 무편집 정책에서는 0.66이다. 한쪽 목적을 따라 내려가도 다른 쪽은 거의 움직이지 않는다. 두 축이 하나의 손잡이로 조종되지 않는다는 사정이 측정에서만이 아니라 최적화의 기하에서도 나타난다.
여기에 폐루프 특유의 사정이 하나 더 얹힌다. 가중치가 고정돼 있어도 문제 모드가 나타날지 말지가 초기 상태에 달려 있다는 사실이다. 스무 번을 돌려 한 번도 넘어뜨리지 않았다고 해서 그 모드가 가중치에서 사라졌다고 말할 수 없다는 뜻이다. 실기 시험은 존재를 보여 줄 수는 있어도 부재를 증명하지는 못한다.
5.3증거 축은 뇌사를 보지 못한다
이 절의 결론에 해당하는 실험은 기존 언러닝 방법군을 로봇 정책에 그대로 가져온 비교다. 저자들은 robomimic 벤치마크에서 열네 가지 방법을 같은 조건으로 돌렸다. 열세 개가 폐루프 성공률을 68%에서 101%까지 무너뜨렸다. 오프라인 망각 지표가 좋든 나쁘든 상관없이 그랬다. 유일하게 양의 회복을 보인 것은 이 논문의 redirect뿐이다.
그중 한 사례가 이 보고서 전체의 논지를 가장 선명하게 보여 준다. EU-k는 증거 점수에서 열네 방법 중 1위였다. 널과의 AUC 거리가 0.008로 거의 완벽했다. 그런데 같은 표에서 폐루프 성공률은 −101%다. 정책이 사실상 죽었다.
왜 그런지는 EU-k의 설계를 보면 알 수 있다. 이 방법의 이름은 마지막 k개 층의 정확한 언러닝이라는 뜻이고, 실제로 마지막 k개 층의 파라미터를 초기화한 뒤 남은 데이터로만 다시 학습시킨다. 그러면 마지막 층들은 삭제 대상을 문자 그대로 한 번도 보지 않은 상태가 되고, 손실 기반 멤버십 감사에는 거의 완벽해 보인다. 문제는 층의 역할이다. 분류기에서 마지막 층은 갈아 끼워도 되는 머리지만, 정책에서 마지막 층은 행동을 내는 액션 헤드다. 그것을 초기화하면 제어가 사라진다. 논문은 증거 축이 뇌사를 보지 못한다고 쓴다.
EU-k를 나쁜 방법으로 읽으면 안 된다. 이 방법을 제안한 2022년 연구는 분류 문제에서 부정확 언러닝을 어떻게 평가할 것인가를 다뤘고, 그 맥락 안에서는 합리적인 설계다. 여기서 벌어진 일은 분류기용으로 만들어진 잣대를 폐루프 정책에 그대로 가져왔을 때 생기는 일이다. 같은 계보의 SCRUB도 널 매칭이 0.025로 거의 완벽한데 폐루프는 −100%다. 잣대를 옮길 때 무엇이 함께 옮겨지지 않는지를 확인하지 않으면, 좋은 점수와 죽은 정책이 나란히 나온다.
튜닝 부족 때문이 아니냐는 반론도 미리 막아 두었다. 저자들은 서른두 가지 구성으로 하이퍼파라미터를 탐색하고 자기네 방법이 쓰던 근접성 제약까지 베이스라인에 이식한 뒤 다시 쟀다. 그렇게 최적으로 튜닝한 뒤에도 양의 회복에 도달한 베이스라인은 없었다. 튜닝은 두 축의 해리를 고치지 못한다.
쓸 수 있는 연산자는 요청이 정한다
논문에서 가장 실무적인 대목은 결과가 아니라 사건 하나다. 저자들이 미리 등록해 둔 다섯 개 예측 가운데 하나가 집행되지 못했다.
국소 redirect라는 편집은 아무 데나 쓸 수 없다. 깨끗한 궤적 위에 있으면서 어긋난 행동이 기록된 구간이 있어야 그 구간의 행동만 바꿔 칠 수 있기 때문이다. 그런데 PushT 실험의 오염은 에피소드 전체에 퍼져 있어서 그런 구간을 내주지 않는다. 저자들은 채점 전에 동결해 둔 진단 도구로 이 조건을 실제로 재 봤다. 편집 가능한 프레임 중 분기 구간에 해당하는 것이 15.7%였는데, 깨끗한 지지 위에 있다는 조건까지 걸어 교집합을 구하니 3.65%로 떨어졌다. 미리 정해 둔 5% 기준에 미달이다. 탐지기를 조여 봐도 단조롭게 나빠질 뿐이었다. 그래서 이 예측은 반증도 확증도 아닌 사전적 적용 불가로 기록됐다.
조여 봤다는 말의 실제 값은 이렇다. 탐지기를 세 가지로 보정해 재면 분기 구간은 편집 가능 프레임의 15.7%, 6.2%, 2.0%로 줄고, 지지 조건을 걸어 남는 교집합은 3.65%, 0.85%, 0.19%로 함께 줄어든다. 세 보정 전부 5% 기준 아래다. 왜 그런지도 같은 진단이 답한다. 이 오염에서는 상태와 행동이 함께 깨끗한 분포를 벗어난다. 어긋난 행동이 기록된 프레임은 행동 불일치가 큰 동시에 상태의 지지 거리도 크다. 깨끗한 상태 위에 어긋난 행동만 얹혀 있어야 한다는 국소 편집의 전제가 앉을 자리가 애초에 없다는 뜻이다.
Li et al. (2026) Fig. 5(b)를 페블러스가 재해석. PushT 오염에서는 상태와 행동이 함께 지지 분포를 벗어나 있어, 탐지기를 조여도 국소 편집이 앉을 자리는 나타나지 않는다.
여기서 나오는 실무 번역이 이 보고서에서 가장 오래 남을 문장일지 모른다. 어떤 언러닝 연산자를 쓸 수 있는지는 연산자의 성질이 아니라 삭제 요청의 구조가 정한다. "우리는 언러닝 도구를 도입했습니다"라는 문장이 모든 요청에 대해 성립하지 않을 수 있다는 뜻이다. 오염이 궤적 전체에 퍼져 있으면 국소 편집은 애초에 쓸 자리가 없고, 그때 남는 선택지는 전역 편집이거나 재학습이다.
절차 자체도 평가 재료다. 5% 기준은 교집합을 계산하기 전에 날짜가 붙은 개정으로 고정됐다. 결과를 보고 기준을 옮기지 않았다. 저자들은 모든 결과에 네 가지 상태를 붙였다. 사전등록 확증, 실행 전 개정, 탐색적, 무효화다. 불안정한 학습률 구간에서 나온 스윕은 스스로 무효로 폐기했고, 다섯 예측 중 하나는 반증됐으며 하나는 적용 불가로 남았다. 결과보다 이 태도가 재현 가능한 감사의 조건에 가깝다.
반증된 예측은 이런 것이었다. 저자들은 같은 PushT 팔에서 ascent가 예산과 함께 멤버십 증거를 지우되 행동은 재학습본에서 멀어질 것이라고 미리 적어 두었다. ACT 팔에서 본 서명이 그대로 재현되리라는 예상이었다. 결과는 달랐다. 동결해 둔 용량에서 망각 손실은 세 시드 모두 40%에서 78%까지 움직였는데, 순위 AUC는 0.003 이하로 꿈쩍하지 않았고 절대 격차도 4%에서 6% 사이에 그쳤으며 행동은 널 안에 머물렀다. 손실 공간에서 크게 움직였다는 사실이 증거의 삭제도 행동의 변화도 아니었다는 뜻이다. 망각 손실 한 줄로 삭제를 선언하는 관행에 가장 직접적인 반례가 여기 있다. 저자들은 실패한 예측도 발견이라는 자기네 규칙에 따라 이 결과를 그대로 실었다.
같은 팔에서 확증된 예측 하나도 앞 절의 관찰과 맞물린다. 예산을 맞춘 미세조정은 두 축을 모두 움직이지 않을 것이라는 예측이었고, 그대로 확인됐다. 순위는 시드별로 0.001에서 0.003 사이만 움직였다. 이 무기력은 팔을 넘어 일관된다. ACT의 FT200은 바닥값 쪽으로 1.6% 움직였고, π₀.₅의 FT는 행동 축에서 4.6%였다. 실기 성공률에서 1등을 한 그 조건이다. 성공률로 삭제를 판정하면 두 축 모두에서 사실상 정지해 있는 대조군이 최우수 편집으로 올라온다는 것이, 여기서는 사전에 등록해 둔 예측의 확증이라는 형태로 다시 나타난다.
6.1이 연구가 말하지 않는 것
결과가 선명한 만큼 경계도 분명히 해야 한다. 아래는 논문이 스스로 그어 둔 선과, 이 보고서가 확인하지 못한 부분이다.
- 동료심사를 거치지 않은 프리프린트다. 2026년 8월 21일 제출된 v1이고, CC BY 4.0으로 공개돼 있다.
- 철회 시나리오는 구성된 것이다. 모든 시연을 저자들이 자기 장비로 수집했고 제3자 피험자나 개인정보는 없다. 게다가 삭제 대상이 동시에 틀린 행동을 가르치는 데이터라 지우면 성능이 오른다. 현실의 철회는 대개 멀쩡한 데이터를 빼는 일이고, 그때 성능은 내려간다.
- 증거 축의 결론은 시험한 감사자 계열 안에서만 유효하다. 손실 기반 감사자를 벗어나면 다른 답이 나올 수 있다고 정의에 적혀 있다.
- 실기 평가는 조건당 스무 번이다. 순차 수집이라 세션 드리프트가 교란 요인으로 남아 있고, 저자들도 이를 공개한다. Diffusion Policy의 하드웨어 평가는 이 버전에서 빠져 있다.
- 법적 준수도 인과적 제거도 아니다. 윤리 진술이 직접 부인한다. 이 감사들을 통과해도 데이터 보호 규제상의 준수를 확립하지 못하고 시연의 영향이 인과적으로 제거됐음을 확립하지도 못한다. 논문은 규제상 삭제, 인과적 제거, 경험적 재학습 일관성, 행동 복구, 공격별 부인 가능성 다섯을 구분하고 자기 주장은 뒤의 셋뿐이라고 못 박는다. 유럽 인공지능법이나 한국 인공지능 기본법의 준수 여부를 이 감사로 판정할 수는 없다. 학습 데이터에 대한 규제 판단이 어떻게 형성되는지는 페블러스가 캐나다 개인정보보호법의 AI 학습 데이터 판단에서 다룬 바 있다.
- 헤드라인 방법은 가장 싼 정책군에서만 돌았다. 열아홉 벌 컨포멀 검정이 실행된 곳은 ACT 팔뿐이고, π₀.₅는 LoRA 재적합 3벌에 그친다.
- 인접 연구와 수치를 포갤 표준이 없다. 로봇 언러닝 연구가 없는 것은 아니다. VLA-Forget은 OpenVLA 규모 백본에서 30% 망각으로 같은 계열 연산자를 돌린다. 다만 이 논문 자신이 적듯 언어 프롬프트가 붙은 PushT 변형이라 여기 나오는 확산 PushT 팔과 직접 비교되지 않는다. 같은 관련연구가 나란히 짚는 RedFlow는 redirect라는 낱말을 공유하지만 망각 집합도 감사자도 없다고 적혀 있다. 설정이 제각각이어서 서로의 숫자를 겹쳐 놓을 자리가 아직 없다는 뜻이고, 이 보고서에 실린 숫자들도 그 사정 안에서 읽어야 한다.
- 이 보고서가 반대 증거를 확보하지 못했다. 근사 언러닝이 재학습과 실질적으로 구별 불가함을 보인 실증 연구가 있는지 확인하지 못했다. 따라서 여기 실린 결론은 학계 합의가 아니라 단독 프리프린트의 주장으로 읽어야 한다.
페블러스 관심의 이유
7.1넣는 파이프라인이 있으면 빼는 파이프라인도 있어야 한다
페블러스는 로봇과 제조 현장의 행동 데이터를 학습에 쓸 수 있는 상태로 만드는 일을 한다. 이 논문이 다루는 것은 그 일의 뒷면이다. 데이터를 넣는 파이프라인이 있으면 빼는 파이프라인도 있어야 하는데, 빼는 쪽이 훨씬 어렵다. 넣은 것은 파일이지만 뺄 것은 가중치 안에 흩어진 영향이기 때문이다. 데이터클리닉이 지금 답하는 "이 데이터가 모델을 어떻게 만들었나"라는 질문은, 삭제 요청이 도착하는 순간 "이 데이터가 모델에서 빠졌나"라는 질문으로 뒤집힌다. 같은 계보 추적인데 방향이 반대다.
7.2흔적은 8.6%에 있는데 감사는 100%를 평균한다
데이터셋에서 파일을 지우는 일과 그 파일이 정책에 남긴 자국을 지우는 일은 다르고, 뒤의 것은 대조군 없이는 측정조차 되지 않는다. 여기서 구간 분해가 실무와 바로 이어진다. 오염된 시연이 정책에 남긴 흔적은 궤적 전체가 아니라 8.6%의 프레임에 몰려 있는데, 에피소드 평균으로 재는 감사는 그 국소 수리를 12대 1로 희석해 아무것도 바뀌지 않았다고 보고한다. 품질 신호는 집계 단위를 잘못 잡으면 사라진다. 시연 데이터의 라벨과 궤적이 어긋날 때 무슨 일이 생기는지는 지시와 궤적의 불일치에서, 시연 데이터가 로봇 학습 자산 안에서 차지하는 자리는 로봇 학습 데이터 피라미드에서 각각 다뤘다.
7.3가장 잘 쓴 철회 조항도 가중치 앞에서 멈춘다
이 공백이 문서 위에서 어떻게 생기는지를 보여 주는 실제 사례가 있다. 2026년 6월에 공개된 로봇 조작 데이터셋 HABIT은 사람이 함께 있는 환경에서 모은 1만 편 넘는 에피소드를 담는다. 사람의 신체와 옷차림, 제스처가 식별 가능한 형태로 녹화되기 때문에, 이 팀은 로봇 시연 데이터셋 중 드물게 참여자 철회권을 문서로 명문화했다. 서면 동의서와 전용 철회 채널을 두고, 공개 전 철회 요청에는 백업과 로컬 작업 사본까지 지운다. 공개 후 요청에는 세 가지를 약속한다. 저자가 관리하는 모든 미러에서 14영업일 안에 제거하고, 향후 재배포에서 영구히 제외하며, 내부 학습·평가 파이프라인에서도 제거한다. 저자들은 한계도 스스로 적는다. 철회 요청 전에 제3자가 이미 내려받은 사본은 회수할 수 없다는 것이다.
그런데 약속된 세 가지를 세어 보면 전부 데이터셋과 파이프라인의 이야기다. 이미 그 시연으로 학습을 마친 정책 가중치에 대해서는 한 글자도 없다. 내부 학습·평가 파이프라인에서 제거한다는 조항은 앞으로의 학습 실행에 그 에피소드가 들어가지 않는다는 뜻이지, 이미 나온 체크포인트에서 그 시연의 영향이 사라진다는 뜻이 아니다. 공교롭게도 이 데이터셋의 검증 백본 중 하나가 감사 논문이 측정한 바로 그 π₀.₅다.
이것은 그 팀의 부주의가 아니다. HABIT은 오히려 예외적으로 성실하다. 독립 윤리 검토자를 두고, 동의 범위를 넘어서까지 얼굴을 흐리고, 참여를 거부해도 인사평가에 불이익이 없다는 것을 서면으로 보장했다. 요점은 가장 잘 쓴 조항이 여기까지라는 것이다. 데이터셋 경계 너머에서 무슨 일이 일어나는지를 말할 언어를 업계가 아직 갖지 못했다.
계약 쪽에서도 같은 구조가 반복된다. 종료 조항은 데이터를 회수하지만 그 데이터로 학습한 정책은 계속 돌아간다. 이때 내놓을 수 있는 증빙은 대개 로그다. 해당 레코드를 삭제했다는 기록이다. 이 논문이 보여 주는 것은 그 로그가 정책에 대해서는 아무것도 말하지 않는다는 사실이다. 말하려면 재학습본이라는 대조군이 있어야 하고, 대조군은 미리 준비된 인프라 없이는 만들어지지 않는다. 계약이 끝난 뒤 학습된 맥락이 어떻게 남는지는 디지털 트윈 데이터 거버넌스에서 다룬 문제와 같은 자리다.
필요한 것을 논문에서 그대로 뽑아내면 세 가지로 정리된다.
- 에피소드 식별자 수준의 계보. 무엇을 뺄지 지목할 수 있어야 한다. 논문의 삭제 요청도 행동 라벨이 아니라 에피소드 인덱스로 대상을 지목한다. 이름표 없는 기억은 지울 수 없다는 결론과 정확히 같은 조건이다.
- 재현 가능한 학습 레시피. 시드와 설정과 데이터 분할이 고정돼 있지 않으면 대조군을 여러 벌 만들 수 없다. 한 벌로는 바닥값이 나오지 않는다.
- 감사용 유지 세트와 짝지어진 비회원 풀. 멤버십 감사에는 조건이 맞춰진 비회원이 필요하고, 이것은 요청이 도착한 뒤에는 만들 수 없다.
7.4감당 가능한가는 정책 규모에 따라 답이 갈린다
이 논문이 실무에 남기는 것은 감사 방법이 아니라 전제 조건이다. 저자들은 자기 방법이 요구하는 것이 단 둘뿐이라고 적는다. 학습 데이터가 무엇인지 알려져 있을 것, 그리고 학습 절차를 다시 돌리는 일이 감당 가능할 것. 이 두 조건을 갖추지 못한 조직은 이 감사를 실행조차 할 수 없다.
그런데 두 번째 조건이 정책 규모에 따라 크게 갈린다. 논문의 헤드라인 방법인 열아홉 벌 컨포멀 검정이 가장 가벼운 정책군에서만 실행된 것도 우연이 아니다. 논문은 재학습 비용의 숫자를 대지 않으므로, 아래는 공개된 학습 벤치마크로 페블러스가 계산한 추산이다.
LeRobot 공식 문서와 제3자 재현 보고를 기준으로 잡으면, 8천만 파라미터급 ACT 정책 한 벌 학습에 단일 고성능 GPU로 한 시간에서 네 시간쯤 든다. 열아홉 벌이면 19에서 76 GPU시간, 워크스테이션 한 대로 주말 안에 끝나는 규모다. 반면 3B 규모 π₀.₅의 LoRA 재적합은 제3자 재현 보고에서 A100 여덟 장에 20시간, 곧 160 GPU시간쯤으로 잡힌다. 같은 열아홉 벌을 만들면 3천 GPU시간대가 되어 두 자릿수 배로 벌어진다. 실제로 논문의 π₀.₅ 팔은 재적합 3벌에 그친다. 가정과 출처가 다른 값을 곱한 추산이므로 자릿수 감각으로만 읽어야 한다.
이 추산이 대략이라도 맞는다면, "대조군을 만들 수 있는가"라는 질문의 답이 정책 규모에 따라 갈린다는 뜻이 된다. 프런티어 규모로 갈수록 감사는 비싸지고, 정작 삭제 요청이 걸릴 확률이 높은 것은 큰 데이터로 학습한 큰 정책이다. 행동 데이터가 왜 돈으로 되사올 수 없는 자산인지는 피지컬 AI 데이터 격차에서 다뤘는데, 삭제 쪽에서도 같은 비대칭이 작동한다.
재학습을 감당 가능하게 만들려는 설계가 새로운 발상은 아니다. 2021년의 SISA는 데이터를 여러 샤드로 나눠 독립적으로 학습시키고 슬라이스마다 체크포인트를 남긴다. 삭제 요청이 오면 해당 슬라이스를 가진 구성 모델 하나만 마지막 체크포인트부터 다시 학습시키면 된다. 삭제를 사후 대응이 아니라 사전 아키텍처 결정으로 본 것이다. 대가도 알려져 있다. 샤드를 격리하면 정보 통합이 줄어 성능이 내려갈 수 있고, 체크포인트 저장 비용이 늘며, 규모가 커지면 샤드 안에서의 재학습 비용도 무시하기 어려워진다. SISA를 쓰면 해결된다는 말이 아니라, 감당 가능성을 설계로 만들려는 시도가 5년 전에 이미 있었고 그 대가가 무엇인지도 이미 문서화돼 있다.
규제 쪽에서도 구조가 비슷한 발언이 나온 적이 있다. 유럽 개인정보보호이사회가 2024년 12월에 채택한 AI 모델 관련 의견은, 개인정보를 처리한 모델이 자동으로 익명이 되는 것은 아니며 익명이라는 주장만으로는 부족하고 감독기관이 실제 달성 여부를 평가할 재량을 갖는다고 밝혔다. 지웠다는 말과 지웠다는 증거는 다르다는 구조가 이미 다른 맥락에서 언급된 셈이다. 다만 이것은 개인정보와 익명성에 관한 의견이지 로봇 시연 언러닝에 관한 것이 아니다. 규제기관이 재학습 대조군을 요구한다는 식으로 읽으면 명백한 오독이다.
Editor's Note. 이 감사가 실행 가능해지려면 계보가 에피소드 단위로 붙어 있고, 학습이 결정론적으로 재현되며, 유지와 삭제의 분할이 기록으로 남아 있어야 한다. 이것은 컴플라이언스 부서의 서류 작업이 아니라 데이터 인프라의 설계 사양이고, 페블러스가 다루는 문제군에 속한다. 감사 도구를 파는 자리가 아니라 감사가 가능한 상태를 만드는 자리라고 적어 두는 편이 정확하겠다. 그 상태가 없으면 어떤 언러닝 연산자를 도입해도 "지웠다"를 말할 근거가 생기지 않는다.
참고문헌
1차 출처 · 언러닝과 감사
- 1.Li, J., Zhang, Y., Fei, Y., Dong, K., Zhu, X., Liu, H., & Tao, J. "Rethinking Demonstration Unlearning in Imitation Learning for Robotics." arXiv:2608.20784v1, 2026년 8월 21일 제출. CC BY 4.0. 동료심사 전 프리프린트. 이 보고서의 1차 출처.
- 2.Wang, H., Lei, J., Li, D., Liu, B., Zheng, M., Li, M., Zhang, R., & Fan, Z. "Behavior Uncloning: Distilling Mode Redirection into Policy Weights without Inference-Time Steering." arXiv:2606.29201, 2026년 6월 28일. MoRE 연산자, 배포 성공률 평균 44%p 개선의 출처.
- 3.Ranjan, R., & Polyzou, A. "VLA-Forget: Vision-Language-Action Unlearning for Embodied Foundation Models." arXiv:2604.03956. KnowFM 2026 (ACL 워크숍).
- 4.Goel, S., Prabhu, A., Sanyal, A., Lim, S.-N., Torr, P., & Kumaraguru, P. "Towards Adversarial Evaluations for Inexact Machine Unlearning." arXiv:2201.06640. EU-k와 CF-k 베이스라인의 원 출처.
- 5.Kurmanji, M., Triantafillou, P., Hayes, J., & Triantafillou, E. "Towards Unbounded Machine Unlearning (SCRUB)." arXiv:2302.09880. NeurIPS 2023.
- 6.Bourtoule, L., Chandrasekaran, V., Choquette-Choo, C. A., Jia, H., Travers, A., Zhang, B., Lie, D., & Papernot, N. "Machine Unlearning (SISA)." IEEE S&P 2021, pp. 141–159. arXiv:1912.03817.
- 7.Carlini, N., Chien, S., Nasr, M., Song, S., Terzis, A., & Tramèr, F. "Membership Inference Attacks From First Principles." IEEE S&P 2022. arXiv:2112.03570. 낮은 오탐률 영역을 봐야 한다는 논지의 출처.
- 8.Shokri, R., Stronati, M., Song, C., & Shmatikov, V. "Membership Inference Attacks against Machine Learning Models." IEEE S&P 2017. arXiv:1610.05820.
- 9.Gong, C., Li, K., Yao, J., & Wang, T. "TrajDeleter: Enabling Trajectory Forgetting in Offline Reinforcement Learning Agents." NDSS 2025. arXiv:2404.12530. 이 보고서는 이 연구를 1차 출처의 요약을 통해서만 인용했다.
감사 대상이 된 정책 클래스
- 10.Zhao, T. Z., Kumar, V., Levine, S., & Finn, C. "Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT)." RSS 2023. arXiv:2304.13705. 행동을 청크 단위로 회귀하는 트랜스포머 정책.
- 11.Chi, C., Feng, S., Du, Y., Xu, Z., Cousineau, E., Burchfiel, B., & Song, S. "Diffusion Policy: Visuomotor Policy Learning via Action Diffusion." RSS 2023. arXiv:2303.04137.
- 12.Black, K. et al. "π₀: A Vision-Language-Action Flow Model for General Robot Control." arXiv:2410.24164. 본 논문이 감사한 π₀.₅는 이 계열의 3B 플로우매칭 VLA다.
데이터셋 · 철회 조항
- 13.Song, J., Jeong, S., Jeon, B., Kim, S., Seo, M., Son, H., & Lee, K. "HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation." arXiv:2606.31682v1, 2026년 6월 30일. CC BY 4.0. 부록 G "Right to withdraw"가 본문에 인용한 철회 조항의 출처.
- 14.Open X-Embodiment Collaboration. "Open X-Embodiment: Robotic Learning Datasets and RT-X Models." arXiv:2310.08864. 코드 Apache 2.0, 데이터 CC BY 4.0. 60개 데이터셋을 합친 연합 구조.
- 15.Khazatsky, A. et al. "DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset." RSS 2024. arXiv:2403.12945. 7.6만 궤적, 13개 기관, 12개월 수집.
정책 · 규제
- 16.European Data Protection Board. "Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models." 2024년 12월 17일 채택. 이 보고서는 이 의견을 개인정보·익명성 맥락의 구조적 유비로만 인용했다.