Executive Summary

주요 수치

앞의 둘은 복제 실험에서 갈린 두 셈법의 결과입니다. 뒤의 둘은 실제 승인 성적과, 그 성적이 가려 놓은 과제 하나입니다.

출처: arXiv 2609.01662 (2026-08-31) · HABIT 데이터셋 60개 에피소드, 720건 오프라인 평가

실험대는 다른 팀이 공개한 데이터셋입니다. 사람과 로봇이 물건을 주고받는 장면을 모은 HABIT에는 여섯 가지 과제, 696개 에피소드, 카메라 다섯 대의 동기화 영상이 담겨 있습니다. 이미지 한 장마다 프롬프트를 네 가지로 바꿔 물으면 카메라 한 대가 시점 하나에서 답 네 개를 냅니다. 저자들은 모델을 다시 학습시키지 않고 이 출력들을 어떻게 묶어 셀지만 바꿔 가며 실험했습니다.

승인 실험에는 개발용 82개와 겹치지 않는 에피소드 60개를 썼습니다. 에피소드마다 시간 구간 두 개에 실제 대상 하나와 대조용 대상 다섯 개를 놓아 720건의 판정을 만듭니다. 카메라 정체성을 출처의 경계로 삼아 한 이미지에서 나온 프롬프트 변형 네 개를 한 그룹으로 묶었을 때, PACT는 Qwen3-VL-32B에서 참조 행동과 일치하는 후보 57건 중 47건을, Qwen3-VL-8B에서는 53건 중 43건을 승인했습니다. 참조와 어긋난 승인은 두 체크포인트 모두에서 관측되지 않았습니다.

여기에 복제를 걸었습니다. 한 카메라 안에서 출력을 그대로 늘려 총 배수를 여덟으로 만드는 조작입니다. 그렇게 올려도 체크포인트마다 나오는 720건의 최종 유형 응답은 그대로 남았습니다. 선택된 출력을 전부 한 번씩 더 넣어도 증거 예산과 사후확률, 시점 비교가 모두 움직이지 않았습니다.

같은 조작을 낱개 계수 방식에 걸면 그림이 달라집니다. 출력마다 질량 2를 주는 이진 증거 매핑에서 이벤트 창 하나의 증거 예산이 최대 280단위까지 올라갔습니다. 다만 저자들은 이 연산점에서는 그렇게 부푼 예산도 최종 이벤트 결정을 바꾸지는 않았다고 덧붙이며, 부푼 예산을 곧 무너진 판정으로 읽지 말라는 선을 그었습니다.

탐지를 더 정교하게 하면 되지 않을까요? 신뢰도 점수를 잘 설계하고 출력 사이의 충돌을 재고 품질 지표를 붙이면 복제본 정도는 걸러낼 수 있을 것 같습니다. 논문의 첫 번째 명제가 그 기대를 정면으로 다룹니다.

가장 단순한 경우를 놓고 보겠습니다. 두 개의 입력이 있고, 각각 똑같이 생긴 값 두 벌을 내놓습니다. 첫 번째 입력에서 둘째 값은 첫째 값을 그대로 베낀 복제본이고 부모 출처도 같습니다. 두 번째 입력에서 둘째 값은 값만 우연히 같을 뿐 별개의 출처에서 왔습니다. 값만 읽는 함수는 두 경우에서 완전히 같은 다중집합을 받으므로 반드시 같은 답을 냅니다. 저자들은 이것을 값만으로는 구별 불가능하다는 명제로 적었습니다.

품질 점수를 아무리 정교하게 만들어도 이 문제는 풀리지 않습니다. 지지하는 출력이 아무리 많아도 그것이 몇 개의 출처 그룹에서 왔는지는 별도로 기록되어야 합니다. 국소 신뢰도가 높고 충돌이 낮아도 마찬가지입니다. 셀 수 있음은 값이 아니라 그룹 소속에서 따라오기 때문입니다.

다만 이 함정을 이 논문이 처음 찾아낸 것은 아닙니다. 저자들은 관련 연구 절에서 선행 정식화를 직접 나열합니다. 교차 공분산을 모를 때 보수적으로 추정하는 공분산 교차법, 정보가 흐르는 구조를 따져 같은 정보의 재유입을 막는 data-incest 계열, 겹칠 수 있는 증거들에 대해 멱등하게 작동하는 드누(Denœux)의 신중 규칙, 독립 의견과 종속 의견의 융합을 갈라 놓은 주관 논리가 그것입니다. 저자들은 이들을 근거 없는 누적을 막아 온 실질적 선례라고 적었습니다. PACT가 새로 한 일은 그 위에 주어진 분할이라는 명시적 변수를 얹고, 그 분할 아래에서 허용되는 가장 큰 증거 예산이 무엇인지를 특정한 것입니다.

PACT가 하는 일은 두 줄로 정리됩니다. 먼저 어떤 출력들이 같은 관측에서 나왔는지를 외부에서 분할로 지정받습니다. 같은 그룹에 속한 증거끼리는 좌표별 최솟값만 남기고, 서로 다른 그룹의 몫만 더합니다. 그룹 안에 복제본을 몇 개를 넣든 최솟값은 커지지 않으므로 복제는 예산을 늘리지 못합니다.

이 규칙은 앞 절의 로봇 데이터 말고 한 곳에서 더 시험받았습니다. 저자들이 출처 관계를 자기 손으로 지정할 수 있게 만든 시뮬레이션 벤치마크입니다. 장면 묶음 48개 안에 31,200건의 평가가 들어 있고, 출처는 언어와 기하와 경로 위험 세 가지입니다. 기하와 위험은 같은 장면 맥락을 부모로 공유하므로 한 그룹이 되고 언어는 따로 섭니다. 이 벤치마크가 있어야 같은 의견을 다른 분할에 얹어 보는 비교가 가능합니다. 뒤에 나오는 24,000건과 96.4%도 여기서 나온 수치입니다.

그룹에 구성원이 하나뿐일 때 그 값을 그대로 보존하고, 새 구성원을 넣어도 예산이 늘지 않아야 합니다. 이 두 요건을 동시에 만족하는 규칙 가운데 가장 큰 예산을 주는 것이 좌표별 최솟값이라는 사실을 저자들이 보였습니다. 최솟값은 그래서 임의로 고른 규칙이 아닙니다. 좌표별 최댓값을 쓰는 대조 실험도 함께 돌렸습니다. 최댓값은 완전 복제에는 끄떡없지만 새 구성원 삽입에는 예산이 올라가서, 기하와 위험이 관측된 24,000건 가운데 96.4%에서 그룹 예산이 커졌습니다. 복제가 완전히 똑같지 않을 때도 최솟값 쪽은 버팁니다. 섭동 크기를 네 단계로 바꿔 가며 돌린 960건의 비교에서 거의 같은 값을 새로 끼워 넣어도 예측된 행동 계약은 하나도 바뀌지 않았고, 사후확률이 움직인 폭은 최대 0.0109였습니다.

그룹마다 대표 하나만 남기면 되지 않느냐는 절충안도 검증 대상이었습니다. 대표 하나로는 그 그룹의 최솟값이 일반적으로 복원되지 않는다는 것이 저자들의 답입니다. 지정된 출처 하나만 쓰면 승인 전 위험도 지표가 0.8639로, 최솟값을 취한 0.6294보다 나빴습니다. 승인 뒤에도 0.1668 대 0.0861로 벌어집니다. 목표 커버리지 0.13에서 대표 방식은 4,051건 가운데 246건을 잘못 승인했고 PACT는 4,043건 가운데 하나도 없었습니다. 대표로 뽑힌 출처의 값이 그 그룹의 좌표별 최솟값과 같다는 보장이 없기 때문입니다.

3.1거부 대신 보류·확인·대체로 나눈다

증거를 다 모았다고 행동이 허가되지는 않습니다. PACT는 점수로 후보를 한 번 거른 뒤 네 가지 조건을 순서대로 봅니다. 명령과 어긋나지 않는지, 출처가 유효한지, 위험도가 그 행동을 지지하는지, 완전한 출처 그룹이 몇 개나 그 후보를 받치는지입니다. 처음 걸린 조건이 응답의 종류를 정합니다. 차례대로 보류, 대체, 보류, 확인 요청이고, 넷을 모두 통과해야 승인입니다.

마지막 조건에서 시뮬레이션 벤치마크의 설정이 흥미롭게 걸립니다. 저자들은 서로 다른 완전한 그룹 세 개의 지지를 요구했는데, 벤치마크의 분할은 언어를 한 그룹으로 두고 기하와 경로 위험을 다른 한 그룹으로 묶은 두 그룹짜리였습니다. 세 출처가 만장일치로 같은 행동을 지지해도 그룹은 둘뿐이므로 시스템은 승인 대신 확인을 요청합니다. 만장일치가 곧 통과권이 아니라는 설계가 숫자 하나에 그대로 드러납니다.

실제 로봇 데이터로 넘어가면 승인 조건에 신호가 둘 더 붙습니다. 지금 다루는 대상이 그 대상이 맞는지를 보는 타깃 정체성과, 지금이 그 행동을 할 시점인지를 보는 이벤트 근접성입니다. 두 신호는 투표하듯 더해지지 않고 각각 충족해야 하는 요건으로 들어갑니다. 아래는 Qwen3-VL-8B에서 신호를 하나씩 붙여 본 결과입니다.

앞의 표에서 말하는 일치는 생각보다 좁은 뜻입니다. 데이터셋이 정답으로 지정해 둔 행동과 맞았다는 뜻이지 로봇이 과제를 실제로 해냈다는 뜻이 아닙니다. 저자들도 이 연구가 재는 것은 물리적 성공이 아니라 참조 일치라고 적었고, 과제 성공과 사람이 지는 응답 부담과 체감 안전은 폐루프 실험과 행동 연구로 따로 확인해야 한다고 남겨 두었습니다.

승인 47건과 오탐 0건이라는 성적 바로 다음 문장에서 저자들은 그 성적이 무언가를 가리고 있다고 씁니다. 여섯 과제 중 호텔 수건(Hotel Towel) 과제에서 PACT는 준비가 끝난 열 개 에피소드를 두 체크포인트 모두에서 하나도 승인하지 못했습니다. 회수율 0입니다. 평균으로 묶으면 이 경계는 보이지 않습니다.

결측 출처를 어떻게 다룰지도 성적을 크게 흔듭니다. 기대한 출처가 관측되지 않았을 때 그 자리를 영벡터로 남겨 두는 것이 논문의 기본 규약인데, 이 규약에서 승인 전 위험도 지표는 0.6294, 승인 후는 0.0861이었습니다. 그 자리를 계산에서 빼거나 별도 그룹으로 옮기는 세 가지 대안에서는 각각 0.7748과 0.1875로 나빠졌습니다. 두 번째 값은 비교 대상인 중첩 디리클레의 0.1479보다도 나쁩니다. 설계 선택 하나가 비교 우위를 통째로 뒤집을 수 있다는 사실을 저자들이 직접 보고했습니다.

모든 출처가 관측된 구간에서도 순위가 고정되지 않습니다. PACT 자체 점수로 매기면 PACT가 앞서지만, 사후확률 최고값이라는 공통 점수로 다시 매기면 중첩 디리클레와의 차이가 줄고 단순한 곱 융합이 유리해집니다. 어떻게 묶어 셀지와 무엇으로 순위를 매길지는 서로 다른 자리에서 내리는 결정이고, 한쪽이 좋다고 다른 쪽까지 따라오지는 않습니다.

승인 조건이 실제로 맡은 몫의 범위도 저자들이 따로 쟀습니다. 저자들은 신뢰도는 높은데 답은 틀린 동의를 일부러 심어 둔 2,400건을 벤치마크 안에 따로 만들어 두었습니다. 그룹 뒷받침 조건을 끄면 이 2,400건이 전부 승인되고 켜면 모두 확인 요청으로 넘어갑니다. 그런데 이 2,400건을 빼고 남은 28,800건에서는 그 조건을 켜든 끄든 위험도 지표가 달라지지 않았습니다. 반면 출처를 그룹으로 묶어 세는 쪽은 같은 구간에서 지표를 0.1250에서 0.0693으로 낮췄습니다. 묶어 세는 일과 몇 개가 받쳐야 하는지를 정하는 일은 서로 다른 몫을 합니다. 뒤쪽은 평상시 성적을 올리는 쪽이 아니라 함정에 대한 응답을 미리 정해 두는 장치이고, 그 함정 구간 자체가 인위적 구성이라는 점도 저자들이 명시했습니다.

저자들은 이 경고를 말로만 남기지 않고, 분할을 일부러 망가뜨려 가며 그 대가를 쟀습니다. 관계의 절반을 틀리게 준 상태에서 같은 뿌리를 갈라 놓거나 엉뚱한 부모를 붙이면 전체 오류율이 0.0492였습니다. 아무 분할도 쓰지 않고 낱개로 센 기준의 0.0875보다 43.8% 낮은 값입니다. 다만 오염을 100%까지 올리면 그 이점이 정확히 사라져 기준과 같아졌습니다. 틀린 분할이 없는 분할보다 나은 것은 어느 선까지이고, 그 선을 넘으면 남는 이득이 없습니다.

이 확장은 논문의 논의 절에 이미 있습니다. 저자들은 하나의 입력에서 여러 추론 경로를 뽑는 self-consistency와, 관련된 언어모델들이 서로 닮은 오류를 낸다는 연구를 나란히 인용한 뒤, 출력들이 같은 파생을 공유한다면 출력의 개수만으로 따로 셀 수 있는 지지로 취급해서는 안 된다고 씁니다. 한 이미지에 붙인 프롬프트 변형은 반복 추론이고 서로 다른 동기화 카메라는 별개의 취득이라는 이번 실험의 구분이, 언어모델 쪽에도 그대로 적용된다고 본 것입니다.

저자들은 카메라 정체성 대신 모델 계열로 묶어 보는 비교도 돌렸습니다. 비전-언어 체크포인트 여덟 종을 놓고 계열 라벨이 오류의 연관성을 잡아내는지 확인한 결과, 이 패널에서는 모델 계열 라벨도 출력의 유사도도 셀 수 있음을 뒷받침하지 못했습니다. 계열로 묶는 방식이 형편없는 후보였다는 뜻은 아닙니다. 오류가 함께 나는 정도로 105가지 쌍 분할의 순위를 매기면 계열 묶음은 일곱 번째였고, 그와 같거나 앞선 묶음은 아홉 개였습니다. 과제마다 같은 무게를 주면 순위는 스물두 번째로 내려갑니다. 데이터가 계열 분할을 유일한 답으로 지목하지는 않았다는 것이 정확한 서술입니다.

반대쪽으로 뭉개는 실수에도 대가가 있습니다. 여덟 종을 전부 한 그룹으로 합치면 계열 묶음 대비 증거 예산의 9.9%만 남고 정확도가 86.6%에서 76.3%로 떨어졌습니다. 그래서 계열 묶음은 구조에서 추론할 것이 아니라 시험해 볼 계수 선택이라고 저자들은 적었고, 분할은 끝까지 명시적으로 주어진 뒤 관측된 의존성에 비추어 검사됐습니다.

페블러스 블로그에서는 얼마 전 같은 논문을 다섯 번 읽힌 LLM의 답이 흔들린 실험을 다뤘습니다. 그 연구는 같은 모델을 더 돌리는 것보다 다른 모델의 답을 모으는 편이 사람 심사자와 더 잘 맞았다고 보고했습니다. 이번 논문은 그 위에 조건을 하나 얹습니다. 모델을 바꿨다는 사실만으로 서로 다른 관측이 되지는 않습니다. 무엇을 별개의 출처로 볼지는 여전히 사람이 선언하고 데이터로 확인해야 합니다.

읽어 주셔서 감사합니다. 논문 원문과 저자들이 공개한 코드는 arXiv 2609.01662와 GitHub 저장소에서 볼 수 있습니다. 저자 소속에는 맥길대와 UBC를 비롯한 대학 다섯 곳과 밀라 연구소, 그리고 NVIDIA가 함께 적혀 있고, 시뮬레이션 벤치마크는 NVIDIA Isaac Sim으로 만들어졌습니다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 9월 4일

원 논문 · 데이터셋 · 코드

• 1.Jin, Z., Zhang, H., Tang, Y., Hu, F., Dong, Z., & Shao, Y. (2026). "Not All Agreement Counts as Corroboration: Provenance-Conserving Multi-View Fusion for Typed Action Admission in Human–Robot Collaboration." arXiv:2609.01662.
• 2.Song, J., Jeong, S., Jeon, B., Kim, S., Seo, M., Son, H., & Lee, K. (2026). "HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation." arXiv:2606.31682.
• 3.Jin, Z. (2026). PACT 공식 저장소 — 코드·실험 설정·평가 리소스.

선행 정식화 · 관련 연구

• 4.Denœux, T. (2008). "Conjunctive and Disjunctive Combination of Belief Functions Induced by Non-Distinct Bodies of Evidence." Artificial Intelligence, 172(2–3), 234–264.
• 5.Jøsang, A., Diaz, J., & Rifqi, M. (2010). "Cumulative and Averaging Fusion of Beliefs." Information Fusion, 11(2), 192–200.
• 6.Wang, X., Wei, J., Schuurmans, D., Le, Q. V., Chi, E. H., Narang, S., Chowdhery, A., & Zhou, D. (2023). "Self-Consistency Improves Chain of Thought Reasoning in Language Models." The Eleventh International Conference on Learning Representations (ICLR).
• 7.Kim, E. M., Garg, A., Peng, K., & Garg, N. (2025). "Correlated Errors in Large Language Models." Proceedings of the 42nd International Conference on Machine Learning (ICML), 267, 30038–30066.