Executive Summary

주요 수치

출처: Yuqiao Xu, Erman Ayday, Seeing Less Is Not Seeing Safely: Privacy Leakage from Task-Scoped Robot Perception Exports, arXiv:2609.03055v1(2026-09-02)

로봇 프라이버시 연구는 오랫동안 센서 쪽을 봤습니다. 카메라를 흐리고, 민감한 물체를 가리고, RGB 스트림을 로컬에서 처리한 뒤 버리는 방법들입니다. 이 논문이 겨눈 곳은 그다음 칸입니다. 인지를 끝낸 로봇이 만들어 낸 지도, 자유공간 구조, 물체 기하, 목표 참조 같은 구조화 표현이 로봇 밖으로 나가는 순간입니다. 저자들은 이 지점에 표현 내보내기 경계를 세우고, 경계를 넘는 것은 해당 과업에 필요한 만큼만 조립한 표현이어야 한다는 틀을 제안합니다. 이름은 과업 기능 인지 증류(TFPD)입니다.

위협 모델은 보수적으로 잡혀 있습니다. 공격자는 경계를 넘어간 공개 표현 전체를 봅니다. 표현의 스키마도, 그 표현을 만든 변환 방식도, 그것이 어떤 과업을 위한 것인지도 안다고 가정합니다. 그 표현을 정상적으로 소비하는 서비스라면 인터페이스를 이해할 수밖에 없고, 그 서비스가 호기심을 갖거나 뚫리면 같은 지식을 갖게 되기 때문입니다. 형식을 감추는 것에 기대지 않겠다는 선언이기도 합니다. 반대로 원본 센서 스트림과 로컬에만 남는 필드는 공격자가 보지 못하고, 로컬 인지 스택 자체는 신뢰한다고 둡니다.

경계를 넘어간 표현은 세 축으로 프로파일링됩니다. 과업 유용성은 그 표현으로 일이 되는지를 재고, 직접 노출은 무엇을 명시적으로 내보냈는지를 적고, 잔여 추론은 명시적으로 내보내지 않았는데도 남은 구조에서 복원되는 정보를 잽니다. 잔여 추론은 다섯 갈래로 나뉩니다. 방 유형 추론, 민감물체 존재 추론, 익명 기하에서 물체 범주를 복원하는 추론, 표현을 갤러리의 어느 씬과 맞출 수 있는지를 보는 연결가능성, 목표 참조에서 목표 범주를 되찾는 추론입니다. 다섯을 하나의 점수로 뭉치지 않고 벡터로 유지한다는 결정이 이 논문에서 가장 실용적인 부분인데, 뒤에서 볼 결과가 그 이유를 설명합니다.

이 논문이 하지 않는 일도 미리 분명히 적혀 있습니다. TFPD는 로컬 인지 스택이 뚫린 경우를 막지 못하고, 내보낸 표현이 아무 정보도 흘리지 않는다는 형식적 보장을 주지도 않습니다. 측정된 공격 성능은 평가한 공격자 아래에서의 잔여 위험이지 가능한 모든 추론의 상한이 아닙니다. 새 플래너나 새 충돌검사 알고리즘을 내놓은 것도 아니고, 런타임에 표현을 자동으로 골라 주는 장치도 없습니다. 음성이나 대화 기록 같은 사람과의 상호작용 채널은 아예 범위 밖입니다. 이 글이 다루는 것은 집을 보고 해석해서 만든 표현, 그 한 갈래입니다.

실험 무대는 AI2-THOR 가상 가정 씬 120개입니다. 훈련 80개, 검증 20개, 시험 20개로 씬 단위로 갈랐고, 검증과 시험 집합에는 네 개 방 계열에서 다섯 씬씩 넣었습니다. 같은 집이 훈련과 시험에 동시에 들어가지 않는다는 뜻입니다. 공격 모델은 훈련 데이터로 학습하고 검증 데이터로 고른 뒤 얼려서 시험에 들어갑니다. 주행 시험은 시험 씬마다 미리 정해 둔 출발점과 목표점 조합 50회씩, 스무 씬을 합쳐 1,000회입니다.

내비게이션 과업에서는 자유공간을 세 가지 방식으로 내보내 비교했습니다. 절대좌표를 그대로 내보내는 방식, 좌표를 정규화해 상대 기하와 연결성만 남기는 방식, 좌표와 거리를 다 버리고 노드와 엣지의 연결 그래프만 내보내는 위상 방식입니다. 세 방식의 주행 성적은 갈리지 않았습니다. 성공률 1.000, 경로 실현가능성 1.000, 평균 경로 비율 0.898로 셋이 같았고 계획 실패는 한 건도 없었습니다. 평가된 내비게이션 기준으로 보면 이 셋은 완전히 교체 가능한 설계입니다.

노출은 달랐습니다. 씬 연결가능성 Top-1은 절대좌표 0.970, 위상 0.782, 정규화 0.532로 나왔습니다. 무작위로 찍었을 때의 기준선이 0.050이니 셋 다 기준선보다 한참 위입니다. 그중 정규화 표현은 절대좌표보다 43.8퍼센트포인트 낮습니다. 좌표에 정규화 한 번을 거는 것만으로 이만큼 내려갔고, 그 대가로 치른 주행 성능은 없습니다.

연결가능성이라는 말이 어디까지 가리키는지는 짚고 가야 합니다. 이 수치는 같은 공개 표현에 통제된 섭동을 준 질의를 갤러리에서 맞추는 실험입니다. 서로 다른 방문에서 독립적으로 다시 수집한 관측을 맞춘 것이 아닙니다. 저자들은 한계 절에서 이 점을 짚으며 실제 가정의 재식별로 해석하지 말라고 적어 두었습니다. 그러니 이 수치를 집이 특정됐다는 말로 옮기면 안 됩니다. 잰 것은 씬을 특정하기 쉬운 정도이고, 주행 성적이 같은 설계들 사이에서 그 정도가 두 배 가까이 갈렸습니다.

정보를 더 많이 지울수록 안전해진다고 생각하기 쉽습니다. 위상 표현은 좌표도, 절대적인 크기도, 엣지의 거리도 다 버립니다. 정규화 표현은 상대적인 기하 구조를 남깁니다. 지운 양만 보면 위상이 더 많이 지웠습니다. 그런데 AI2-THOR 실험에서 세 갈래 공격 모두 순서가 같았습니다. 정규화가 가장 낮고, 그다음이 위상이고, 절대좌표가 가장 높습니다.

방 유형 추론의 macro-F1은 정규화 0.479, 위상 0.558, 절대좌표 0.736입니다. 최빈 클래스 기준선 0.100과 견주면 셋 다 방 정보를 상당히 남기고 있습니다. 민감물체 존재 추론은 정규화 0.412, 위상 0.567, 절대좌표 0.928로, 기준선 0.444를 넘지 못한 것은 정규화 하나뿐입니다. 다만 저자들은 이 순서를 확정적인 것으로 쓰지 않습니다. 속성 추론의 신뢰구간이 서로 겹치기 때문에, 점추정치에서 관찰된 순서일 뿐 쌍별 유의성 결과는 아니라고 명시했습니다.

같은 실험을 다른 씬 분포에서 돌리면 이 순서가 유지되지 않습니다. ProcTHOR 하우스 120개에서 같은 프로토콜로 1,000회를 다시 돌린 결과, 세 표현은 여기서도 성공률 1.000과 경로 실현가능성 1.000, 동일한 평균 경로 비율 0.879를 기록했습니다. 과업은 여전히 등가입니다. 연결가능성은 절대좌표 1.000, 정규화 0.573, 위상 0.497로 나왔습니다. 절대좌표가 가장 위험하다는 것만 남고, 정규화와 위상의 순서는 뒤집혔습니다. 다만 뒤집힌 두 값의 신뢰구간은 서로 겹칩니다. 저자들은 그래서 두 분포의 세 갈래 순서 어느 것도 표현 추상화의 보편 성질로 읽지 않겠다고 적었습니다. 이 재현은 새 순위를 세워 주지 않습니다. 순위를 설계 근거로 삼을 수 없다는 것만 분명해집니다.

ProcTHOR가 독립적인 검증은 아닙니다. 같은 AI2-THOR 실행 엔진을 쓰기 때문에 저자들도 이것을 교차 분포 재현이라고만 부릅니다. 그래도 어느 표현이 더 안전한지의 순위가 환경 구조에 따라 달라진다는 것은 확인됩니다. 그러니 어떤 표현이 보편적으로 더 낫다는 규칙을 이 실험에서 끌어낼 수 없습니다. 논문 제목이 말하는 바가 이것입니다. 덜 보이게 만든다고 안전해지지는 않습니다.

목표 탐색 과업은 구조가 다릅니다. 로봇은 보호된 로컬 경계 안에서 목표가 무엇인지 먼저 확정하고, 밖으로는 이미 확정된 그 목표를 가리키는 참조만 내보냅니다. 참조를 어떻게 쓸지가 설계 선택입니다. 비교한 참조 방식은 다섯 가지입니다. 목표 라벨을 그대로 쓰는 방식, 좌표로 가리키는 방식, 영역으로 가리키는 방식, 익명 식별자를 붙이는 방식, 계획 그래프의 노드를 가리키는 방식입니다.

다섯 방식의 목표 달성 성공률은 0.995로 같았습니다. 대상 범주 추론은 갈렸습니다. 아래 표가 그 갈림과, 갈리지 않은 두 채널을 함께 담고 있습니다.

왼쪽 세 열만 읽으면 깨끗한 승리처럼 보입니다. 목표의 이름을 영역으로 바꾸는 것만으로 대상 범주 추론이 1.000에서 0.077로 내려앉았고, 로봇이 목표를 찾아가는 성적은 0.995 그대로입니다. 계획 그래프 노드는 0.053으로 더 낮습니다. 다만 기준선이 0.00482이므로 어느 쪽도 완전히 0이 되지는 않았습니다. 저자들도 대상 의미 정보의 잔여 추론이 사라진 것은 아니라고 적었습니다.

오른쪽 두 열이 이 실험의 진짜 교훈입니다. 방 유형 추론은 다섯 방식 모두 0.644이고, 민감물체 존재 추론은 다섯 방식 모두 0.913입니다. 목표 참조를 아무리 바꿔도 이 두 채널은 꿈쩍하지 않았습니다. 목표가 무엇인지는 가렸지만 어느 방에 있는 집인지, 그 집에 민감한 물건이 있는지는 그대로 읽힙니다. 잔여 위험을 하나의 점수로 뭉치지 말고 벡터로 두자는 1절의 설계 결정이 여기서 값을 합니다. 평균을 냈다면 이 표는 개선으로 보였을 것입니다.

이 결과가 닿는 범위는 평가된 목표 탐색 기준까지입니다. 다섯 참조 방식이 이후의 조작이나 파지 과업에서도 서로 교체 가능하다는 뜻은 아니라고 저자들이 못 박아 두었습니다. 물건을 집으려면 자세와 방향, 파지에 관련된 기하가 더 필요하고, 그 정보를 실으면 노출 계산이 다시 시작됩니다.

세 번째 과업인 충돌 검사에서는 방향이 또 달랐습니다. 로컬 경계 안에서 바닥과 벽, 천장, 창문, 조명 스위치 같은 구조 요소를 걸러 내고, 남은 장애물을 축 정렬 직육면체의 중심과 크기로만 내보냅니다. 의미 라벨도, 물체 식별자도, 방향도 나가지 않습니다. 그런데 이 익명 기하만으로 물체 범주 추론 macro-F1이 0.704가 나왔습니다. 시험 물체 기록 848개를 놓고, 사전에 얼려 둔 92개 범주 가운데 실제로 90개가 등장하는 판입니다. 최빈 클래스 기준선은 0.00160입니다. 이름표를 지워도 상자의 크기와 위치가 무엇인지를 상당히 말해 줍니다.

그래서 저자들은 기하를 뭉개 봤습니다. 중심과 크기의 모든 성분을 소수점 첫째 자리로 반올림하는 조악화입니다. 물체 범주 추론은 0.556으로 내려갔습니다. 여기까지는 예상대로입니다. 대가와 부작용이 함께 나왔습니다. 충돌 검사 F1이 1.000에서 0.950으로 떨어졌고, 방 유형 추론은 조악화 전후 모두 1.000으로 꿈쩍하지 않았으며, 민감물체 존재 추론은 0.844에서 0.928로 오히려 올라갔습니다. 이 세 결과를 근거로 저자들은 조악화를 일반적인 프라이버시 개선으로 해석하지 않겠다고 명시했습니다.

세 과업을 나란히 놓으면 같은 모양이 반복됩니다. 성능 지표는 설계 선택들을 구분해 주지 못하고, 프라이버시 지표는 채널마다 다른 방향으로 움직입니다. 한 채널을 고쳤다고 전체가 나아지지 않고, 더 추상적인 표현이 항상 더 안전하지도 않습니다. 그러니 어떤 표현이 안전한지를 미리 정해 놓은 규칙으로 판정할 수 없고, 과업마다 여러 위험을 따로 재는 수밖에 없다는 것이 이 논문의 결론입니다.

피지컬 AI 데이터 파이프라인을 설계하는 사람이 읽으면 물음이 셋 남습니다. 아래 세 가지는 논문에 없습니다. 논문이 잰 것을 우리 파이프라인에 옮겨 놓았을 때 생기는 질문입니다.

• 우리 로봇이 플래너와 클라우드와 로그로 내보내는 필드 목록이 문서로 남아 있는가. 그 목록을 정할 때 근거는 성능이었는가, 아니면 노출을 따로 재고 정했는가.
• 노출을 잰다면 몇 갈래로 재고 있는가. 하나의 점수로 뭉치면 이 논문의 목표 영역 사례처럼 개선된 채널이 그대로인 채널을 가려 버립니다.
• 우리가 쓰는 공격 모델이 실제로 공개되는 표현 전체를 쓰고 있는가. 33개 조합 중 26개가 그렇지 않았고, 그 차이 하나가 0.405와 0.928을 갈랐습니다.

• 1.Xu, Y., Ayday, E. (2026). "Seeing Less Is Not Seeing Safely: Privacy Leakage from Task-Scoped Robot Perception Exports." arXiv:2609.03055v1. — 케이스웨스턴리저브대, TFPD(Task-Functional Perception Distillation) 프레임워크와 AI2-THOR·ProcTHOR 실험.