Executive Summary

AgentCIScope는 플랫폼이면서 시험지다. 공개된 개인정보 사건과 합성 사례를 실제로 실행되는 에이전트 과제로 바꿔 놓고, 에이전트가 메일과 문서와 캘린더를 오가며 그 과제를 수행하는 동안 어떤 정보가 어디로 흘러가는지를 기록한다. 규모는 이렇다. 212개의 공개 범위 계약, 936개의 실행형 과제, 그 안에 보호 대상으로 지정된 속성 2,771개. 속성 유형은 10개 범주 39종이고, 환경은 지메일·구글 독스·슬랙·세일즈포스·아틀라시안·캘린더·왓츠앱·페이팔·익스피디아·부킹·사내 시스템 11곳이다. 과제마다 다섯 번씩 돌려 56,160개의 실행 기록이 남았다.

수치를 더 보기 전에 깔아 둘 것이 둘 있다. 이 둘을 모르면 뒤에 나오는 숫자를 전부 잘못 읽는다.

1.1936개는 대리 에이전트에게서 이미 샌 과제만 모은 집합이다

첫째는 과제를 고른 방식이다. 연구진은 후보 과제를 그냥 쓰지 않았다. 대리 에이전트를 하나 세워 미리 돌려 본 다음, 그 대리 에이전트에게서 유출을 끌어낸 사례만 남겼다. 논문의 문장은 이렇다.

그래서 32.5~94.4%라는 숫자는 난이도를 올릴 대로 올린 조건에서 잰 상한치다. 일상 사용의 발생률과는 다른 값이다. 논문의 한계 절도 이 벤치마크가 대표성을 포기하고 난이도를 택했다고 스스로 적는다. 이 글은 어디에서도 이 수치를 "에이전트는 절반 넘게 샌다"는 뜻으로 쓰지 않는다. 다만 이 글의 논지는 항목 사이의 상대 격차에 걸려 있다. 격차는 같은 과제 집합 안에서 잰 비교라 이 선별의 영향을 덜 받고, 3절에서 보듯 선별을 거치지 않은 다른 데이터가 같은 순서를 다시 만들어 낸다.

1.2에이전트는 지켜야 할 목록을 건네받은 적이 없다

둘째가 이 글의 축이다. 이 시험에서 에이전트는 무엇이 보호 대상인지를 실행 시점에 한 번도 듣지 못한다.

채점은 사후에 이루어진다. 과제가 끝나면 심판 역할을 맡은 모델이 그 과제의 계약과 실행 기록을 나란히 놓고 대조한다. 계약에는 기본 지시와 참여자, 대상 환경, 보호 속성, 공개해도 되는 속성이 적혀 있다. 에이전트는 그 종이를 본 적이 없다. 그러니 이 시험이 잰 것은 명세를 지키는 능력이 아니다. 명세가 없을 때 기본값으로 무엇을 지키는가다.

▲ 페블러스 원본 도식(Fig. 재해석). 논문 §3.3의 "공개 범위 계약과 정책은 실행 중 시험 대상 에이전트에게 제공되지 않는다"를 구조로 옮겼다. 에이전트는 계약을 본 적이 없고, 계약은 과제가 끝난 뒤 심판 모델 단계에서만 실행 기록과 대조된다.

이 결과를 "취향은 보호 목록에 없어서 샜다"고 읽기 쉽다. 그것은 사실이 아니다. 이 벤치마크의 분류 체계에는 개인 취향도, 예약 내역도, 캘린더 일정도 보호 속성으로 버젓이 올라 있다. 84.7%라는 값의 분모도 "계약이 보호하라고 적어 둔 그 유형의 속성"이다. 즉 취향은 목록에서 빠져 있었던 것이 아니라, 목록에 올라 있었는데도 샌 것이다. 목록을 건네지 않으면 에이전트는 자기가 배운 목록으로 판단하고, 그 배운 목록에 취향과 일정과 예약은 없다.

과제 성공과 규칙 준수가 다른 일이라는 점은 이 블로그가 정답은 맞혔지만 규칙은 어긴 AI 에이전트에서 이미 다뤘으니 여기서는 전제로만 깔고 지나간다. AgentCIScope의 표에서도 그 전제는 그대로 재현된다. 과제 성공률은 12종 전부가 93.8~99.3%로 거의 한자리에 몰려 있는데, 한 번 실행에 샌 과제의 비율은 32.5%에서 94.4%까지 세 배 가까이 벌어진다. 능력 쪽 눈금은 이미 포화했고, 준수 쪽 눈금은 아직 바닥과 천장 사이에 흩어져 있다.

이 절이 글의 심장이다. 논문의 초록이 수치로 밝힌 속성은 네 개뿐이다. 개인 취향 84.7%, 예약 내역 76.5%, SSN 29.4%, 카드번호 17.1%. 나머지 35개 속성은 히트맵으로만 제시돼 셀 값을 읽을 수 없으니, 이 글도 네 항목에서 멈춘다. 속성별 전체 표가 공개된 것이 아니다. 그래도 이 네 개만으로 충분히 선명한 것은, 네 항목이 하필 그 경계선의 양쪽 끝에 하나씩 서 있기 때문이다.

아래 막대에서 오렌지는 어느 법령 목록에도, 어느 기업용 탐지기 목록에도, 어느 벤더의 기억 금지 목록에도 이름이 없는 항목이다. 회색은 세 목록 전부 또는 대부분에 이름이 올라 있는 항목이다. 색이 갈린 자리와 막대 길이가 갈린 자리가 같다.

▲ 논문이 수치로 밝힌 네 항목만 옮겼다. 분모는 각 유형별로 계약이 보호하라고 지정한 속성의 수이고, 분자는 그중 금지된 바깥 목적지에 도달한 속성의 수다. 세 목록의 내용은 4절에서 하나씩 연다.

84.7%와 32.5~94.4%는 서로 다른 자로 잰 값이다. 앞엣것은 속성 하나하나를 세어 그중 몇 개가 샜는지를 본 비율이고, 뒤엣것은 과제 하나에서 보호 속성이 하나라도 새면 그 과제를 샌 것으로 치는 0과 1의 비율이다. 두 수치를 한 문장에 나란히 쓸 때는 단위를 갈라 적어야 한다. 그리고 17.1%는 낮은 것이지 안전한 것이 아니다. 보호 대상으로 적힌 카드번호 속성 여섯 개 중 하나가 바깥으로 나갔다는 뜻이다.

2.1한 번 안 샜다고 안전한 것이 아니다

같은 과제를 다섯 번 반복하면 새는 쪽이 더 늘어난다. 늘어난 폭은 에이전트에 따라 3.8%p에서 19.3%p까지다. 퍼센트가 아니라 퍼센트포인트다. 가장 크게 늘어난 쪽은 클로드 코드 위에 올린 클로드 소네트 5로, 한 번 실행에 49.4%였던 것이 다섯 번 중 한 번이라도 샌 과제를 세면 68.7%가 됐다. 가장 적게 늘어난 쪽은 제미나이 플래시 계열인데, 애초에 한 번 실행에서 93% 넘게 새고 있어 더 늘어날 자리가 없었다.

아래는 논문 표 2에 실린 12종 전부다. 성공률과 유출률을 나란히 놓고 보면 두 눈금이 따로 논다. 성공률이 가장 높은 쪽과 유출률이 가장 높은 쪽이 같은 자리에 모여 있다. 과제를 가장 잘 끝내는 제미나이 3.7 플래시는 성공률 99.3%에 한 번 실행 유출률이 93.7%이고, 성공률 2위인 제미나이 3.8 플래시는 99.0%에 유출률 94.4%로 12종 중 가장 많이 샌다. 반대로 유출이 가장 적은 클로드 오푸스 5는 성공률이 97.1%로 중간이고, 성공률이 가장 낮은 클로드 소네트 5(93.8%)의 유출률은 49.4%다. 능력이 올라가면 준수도 따라 올라간다는 기대는 이 표에서 성립하지 않는다.

▲ 단위는 모두 퍼센트다. 가장 성공률이 높은 제미나이 3.7 플래시가 유출률도 거의 최고에 있다. 오렌지는 각 열의 최저값 또는 최고값이다.

같은 모델을 어디에 얹느냐에 따라서도 유출률이 바뀐다. 클로드 오푸스 5는 클로드 코드 위에서 32.5%였는데 오픈클로 위에서는 43.6%가 됐다. 11.1%p 차이다. GPT-6 아스트라도 실행 환경을 바꾸면 8.1%p가 벌어진다. 논문도 같은 모델이 환경에 따라 10%p 넘게 갈릴 수 있다고 적는다. 모델을 바꾸는 선택만큼이나 그 모델을 어떤 도구 틀에 끼우는지가 유출을 바꾼다는 뜻이다.

2.2가장 많이 새는 출처는 캘린더다

논문은 환경 축도 함께 잰다. 정보가 흘러나온 출처로 보면 캘린더가 평균 유출률 1위이고, 정보가 흘러 들어간 목적지로 보면 왓츠앱이 1위다. 슬랙과 아틀라시안, 세일즈포스가 출처 쪽에서 뒤를 잇고, 구글 독스와 캘린더가 목적지 쪽에서 왓츠앱을 따른다. 다만 이 축은 순위만 확인할 수 있고 셀 값은 그림 안에 있어 읽어 낼 수 없다. 그래서 이 글은 캘린더가 가장 많이 새는 출처라고만 적고 몇 퍼센트인지는 적지 않는다.

순위만으로도 의미는 분명하다. 캘린더에 들어 있는 것이 바로 일정과 예약이고, 그 둘이 속성 축에서 가장 많이 새는 항목이다. 두 축이 같은 곳을 가리킨다. 민감하다고 아무도 적어 두지 않은 구조화 데이터가 한곳에 모여 있는 창고가 캘린더이고, 그 창고가 유출의 최대 출처다.

그리고 사람들이 에이전트에게 무엇부터 열어 주는지를 물은 조사가 있다. 멘로 벤처스가 모닝컨설트와 함께 미국 성인 5,067명에게 물은 결과, 허용 비율은 이메일 36%, 웹 브라우저 33%, 메신저 31%, 클라우드 스토리지 29%, 캘린더 27%, 건강 앱 23%, 금융 계정 20% 순이다. 캘린더와 메신저가 맨 앞은 아니다. 그런데 맨 뒤 두 자리가 건강과 돈이다. 사람들이 가장 늦게 여는 두 범주는 법령 열거와 기업용 탐지기와 벤더 기억 정책에 모두 이름이 올라 있는 바로 그 두 범주이고, 그 앞줄에 선 메일·메신저·캘린더는 어느 목록에도 이름이 없다. 모델의 기본값에 그어져 있던 선이 이용자의 손끝에도 그어져 있다. 다만 이 조사 수치는 1차 보고서 원문을 확인하지 못해 재인용으로 적는다.

논문은 이 격차의 원인을 시험하지 않았다. 같은 속성의 이름만 바꿔 유출률이 달라지는지를 본 실험도, 보호 목록을 건네줬을 때와 안 건네줬을 때를 비교한 실험도 이 논문에 없다. 방어 실험 자체가 없다. 재기만 하는 연구다. 저자들이 내놓은 설명은 한 줄뿐이다. 에이전트가 "관행적으로 민감하다고 알아볼 수 있는" 정보에 더 조심하고, 더 일반적인 개인정보에는 보호가 약하다는 것이다. 상관을 보고한 것이지 인과를 입증한 것이 아니다.

그래서 이 대목에서는 사실을 옮기지 않고 설명끼리 겨루게 한다. 아래부터는 이 글의 해석이고, 근거로 쓰는 표는 전부 남의 논문에서 가져온 사실이다.

3.1가장 강한 반론은 형식이다

이 글의 설명에 맞설 가장 유력한 반론은 이렇다. 카드번호가 덜 새는 이유는 그 이름이 보호 목록에 올라서가 아니라, 형식이 규칙적이라 기계가 집어낼 수 있기 때문이라는 것이다. 실제로 마이크로소프트 퍼뷰의 신용카드 탐지기가 그렇게 작동한다. 열여섯 자리 숫자 패턴을 찾고, 룬 검증식으로 유효한 번호인지 확인하고, 주변에 비자나 마스터카드 같은 낱말이 있는지를 본다. 취향에는 그런 자릿수도 검증식도 없다. 그러니 이 반론에서 격차를 만드는 것은 탐지 가능성이다.

이 반론은 숨길 만한 약점이 아니다. 같은 달에 나온 PrivDrift 연구의 저자 본인이 자기 결과를 그렇게 해석한다. 현재의 보호가 고르지 않으며 "맥락에 기반한 견고한 비밀 유지보다 형식에 민감한 단서에 더 기대고 있다"는 것이 그 논문의 문장이다. 반론에 1차 문헌의 지지가 붙어 있는 셈이다.

3.2같은 논문의 표가 그 설명을 깬다

그런데 그 논문의 표 5를 열면 이야기가 달라진다. PrivDrift는 비밀을 심어 둔 다중 턴 대화 1,000개를 돌려 비밀 유형별 유출률을 쟀다. 결과는 이렇다.

▲ PrivDrift(arXiv:2609.30094 v2) 표 5. 막대의 길이는 모델 3종에서 나온 최저값과 최고값의 구간이다. 이 연구는 AgentCIScope와 달리 유출이 나도록 사례를 걸러내지 않았는데도 같은 순서가 나왔다.

이메일 주소는 정규식으로 가장 쉽게 잡히는 항목이다. 구글과 마이크로소프트 양쪽 모두 내장 탐지기를 갖고 있다. 형식이 갈림선이었다면 이메일은 카드번호 옆에, 그러니까 거의 안 새는 쪽에 있어야 한다. 그런데 반대 끝에 있다. 57~81%로 네 유형 중 가장 많이 샜다. 같은 논문이 적은 문장도 이 대비를 인정한다. SSN과 신용카드 번호는 "네 유형 모두 이용자가 스스로 밝힌 맥락상 비공개 정보인데도" 이메일·전화번호보다 훨씬 자주 억제된다는 것이다.

그러니 갈림선은 기계가 잡을 수 있는가가 아니다. 그 이름이 민감하다고 불려 왔는가다. 이메일 주소와 전화번호는 형식이 또렷하지만 누구도 그것을 민감정보라고 특별 취급해 오지 않았고, 그래서 덜 지켜진다. 다시 적지만 이 대조는 이 글의 해석이다. 어느 논문도 이렇게 쓰지 않았고, 인과를 직접 시험한 연구는 찾지 못했다.

3.3형식에 기대는 방어도 분포가 틀어지면 무너진다

설령 형식 설명을 받아들이더라도 결론은 달라지지 않는다. 형식에 기대는 방어 자체가 생각보다 약하기 때문이다. 개인정보 탐지기의 견고성을 시험한 다른 연구는 분포가 조금만 틀어져도 성능이 무너지는 것을 보였다. 생성형 모델 기반 탐지기의 신용카드 재현율은 익숙한 분포에서 1.000이었다가 낯선 분포에서 0.543으로 떨어진다. 그리고 위치 정보는 애초에 0.46 수준이다. 논문의 요약은 간결하다. 형식이 엄격한 항목은 버티지만 위치는 모든 모델에서 무너진다.

취향과 일정과 예약은 정확히 위치 쪽이다. 형식 설명이 맞든 틀리든, 탐지기에 맡겨 두면 된다는 결론은 어느 쪽에서도 나오지 않는다.

모델이 배웠다는 그 목록은 어디서 왔을까. 모델의 학습 과정을 열어 볼 수는 없지만, 모델이 읽었을 법한 문서들은 열어 볼 수 있다. 법령과 기업용 탐지기 명세와 벤더의 기억 정책이다. 세 가지를 나란히 놓고 보면, 서로 다른 조직이 서로 다른 목적으로 적었는데도 목록이 거의 같다. 그리고 가장 많이 새는 항목은 세 목록 모두에서 비어 있다.

4.1법은 닫힌 열거로 적는다

한국 개인정보 보호법 제23조는 민감정보를 사상과 신념, 노동조합·정당의 가입과 탈퇴, 정치적 견해, 건강, 성생활로 열거하고, 시행령 제18조가 유전정보와 범죄경력자료, 생체인식정보, 인종·민족을 더한다. 합쳐서 아홉 종이다. 주민등록번호는 여기 없다. 제24조의 고유식별정보라는 다른 서랍에 여권번호·운전면허번호·외국인등록번호와 함께 들어 있다. 조문의 "등에 관한 정보"를 넓게 읽으면 되지 않느냐는 질문에 대해서는 법제처가 한정적으로만 해석해야 한다고 이미 못 박았다.

그래서 취향과 일정과 예약은 조건부로도 들어가지 않는다. 위치 이력도 마찬가지인데, 위치정보가 민감하지 않다고 본 것은 아니다. 위치정보법이라는 또 다른 법률로 떼어 내 별도의 보호 체계를 세웠을 뿐이다. 같은 민감성이 서로 다른 목록에 흩어져 있는 셈이고, 사내 보호 필드 목록을 법령 열거에서 베껴 오면 그 흩어짐까지 함께 베껴 온다.

유럽도 열거는 비슷하게 좁다. 유럽 개인정보보호법 제9조의 특별 범주는 인종·민족, 정치적 견해, 종교·철학적 신념, 노동조합 가입, 유전정보, 생체인식정보, 건강, 성생활과 성적 지향 여덟 가지다. 다만 길이 하나 더 열려 있다. 유럽사법재판소는 2022년 판결에서 민감정보를 간접적으로 드러낼 수 있는 처리도 제9조의 금지 대상이 될 수 있다고 봤다. 특정 의료기관을 반복해 방문한 기록이 건강 상태를 드러낼 수 있다면 그 위치 이력도 특별 범주로 포섭될 여지가 생긴다. 한국이 목록을 닫아 두는 쪽이라면 유럽은 추론이라는 통로를 열어 둔 쪽이다.

여기서 AgentCIScope의 세 번째 축이 들어온다. 논문은 속성별, 환경별에 이어 지배 조항별 위반율도 쟀다. 위반이 가장 적은 쪽은 미국 의료정보법, 미국 장애인법의 의료 비밀 조항, 프라이버시법, 유럽 개인정보보호법 제9조, 공정신용보고법이다. 위반이 가장 많은 쪽은 미국 교육기록법과 유럽 개인정보보호법 제6조·제29조·제32조다. 앞쪽은 전부 이름이 붙은 민감 목록이고, 뒤쪽은 전부 처리 근거나 보안 조치 같은 이름 없는 일반 의무다. 속성 축에서 본 경계선이 조항 축에서 한 번 더 나온다.

4.2벤더 문서에서 취향은 '적극 저장' 칸에 있다

벤더 쪽 문서가 더 선명하다. 클로드의 기억 기능은 대화 기록을 통째로 쌓지 않고 사실과 선호를 뽑아 구조화해 둔다. 그 정책을 전한 보도에 따르면, 설정과 무관하게 절대 저장하지 않는 항목은 정부 발급 ID 번호와 범죄 이력, 이민 신분이다. 기본적으로 저장하지 않는 항목은 건강과 인종·민족, 종교적 신념, 정치, 성 정체성이다. 앞쪽은 한국법의 고유식별정보와 범죄경력자료에 거의 겹치고, 뒤쪽은 유럽 제9조의 특별 범주를 거의 그대로 옮겨 놓은 것처럼 보인다.

그리고 세 번째 칸이 있다. 이 기능이 적극적으로 저장한다고 밝힌 항목이다. 역할과 프로젝트, 업무와 삶 속의 사람과 장소, 소통 선호와 작업 방식, 기술 선호와 코딩 스타일. 전부 취향이다. 금지 목록에서 빠져 있는 정도가 아니라 반대쪽에 적혀 있다. 오픈AI 쪽도 경계선은 같다. 건강 같은 민감정보는 이용자가 따로 요청하지 않는 한 스스로 기억하지 않도록 학습됐다고 밝히고, 특히 민감하다고 따로 호명한 범주는 비밀번호와 금융 계좌, 정부 발급 ID, 의료 기록이다.

클로드에는 2026년 8월에 민감한 주제도 기억에 넣을지를 이용자가 고르는 설정이 붙었다. 그 근거로 전해진 문장이 어떤 사람에게 민감한 것이 다른 사람에게는 클로드가 기억해 주면 좋은 것일 수 있다는 것이었다. 무엇이 민감한지는 항목 자체가 아니라 그 항목이 놓인 맥락이 정한다는 말이다. 그 판단을 제품은 스위치 하나로 이용자에게 넘겼고, 넘기기 전의 기본값은 앞의 세 칸이 그대로 떠안고 있다. 이 문장도 1차 문서를 확인하지 못해 보도를 경유해 옮겼다.

기업용 탐지기도 같다. 구글의 민감 데이터 보호 서비스는 내장 탐지기를 500개 넘게 두고 금융·건강·통신·인적정보·인구통계·자격증명·정부 ID 같은 범주로 나눈다. 마이크로소프트 퍼뷰도 수백 개의 민감 정보 유형을 둔다. 두 목록 모두에 캘린더 일정이나 예약 상세, 구매 이력, 브라우징 이력, 개인 취향에 해당하는 탐지기는 없다. 사내 보호 규칙을 이 기본 목록 위에 세운 조직이라면, 그 규칙은 구조적으로 같은 구멍을 물려받는다.

세 목록과 실제 유출률을 한 표에 놓으면 줄이 선다. 위 세 줄은 세 목록 가운데 둘 이상에 이름이 올라 있고, 그중 수치가 공개된 둘은 17.1%와 29.4%다. 아래 세 줄은 어느 목록에도 이름이 없고, 수치가 공개된 둘은 76.5%와 84.7%다. 가운데가 비어 있다. 30%와 76%는 조금 떨어진 두 값이 아니라 서로 다른 두 무리의 가장자리다.

▲ 유출률은 AgentCIScope의 속성 단위 값이고 단위는 퍼센트다. 건강 항목은 논문이 수치를 밝히지 않아 비워 두었다. 캘린더 일정도 수치 없이 순위만 공개돼 있다. 벤더 기억 정책 칸은 클로드 쪽 정책을 전한 보도를 기준으로 적었다.

같은 내용을 그림으로 옮기면 비어 있는 자리가 눈에 들어온다. 세 목록은 거의 포개지고, 가장 많이 새는 것들은 그 바깥에 있다.

▲ 세 원이 거의 포개진다는 것이 이 그림의 요지다. 서로 다른 조직이 서로 다른 목적으로 적은 목록인데도 이름이 겹치고, 가장 많이 새는 항목들은 세 원 어디에도 들어가지 못한다.

4.3한국에는 무엇이 샜는지를 항목별로 세는 제도가 없다

위 표의 마지막 열을 외국 논문의 수치로 채운 것은 한국에 유출 항목별 공식 통계가 없기 때문이다. 개인정보보호위원회의 유출 신고 동향 분석은 원인별로는 집계한다. 2024년 기준 해킹 56%, 업무 과실 30%, 시스템 오류 7%다. 기관 유형별로도 집계한다. 그런데 이름이 샜는지 연락처가 샜는지 예약 내역이 샜는지를 항목별로 나눈 분포는 아예 만들지 않는다.

보도된 개별 사고를 모아 봐도 같은 공백이 보인다. 구미대학교, 락앤락, CU포스트, 한국도심공항 사고에서 유출 항목으로 공표된 것은 예외 없이 이름과 연락처, 생년월일, 아이디, 비밀번호 같은 전통적 식별자다. 취향이나 예약 내역, 일정은 어느 사고 보도에도 등장하지 않는다. 여기까지가 확인된 사실이고, 그 이유를 안 새기 때문이라고 읽는 것은 해석이다. 확인할 수 있는 것은 하나다. 세는 제도가 없다. 세는 제도가 없으면 통계에 나타나지 않는다.

심사 전 원고 한 편이 공개된 지 나흘째다. 보안업계 반응도 2차 보도도 아직 없다. 그러니 이 결과 하나를 붙들고 결론을 내리는 것은 이르다. 다행히 같은 방향을 가리키는 연구가 이미 여럿 있고, 그 가운데 하나는 동료 심사를 통과한 게재본이다. 세 편의 심사 상태가 서로 다르니 한 묶음으로 "전부 심사 전 원고"라고 부르면 틀린다.

AgentCIBench는 EMNLP 2026 본회의 게재본이다. 컴퓨터를 직접 조작하는 에이전트 15종을 시험해, 그중 11종이 시나리오의 절반 넘는 비율에서 정보를 흘렸고 평균 유출률은 67.9%였다고 보고한다. 앞엣것은 에이전트 수를 센 값이고 뒤엣것은 시나리오 평균이라 같은 눈금이 아니다. 이 논문이 추린 실패 유형 셋은 화면에서 나란히 놓인 탓에 딸려 나간 것, 지시가 모호해 통째로 쏟아 낸 것, 받을 사람이 아닌 사람에게 보낸 것이다. 세 유형 가운데 민감정보를 몰라봐서 생긴 것은 없다. 전부 무엇을 내보낼지 판단하는 자리가 비어 있어서 생긴 실패다.

AgentSCOPE는 규제 영역 여덟 곳의 다중 도구 시나리오 62개를 돌려, 파이프라인 안에서 위반이 일어난 비율이 80%를 넘는다고 적는다. 그리고 최종 출력만 보면 깨끗해 보이는 경우가 24%라고 덧붙인다. 24%는 위반 중의 비율도, 안전한 비율도 아니다. 출력만 봐서는 못 잡는 시나리오의 비율이다. 위반의 다수는 도구가 응답을 돌려주는 단계에서 생기는데, 이 논문의 문장을 빌리면 API가 민감한 데이터를 가리지 않고 통째로 돌려주기 때문이다.

이 결론은 이 블로그가 AI 에이전트는 답변이 아니라 통로에서 샌다에서 이미 한 번 쓴 자리다. 새 발견으로 내걸 일은 아니고, 다른 벤치마크에서 같은 결론이 다시 나왔다고 적는 것이 정확하다. 규제 쪽 움직임도 한 줄로 지나간다. 영국 개인정보 감독기구가 AI 에이전트를 대상으로 증거 수집을 시작했고, 그 건은 엿새 전 글에서 다뤘다.

네 편이 겹치는 자리는 하나다. 모델을 더 크고 똑똑하게 만드는 것으로는 이 문제가 닫히지 않는다. 그리고 PrivDrift는 거기서 한 발 더 나가 항목별 순서까지 재현했다. 선별 없는 데이터에서 나온 순서가 같다는 사실이 이 글의 논지를 떠받치는 가장 단단한 다리다.

지금까지의 이야기를 한 줄로 줄이면 이렇다. 에이전트는 실행 시점에 보호 목록을 건네받지 못하고, 그래서 자기가 배운 목록으로 판단하며, 그 배운 목록은 법과 제품 문서가 수십 년 적어 온 목록과 거의 같다. 그 목록에 취향과 일정과 예약은 없다. 그러면 우리가 할 일은 목록을 여는 것인데, 여는 데도 순서가 있다.

6.1차집합부터 센다

첫째, 우리 보호 필드 목록을 연다. 문서 어딘가에 있는 그 목록이다. 둘째, 에이전트가 실제로 접근하는 데이터 출처를 적는다. 캘린더, 메일, 메신저, 문서함, 티켓 시스템. 그 출처가 돌려주는 필드를 전수로 적는다. 요청한 필드만 적으면 모자란다. 응답에 실려 오는 필드 전부를 적어야 한다. 셋째, 두 목록의 차집합을 센다. 보호 목록에는 없는데 출처에는 있는 필드의 수다. 넷째, 그 차집합이 비어 있지 않다면 그것이 지금의 노출면이다. 비어 있는 조직은 거의 없을 것이다.

다섯째가 이 글이 보태는 단계다. 그 목록이 실행 시점에 에이전트에게 전달되는 경로가 있는가. 없다면 앞의 네 단계는 문서 작업으로 끝난다. AgentCIScope의 설계가 바로 그 상태를 재현한 것이고, 결과가 32.5~94.4%였다. 목록을 적는 일과 그 목록이 모델에 닿는 일은 다른 일이다. 시스템 프롬프트든 도구 명세든 응답 필터든, 적어 둔 것이 실행되는 경로를 한 번은 그려 봐야 한다.

같은 계열의 질문을 이 블로그가 이름표 없는 기억은 지울 수 없다에서 삭제 쪽으로 한 번 던졌다. 적어 두지 않은 것은 지킬 수도 없고 지울 수도 없다. 보호와 삭제는 같은 기록 위에서 작동한다.

6.2목록을 건네주면 지키는지는 아무도 모른다

그런데 다섯째 단계를 채운다고 문제가 닫히는지는 아무도 모른다. AgentCIScope는 보호 목록을 건네준 조건을 시험하지 않았다. 건네주면 지키는가, 건네줘도 취향은 여전히 덜 지키는가. 이 질문에 답한 연구를 이 조사에서는 찾지 못했다. 같은 속성의 이름만 바꿔 유출률 변화를 보는 실험도 없다.

그러니 이 글은 그러면 이렇게 하면 된다는 문장으로 닫지 않는다. 지금 확인된 것은 둘이다. 목록을 건네지 않으면 모델의 기본값이 이긴다는 것, 그리고 그 기본값이 우리가 수십 년 적어 온 목록을 닮았다는 것. 세 번째는 비어 있고, 비어 있다고 적는 편이 채운 척하는 것보다 쓸모 있다. 적어도 그 공백을 보고 나면 자기 조직에서 어떤 실험을 해 볼 수 있는지가 보인다. 목록을 지시문에 넣은 에이전트와 넣지 않은 에이전트를 같은 과제에 올려 보는 일은, 논문을 기다리지 않고도 할 수 있는 일이다.

페블러스 관심의 이유

보호 속성 명세의 결측도 데이터 결함이다

페블러스가 말하는 AI-Ready Data는 모델이 바로 쓸 수 있게 정돈된 데이터를 뜻한다. 그 정돈에는 어떤 필드가 어떤 맥락에서 밖으로 나갈 수 있는지를 적어 두는 일이 들어간다. 이 보고서가 읽은 결과는 그 적어 두기가 빠진 필드가 곧바로 유출 경로가 된다는 것이고, 더 아픈 쪽은 적어 두더라도 실행 시점에 건네지 않으면 모델의 기본값이 이긴다는 것이다. DataClinic이 데이터셋을 진단할 때 결측과 중복과 라벨 오류를 보듯, 보호 속성 명세의 결측도 같은 층위의 진단 항목이 된다. 캘린더가 최대 유출 출처라는 결과는 일정이나 예약처럼 민감하다고 아무도 적어 두지 않은 구조화 데이터가 위험의 가운데에 있다는 뜻이기도 하다.

학습과 명세에 적힌 것이 모델 행동의 경계선을 그린다

모델이 카드번호를 더 지키는 이유는 카드번호가 본질적으로 더 민감해서가 아니라, 학습과 명세 양쪽에서 그 이름이 반복해 보호 대상으로 등장했기 때문일 가능성이 크다. 이것은 해석이고, 3절에서 이 글이 세운 설명이다. 그 설명이 맞다면 페블러스가 반복해 온 명제가 개인정보 쪽에서도 확인되는 셈이다. 모델의 행동은 학습 데이터와 명세의 구조를 물려받는다. 그리고 품질 지표를 하나 더 세울 수 있다. 보호 속성 커버리지, 곧 우리가 보호 대상으로 선언한 필드가 실제로 새는 항목을 얼마나 덮는가다.

목록을 베낀 조직은 구멍까지 베꼈다

AI 비서를 사내에 붙인 조직은 보통 기업용 탐지기의 기본 목록을 그대로 쓴다. 그 목록은 카드번호와 주민등록번호, 여권번호처럼 형식이 규칙적인 식별자 위주다. 이 연구들이 말하는 것은 바로 그 목록 바깥이 가장 많이 샌다는 것이다. 목록을 베낀 조직은 그 목록의 구멍까지 함께 베꼈다. 그래서 6절의 다섯 단계는 하루 이틀이면 끝나는 작업이다. 차집합을 세는 데 필요한 것은 새 도구가 아니라 두 개의 목록이다.

무엇이 민감한지를 정하는 일은 데이터 회사의 몫이다

민감정보를 더 잘 가리는 모델을 만드는 경쟁에 페블러스가 낄 자리는 없다. 그러나 무엇이 민감한지를 조직의 맥락에서 정의하고, 그 정의가 실제 데이터와 맞는지 검사하는 일은 데이터 회사의 몫이다. 다만 이 보고서는 그 몫을 주장하려고 쓴 글이 아니다. 그 자리가 비어 있다는 것을 남의 연구로 보여 주는 글이고, 같은 자를 우리에게 대면 우리 쪽에도 빈 칸이 나온다. DataClinic의 진단 항목에 보호 속성 커버리지라는 칸은 아직 정식으로 없다.

참고문헌

학술 — 논문 원문

• 1.Chengquan Guo, Zhaorun Chen, Zinan Lin, Xiaodong Liu, Bo Li, AgentCIScope: Grounded Contextual Integrity Evaluation for LLM Agents, arXiv:2610.19158 v1(2026-10-13). 심사 전 원고다. 이 글의 1~4절 수치와 축자 인용이 여기서 나왔다. 저자 소속으로 확인되는 기관은 시카고대학교·마이크로소프트 리서치·일리노이대학교 어배너섐페인 세 곳이고, 개인별 소속은 추출본마다 흔들려 단정하지 않았다.
• 2.Anmol Goel, Iryna Gurevych, Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?(AgentCIBench), arXiv:2606.23189 v2(2026-09-10). EMNLP 2026 본회의 게재본. v1과 v2의 대표 수치와 실패 유형을 대조했고 바뀐 것은 없었다. 5절.
• 3.Ivoline C. Ngong, Keerthiram Murugesan, Swanand Kadhe, Justin D. Weisz, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows, arXiv:2603.04902 v1(2026-03-05). 심사 전 원고. 5절의 80%와 24%. 저자 소속은 1차 확인을 못 해 적지 않았다.
• 4.Luciano Maldonado, PrivDrift: Auditing User-Secret Leakage Under Topic Drift in Active LLM Conversations, arXiv:2609.30094 v2(2026-09-25). 심사 전 원고. 3.2절 막대의 출처인 표 5. 저자 본인은 원인을 형식 단서로 해석하므로, 그 표로 저자의 설명에 반론을 세운 것은 이 글의 해석이다.
• 5.Adeel Zafar, Slawomir Nowaczyk, Mind the Gap: Robustness Risks in PII Detection Systems, arXiv:2609.03464(2026-09-03). 심사 전 원고. 3.3절의 재현율 1.000 → 0.543과 위치 0.46.

법령·판례

• 6.개인정보 보호법 제23조(민감정보의 처리 제한) 및 같은 법 시행령 제18조(민감정보의 범위) — 국가법령정보센터. 열거 아홉 종의 근거다. "등에 관한 정보"를 한정적으로 해석한다는 법제처 법령해석을 함께 확인했다.
• 7.개인정보 보호법 제24조(고유식별정보의 처리 제한)·제24조의2(주민등록번호 처리의 제한) — 국가법령정보센터. 주민등록번호가 민감정보와 별도 조문이라는 4.1절 서술의 근거.
• 8.위치정보의 보호 및 이용 등에 관한 법률 제15조·제16조·제17조·제21조 — 위치정보가 민감정보 목록에서 빠져 별도 법률로 보호된다는 서술의 근거.
• 9.Regulation (EU) 2016/679(GDPR) Article 9 — EUR-Lex, CELEX:32016R0679. 특별 범주 여덟 종.
• 10.CJEU, Case C-184/20, OT v Vyriausioji tarnybinės etikos komisija(2022-08-01) — 민감정보를 간접적으로 드러낼 수 있는 처리도 제9조의 대상이 될 수 있다는 판시. 4.1절.

제품 문서·통계

• 11.Google Cloud, Sensitive Data Protection — InfoType detector reference — 내장 탐지기 500개 이상과 범주 목록. 취향·예약·일정 범주가 없다는 4.2절 서술의 근거다.
• 12.Microsoft, Sensitive information type entity definitions(Microsoft Purview) — 신용카드 탐지기의 동작 방식(자릿수 패턴 → 룬 검증 → 근접 키워드). ⚠️ 내장 유형의 총 개수는 출처마다 달라 숫자를 적지 않고 "수백 개"로 썼다.
• 13.OpenAI 고객센터, Memory and new controls for ChatGPT / Memory in ChatGPT — 건강 같은 민감정보를 자발적으로 기억하지 않도록 학습됐다는 서술과, 따로 호명한 네 범주(비밀번호·금융 계좌·정부 발급 ID·의료 기록).
• 14.⚠️ Anthropic 클로드 기억 정책의 세 칸(절대 저장 안 함 / 기본 저장 안 함 / 적극 저장) — 1차 문서를 확인하지 못했다. 2026년 8월 전후의 언론 보도와 3자 가이드를 교차해 적었고, 본문에서도 보도에 따른 것으로 밝혔다.
• 15.개인정보보호위원회, 2024년 개인정보 유출 신고 동향 분석(pipc.go.kr) — 원인별·기관 유형별 집계만 있고 항목별 분포는 없다는 4.3절의 근거. ⚠️ Menlo Ventures·Morning Consult의 2026년 소비자 조사(캘린더 27%·메신저 31%)는 1차 보고서 원문을 구하지 못해 재인용으로 썼다.

페블러스 인접 글

• 16.AI 에이전트는 답변이 아니라 통로에서 샌다(2026-07-05) · 정답은 맞혔지만 규칙은 어긴 AI 에이전트(2026-06-30) · 영국 개인정보 감독기구 ICO, 다음 차례는 AI 에이전트(2026-10-11) · 이름표 없는 기억은 지울 수 없다(2026-07-29).