Executive Summary
학습 데이터를 지웠다는 AI 모델의 주장을 확인하는 검사가 쉽게 속는다는 연구가 공개됐다. 레이 저우(Lei Zhou), 유원 주(Youwen Zhu), 룽커 류(Rongke Liu) 세 사람이 쓴 「Rethinking the Verification of Machine Unlearning」이다. 지금 현장에서 쓸 수 있는 검증기 대부분은 모델이 내놓는 예측과 확률을 보고 삭제 여부를 추론하는데, 저자들은 모델 내부를 그대로 둔 채 그 답변만 꾸며 내는 공격을 만들어 검사에 집어넣었다.
이 위장은 기존 검증기를 평균 97%의 확률로 통과했다. 검증기가 보는 신호가 서비스를 운영하는 쪽이 응답 시점에 통제할 수 있는 층에서 나오기 때문이다. 저자들이 대안으로 내놓은 RUV는 원본 모델과 지웠다는 모델의 중간 표현을 대조해 그 위장 제출의 99%를 걸러 냈다. 다만 RUV가 돌아가려면 검증하는 쪽이 모델 내부 표현을 받아 볼 수 있어야 하고, 실험은 이미지 분류 모델에 한정돼 있다.
주요 수치
논문이 보고한 비율은 셋으로 나뉜다. 공격이 뚫은 비율, 기존 검사가 막아 낸 비율, 그리고 새 검사가 막아 낸 비율이다. 세 쌍은 서로 다른 것을 측정하므로 같이 놓고 읽어야 한다.
출처: arXiv:2611.18658 초록과 본문 (2026년 10월 19일 제출, 11월 17일 신규 목록 공개).
97.0 / 97.7%
위장이 검사를 통과한 비율
클래스 단위 요청과 샘플 단위 요청 각각의 평균값이다
5.1 / 3.6%
출력 기반 검사의 최대 거부율
두 요청 유형 각각에서 세 검증기 가운데 가장 잘 걸러 낸 값이다
99.5 / 99.8%
RUV가 위장을 걸러 낸 비율
같은 두 요청 유형에서 중간 표현 대조가 돌려보낸 제출의 비율이다
4.37초
RUV 1회 검증 시간
CIFAR-10과 ResNet18 기준. 같은 조건에서 화이트박스 TruVRF는 91.2초다
법은 지우라고 하는데, 지워졌는지는 누가 보나
내 개인정보를 지워 달라고 요구할 권리는 이미 법에 있다. 유럽 일반개인정보보호법(GDPR) 제17조가 삭제권을 두고 있고, 한국 개인정보보호법 제36조도 정보주체가 자신의 개인정보 삭제를 요구할 수 있게 한다. 데이터베이스의 한 줄이라면 이 권리는 깔끔하게 집행된다. 그 줄을 지우고 로그를 남기면 끝이다.
학습이 끝난 AI 모델에서는 사정이 다르다. 한 사람의 데이터는 어느 파일에 따로 들어 있지 않고 수억 개 가중치에 흩어져 있다. 그 영향만 골라 되돌리는 기술을 머신 언러닝(machine unlearning)이라고 부른다. 방식은 크게 둘이다. 지워 달라고 한 데이터를 뺀 채 처음부터 다시 학습하는 정확 언러닝, 그리고 다시 학습하지 않고 가중치를 손봐 그 영향을 지우려는 근사 언러닝이다. 앞쪽은 비용이 크고, 뒤쪽은 빠른 대신 정말 지워졌다는 보장이 약하다.
규제 당국도 이 어려움을 인정하고 있다. 개인정보보호위원회가 2025년 8월 6일 배포한 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」는 학습 데이터셋의 규모나 구조적 제약 때문에 열람·정정·삭제 같은 권리 행사를 보장하기 어려운 경우, 그 사실과 사유를 정보주체에게 안내하고 대체 수단을 제공할 수 있다고 적었다. 같은 안내서가 머신 언러닝을 삭제 요청에 대응할 기술 동향으로 함께 다룬다.
권리와 기술 사이에 한 층이 더 있다. 회사가 지웠다고 답했을 때 그 말이 맞는지 바깥에서 확인하는 검증(verification) 층이다. 이 글이 다루는 논문은 바로 이 층을 겨냥한다.
지금 쓰는 검사는 모델이 내놓는 답을 본다
검사가 처음부터 모델의 답을 보도록 정해져 있던 것은 아니다. 학습을 시작하기 전에 추적용 신호를 심어 두고 나중에 그 신호가 사라졌는지 확인하는 방법도 있고, 지우는 과정에서 남은 기록을 제공자가 내놓게 하는 방법도 있다. 논문은 이런 계열을 과정에 묶인 방식이라 부르고, 보통의 모델 서비스에서는 그 요구를 맞추기 어렵다고 적는다. 이미 학습이 끝난 모델에는 뒤늦게 심을 신호가 없고, 운영 중인 서비스가 내부 기록을 열어 주는 일도 드물다. 그래서 실제로 폭넓게 쓸 수 있는 것은 학습이 끝난 뒤 바깥에서 확인하는 사후 검증뿐이다.
사후 검증기는 무엇을 보는가. 지워 달라고 한 데이터를 모델에 넣고, 돌아온 답이 그 데이터를 한 번도 본 적 없는 모델의 답처럼 보이는지 확인한다. 논문이 기준선으로 세운 네 가지가 각각 다른 신호를 쓴다. 성능 기반 검사는 지워 달라고 한 데이터에 대한 정확도가 떨어졌는지 보고, LiRA는 멤버십 추론으로 그 데이터가 학습에 쓰였는지 추정하며, TAPE는 원본 모델과 지운 모델의 사후확률 차이를 측정한다. 세 가지 모두 모델 바깥에서 답만 받아 보는 블랙박스 방식이다.
네 번째인 TruVRF만 성격이 다르다. 이쪽은 원본 모델과 지운 모델의 그래디언트 변화를 들여다보기 때문에 모델 파라미터에 접근하는 화이트박스 권한과 역방향 계산이 필요하다. 그만큼 깊이 보지만 비용이 붙는다. CIFAR-10과 ResNet18 기준으로 한 번 판정하는 데 91.2초가 걸리고 메모리 2,528MB를 쓴다.
논문의 문제 제기는 블랙박스 세 가지가 공유하는 전제에 있다. 초록의 표현을 옮기면 이 검증기들은 "제공자의 통제 아래 남아 있는 최종 모델 응답"에서 삭제 여부를 추론한다. 즉 검사받는 쪽이 검사의 입력을 만든다. 성능이나 확률 분포는 모델 내부의 상태가 아니라 모델이 내놓기로 한 출력이고, 그 출력은 서빙 단계에서 얼마든지 손볼 수 있다.
출력만으로는 삭제가 증명되지 않는다는 지적 자체는 새롭지 않다. 페블러스가 8월에 정리한 로봇 시연 언러닝 감사에서도, 실기 성공률을 되찾은 편집본이 멤버십 감사에서는 아무것도 지우지 않은 정책과 구별되지 않았다. 다만 그 사례는 성실하게 지우려 한 쪽의 결과가 증명으로 이어지지 않았다는 이야기였다. 이번 논문이 보는 것은 그 반대다. 지울 생각이 처음부터 없는 쪽이 검사를 통과하려 들면 어떻게 되는가.
위장은 기억을 남겨 둔 채 검사만 속인다
저자들이 만든 공격의 이름은 ODR(Output-Level Deceptive Response), 우리말로 옮기면 출력 수준의 기만 응답이다. 원리는 이름 그대로다. 모델이 데이터를 기억하고 있는 상태는 건드리지 않고, 검증기가 보는 답변만 지운 모델의 답처럼 꾸민다. 삭제 요청이 어떤 단위로 오느냐에 따라 두 가지 형태를 쓴다.
3.1분류기만 손보는 ODR-Head
특정 범주를 통째로 지워 달라는 클래스 단위 요청에 쓰는 수법이다. 모델에서 표현을 만들어 내는 몸통은 그대로 두고 맨 끝의 분류기만 고친다. 목표로 삼는 가짜 출력은 균등분포와 원본 모델의 출력을 흐트러뜨린 값을 섞어 만든다. 그 범주에 대해 모델이 아무것도 모르는 것처럼 헷갈리는 답을 내놓게 되지만, 그 범주를 알아보던 내부 표현은 한 칸도 움직이지 않는다. 분류기를 고칠 때 나머지 데이터에 대한 성능은 유지되도록 함께 묶어 학습하기 때문에, 바깥에서 보면 그 범주 하나만 잊은 멀쩡한 모델로 보인다.
3.2질문을 가로채는 ODR-Gate
개별 데이터를 지워 달라는 샘플 단위 요청에는 파라미터를 아예 건드리지 않는 수법을 쓴다. 지워 달라고 등록된 바로 그 질문이 들어올 때만 가로채, 같은 범주의 비회원 데이터에 대한 사후확률을 대신 돌려준다. 검증기 입장에서는 그 데이터를 학습한 적 없는 모델의 반응으로 보인다. 모델 가중치는 손대지 않았으니 다른 입력에 대한 성능도 그대로 유지된다.
아래 도식은 모델을 입력부터 출력까지 늘어놓고, 두 수법이 손대는 자리와 각 검사가 들여다보는 자리를 표시한 것이다.
실험은 정확 언러닝(Retraining, SISA)과 근사 언러닝(Amnesiac, SCRUB, SalUn, SSD)을 모두 포함한다. 데이터셋은 CIFAR-10과 CIFAR-100, 그리고 얼굴 이미지 모음인 FaceScrub 셋이다. 앞의 둘에는 ResNet18과 34, 50을 쓰고 FaceScrub에는 ResNet50을 썼다. 삭제 요청은 두 가지로 넣었다. 범주 하나 또는 인물 한 명을 통째로 지워 달라는 클래스 단위 요청, 그리고 층화 추출로 학습 데이터의 10%를 골라 지워 달라는 샘플 단위 요청이다. 그 범위에서 ODR의 평균 기만 성공률은 클래스 단위 요청 97.0%, 샘플 단위 요청 97.7%였다.
반대쪽 숫자가 더 눈에 띈다. 이 위장 제출을 검증기들이 되돌려 보낸 비율이다. 들어온 제출이 전부 위장인데, 검사는 그 가운데 얼마나 돌려보냈는가. 제대로 작동한다면 거의 전부여야 한다.
| 검증기 | 들여다보는 곳 | ODR-Head 거부율 | ODR-Gate 거부율 |
|---|---|---|---|
| 성능 · LiRA · TAPE | 모델이 내놓는 예측과 확률 (블랙박스) | 최대 5.1% | 최대 3.6% |
| TruVRF | 파라미터와 그래디언트 변화 (화이트박스) | 15.7% | 79.6% |
| RUV | 중간 순전파 표현 (그레이박스) | 99.5% | 99.8% |
▲ 논문 본문이 적은 거부율이다. 블랙박스 세 가지는 개별 수치 대신 가장 높았던 값을 상한으로 적었다
블랙박스 세 가지가 돌려보낸 제출은 많아야 스무 번에 한 번꼴이었다. 화이트박스인 TruVRF는 샘플 단위 위장을 79.6%까지 걸러 냈지만, 분류기만 고친 클래스 단위 위장 앞에서는 15.7%로 떨어졌다. 두 수법이 공유하는 성질이 이 결과를 설명한다. 둘 다 모델이 데이터를 기억하고 있는 내부 상태를 그대로 남겨 두기 때문에, 그 상태를 보지 않는 검사는 바뀐 것이 없다는 사실을 알아챌 방법이 없다.
RUV는 모델 안에서 네 가지 흔적을 찾는다
저자들이 제안한 RUV(Representation Unlearning Verification)는 감시 대상을 옮긴다. 모델이 무엇을 돌려주는지가 아니라 모델 안에서 무엇이 달라졌는지를 본다. 구체적으로는 원본 모델과 지웠다는 모델에 같은 데이터를 넣고, 중간 계층을 지나는 동안 만들어지는 표현을 두 모델에서 꺼내 맞대어 본다. 파라미터나 그래디언트, 학습 로그는 요구하지 않고 순전파 과정의 중간 표현만 받는다는 뜻에서 그레이박스로 분류된다.
검증하는 쪽은 무엇을 받아야 하는가. 논문에 또렷이 적혀 있다. 원본 모델과 지웠다는 모델 두 개, 지워 달라고 한 데이터 목록, 그와 크기를 맞춘 유지 데이터 한 벌, 그리고 비교 기준으로 쓸 참조 집합이다. 조건이 하나 더 붙는다. 두 모델은 중간 표현을 꺼내 볼 수 있게 열어 둔 실행 환경에서 돌아가야 한다. 삭제 요청 처리를 제도로 설계하는 입장에서 보면, 이 목록이 곧 제공자에게 무엇을 요구해야 하는지의 명세다.
대조는 네 갈래로 나뉜다. 지워 달라고 한 데이터가 모델 안에서 지나가던 경로가 달라졌는지(활성 경로 변화), 그 데이터의 특징 벡터가 원래 자리에서 밀려났는지(표현 변위), 주변에 모여 있던 비슷한 데이터와의 이웃 관계가 깨졌는지(이웃 지속성 간극), 모델이 학습한 다양체 안에서 그 데이터를 받쳐 주던 구조가 무너졌는지(다양체 랭크 하락)를 각각 측정한다.
네 신호를 그대로 쓰면 오판이 생긴다. 모델을 손보면 지워 달라고 한 데이터뿐 아니라 전체가 조금씩 흔들리기 때문이다. RUV는 지우라고 한 적 없는 유지 데이터를 짝지어 대조군으로 세워, 특정 대상에 대한 반응과 모델 전체의 표류를 가른다. 그다음 네 증거를 순열 보정으로 한데 묶어 판정을 내린다.
정상적인 삭제를 제대로 판정한 비율은 클래스 단위 98.9%, 샘플 단위 94.9%였다. 샘플 쪽은 왜 낮은가. 범주 하나를 통째로 지우면 모델 안에서 덩어리째 자리가 비지만, 개별 샘플 몇 개의 흔적은 같은 범주의 다른 샘플들 사이에 묻혀 신호가 훨씬 희미해진다.
거짓 제출만 가려내는 것도 아니다. 저자들은 어긋난 수정 세 가지를 따로 만들어 넣었다. 지우라는 요청과 무관하게 전체 데이터로 학습을 더 돌린 모델, 지우라고 한 것 대신 같은 크기의 다른 데이터를 지운 모델, 그리고 지우라고 한 바로 그 데이터로 추가 학습을 돌려 표현은 바꿨지만 지식은 오히려 강화한 모델이다. 셋 모두 모델이 눈에 띄게 달라졌다는 점에서는 삭제처럼 보인다. RUV는 세 경우 모두 클래스 단위 96.8% 이상, 샘플 단위 92.9% 이상으로 걸러 냈다. 위장한 삭제뿐 아니라 엉뚱한 대상을 지운 삭제와 겉만 달라진 삭제도 같은 검사에 걸린다.
이행이 중간에서 멈춘 제출에는 중간 눈금이 매겨진다. 요청받은 데이터 가운데 일부만 실제로 지운 모델을 넣어 보면, 지운 만큼 수치가 따라 올라간다. CIFAR-10과 ResNet18에서 요청의 4분의 1만 지운 제출은 클래스 단위 6.8%, 샘플 단위 3.7%만 통과했고, 4분의 3을 지우자 통과율이 84.2%와 64.7%로 올라갔다. 논문은 이 눈금을 RUV가 이행 정도를 따라간다는 근거로 읽는다. 감사하는 쪽에서 같은 표를 읽으면 다른 숫자가 눈에 들어온다. 4분의 3만 지운 제출도 대체로 통과한다. 어디부터를 이행으로 셀지는 검증기가 정해 주지 않고 제도가 정할 몫으로 남는다.
이 성적이 한 가지 모델 구조에서만 나오는 것인지도 따로 시험했다. CIFAR-10에서 합성곱 계열과 트랜스포머 계열을 합쳐 일곱 가지 백본에 같은 절차를 돌리자, 판정 정확도는 클래스 단위 96.3%에서 99.4% 사이, 샘플 단위 91.1%에서 96.0% 사이에 머물렀다. 두 범위의 아래 끝을 찍은 것은 경량 모델인 MobileNetV2이고, 트랜스포머인 ViT-S/16은 97.8%와 93.3%였다.
비용도 이 방식의 근거 가운데 하나다. CIFAR-10과 ResNet18에서 RUV는 4.37초와 1,684MB를 썼고, 역방향 계산이 필요한 TruVRF는 같은 조건에서 91.2초와 2,528MB를 썼다. 역전파 없이 순전파 표현만 꺼내 비교하기 때문에 생기는 차이다.
논문의 결론은 한 문장으로 정리된다. 머신 언러닝 검증에는 삭제처럼 보이는 출력이 아니라 내부 증거가 필요하다. 감사의 경계선을 순전파 표현까지 밀어 넣는 것이 저자들이 제시한 실용적 출발점이다.
아마존에 내린 삭제 명령에 확인 절차가 없다
데이터만이 아니라 그 데이터로 만든 모델까지 지우라는 명령은 이미 나와 있다. 2023년 5월 31일 미국 연방거래위원회(FTC)와 법무부는 아마존이 아이들의 알렉사 음성 기록을 부모의 삭제 요청에도 무기한 보관했다며 2,500만 달러 합의안을 제시했다. 이 명령은 고객이 삭제를 요구한 위치정보와 음성정보를 데이터 제품의 생성이나 개선에 쓰지 못하게 금지한다.
같은 날 발표된 링(Ring) 사건은 한 걸음 더 나간다. 580만 달러의 소비자 환불과 함께, 2018년 이전에 수집한 고객 영상과 얼굴 임베딩은 물론 불법적으로 열람한 영상에서 파생된 데이터와 모델, 알고리즘까지 지우라고 요구했다. FTC가 뒤이어 올린 사업자 안내 글은 두 사건을 묶어 이렇게 적었다. "링과 알렉사, 그리고 커보와 케임브리지 애널리티카, 에버앨범에서 FTC는 기업들에 데이터를 삭제하도록 하고 아울러 부정하게 얻은 데이터에서 파생된 알고리즘, 모델, 그 밖의 도구 같은 데이터 제품을 삭제하거나 생성하지 못하도록 하는 명령을 여러 건 받아 냈다."
명령의 문장은 분명하다. 그다음 칸이 비어 있다. 모델과 알고리즘이 정말 지워졌는지 규제 당국은 바깥에서 무엇으로 확인하는가. 그 절차는 명령 어디에도 적혀 있지 않다. 이행 여부는 결국 기업이 제출하는 보고로 확인된다. 그리고 그 보고에 붙일 기술적 증거로 지금까지 쓸 수 있었던 것이 바로 이 글의 2절에 나온 출력 기반 검사다.
ODR이 보여 준 것을 이 맥락에 놓으면 무게가 달라진다. 검증 절차가 출력만 보는 한, 명령을 받은 쪽이 성실히 모델을 다시 학습시켰든 분류기 한 층만 고쳤든 제출물은 똑같아 보인다. 명령문을 아무리 강하게 써도, 집행력은 검증 수단이 어디를 보느냐에서 나온다.
페블러스가 머신 언러닝 검증에 주목하는 이유
6.1검증받는 쪽이 만든 신호는 증거가 되기 어렵다
이 논문이 97%라는 숫자로 보여 준 것은 특정 알고리즘의 결함이 아니다. 검증 신호를 검증받는 쪽이 통제하는 층에서 뽑으면, 그 신호가 아무리 정교해도 증거의 지위를 얻지 못한다는 구조적 사실이다. ODR은 새로운 공격 기법이라기보다, 검증 신호를 어디서 꺼내 왔는지를 드러낸 실험에 가깝다.
RUV도 이 문제에서 완전히 벗어나지는 못했다. 중간 표현을 꺼내 주는 주체 역시 모델을 가진 쪽이다. 파라미터와 학습 로그를 요구하지 않는 설계는 기업이 받아들일 여지를 넓히지만, 검증에 쓰이는 재료는 여전히 제공자의 손을 거쳐 나온다. 논문이 겨냥한 공격은 출력 층에 머물러 있고, 표현 층을 상대로 한 위장이 같은 식으로 가능한지는 아직 검증되지 않았다. 실험 범위도 이미지 분류 모델에 한정돼 있어, 저자들은 생성형 모델과 멀티모달 모델로의 확장을 다음 과제로 남겼다.
논문의 반론도 적어 둘 만하다. 표현 층을 속이려면 나머지 성능을 유지한 채로 네 가지 신호를 한꺼번에, 그것도 삭제 대상에만 걸리도록 맞춰 바꿔야 한다. 분류기 한 층을 고치거나 등록된 질문 하나를 가로채는 것과는 품이 다르다. 저자들은 위장하는 비용을 실제로 지우는 비용 쪽으로 밀어 올리려 했다. 검증의 목적이 부정을 원천 봉쇄하는 것이 아니라 거짓말을 비싸게 만드는 데 있다면 이 설계는 그 조건을 충족한다.
6.2지웠다는 증명은 데이터 쪽에서도 준비된다
삭제를 증명하는 문제는 모델 쪽에서만 풀리지 않는다. 먼저 무엇을 지울지부터 특정해야 한다. 페블러스가 7월에 살핀 토큰 단위 출처 추적은 데이터셋 단위 출처로 저자 한 명의 몫을 지우려다 무고한 데이터까지 최대 101배 함께 지워지는 문제를 다뤘고, 에이전트 메모리의 삭제 문제는 이름표 없이 적힌 기록에는 삭제 요청이 닿을 대상조차 없다는 점을 짚었다. 지웠다는 주장을 검증하는 일은 이 두 질문 뒤에 온다. 무엇이 들어갔는지 모르면 무엇이 빠졌는지도 확인할 수 없다.
페블러스가 데이터클리닉으로 하는 일이 이 계보에 있다. 데이터를 고차원 공간에 펼쳐 어디에 무엇이 모여 있고 어디가 비어 있는지 진단하는 도구이고, 진단 방법은 미국 특허 US 12,481,720으로 등록돼 있다. 학습에 들어간 데이터의 분포를 좌표로 쥐고 있다는 것은, 특정 데이터가 빠진 뒤 그 자리가 실제로 비었는지를 물을 수 있는 기준선을 쥐고 있다는 뜻이기도 하다.
데이터를 다루는 조직이 이 연구에서 가져갈 문장은 하나로 줄어든다. 회사가 지웠다고 답할 때, 그 답을 뒷받침하는 증거가 회사가 고를 수 있는 것이라면 검증은 아직 시작되지 않았다. 삭제 요청 처리 절차를 설계하는 쪽이 먼저 정해야 할 것은 어떤 언러닝 기법을 쓸지가 아니라, 지웠다는 사실을 무엇으로 보일지다. 더 읽을거리로는 데이터 진단과 합성을 하나의 고리로 잇는 데이터 그린하우스 전략, 데이터 품질을 국제 표준의 언어로 적는 ISO/IEC 5259 로드맵이 있다.
참고문헌
학술 논문
- 1.Zhou, L., Zhu, Y., & Liu, R. (2026). "Rethinking the Verification of Machine Unlearning." arXiv:2611.18658.
공식 문서
- 2.Federal Trade Commission. (2023). "FTC and DOJ Charge Amazon with Violating Children's Privacy Law by Keeping Kids' Alexa Voice Recordings Forever and Undermining Parents' Deletion Requests." FTC Press Releases.
업계·보도
- 3.전자신문/AI매터스. (2025). "개인정보 삭제 요청하면 AI가 '진짜' 잊는다... '머신 언러닝' 기술 급부상."
- 4.ZDNet Korea. (2026). "[기고] AI 모델은 과연 잊을 수 있는가."