Executive Summary

주요 수치

출처: Godinot et al., arXiv:2608.04365 (AIES 2026)

2025년 말 로이터가 메타 내부 문서를 근거로 보도한 내용이 이 논문의 문제의식을 그대로 보여 줍니다. 일본 규제당국은 페이스북과 인스타그램의 사기 광고를 확인할 때 메타가 공개한 광고 라이브러리를 검색해 봤습니다. 메타는 규제당국과 언론이 주로 쓰는 검색어와 유명인 이름을 파악한 뒤, 같은 검색을 자기들이 먼저 돌려 그 결과에 걸리는 사기 광고를 지웠습니다.

내부 문서에 적힌 목표는 규제기관과 조사관, 기자에게 문제 광고가 검색되지 않게 하는 것이었습니다. 어느 메모에는 한 주 동안 발견된 광고가 100건 미만이었고 마지막 나흘은 0건이었다는 성과 보고가 남아 있습니다. 일본은 결국 메타가 우려하던 광고주 신원 확인 의무를 부과하지 않았고, 이 방식은 미국과 유럽, 인도, 호주, 브라질까지 적용되는 내부 문서상의 글로벌 플레이북이 됐습니다. 메타는 사기 광고가 검색 결과에서 줄어든 것은 실제로 집행이 이뤄졌기 때문이라고 반박했습니다.

여기서 무너진 것은 광고 라이브러리라는 제도가 아닙니다. EU 디지털서비스법 제39조는 초대형 온라인 플랫폼에 광고 저장소를 공개하도록 법적 의무를 걸어 두었고, 저장소는 실제로 열려 있었습니다. 무너진 것은 그 안을 들여다보는 방식이 상대에게 보인다는 조건입니다. 감사 질의가 관찰 가능하면, 감사받는 쪽은 시스템 전체가 아니라 질의가 닿는 자리만 손보면 됩니다. 투명성 창구를 여는 일과 그 창구가 조작에 버티게 만드는 일은 서로 다른 과제입니다.

공정성 평가에서도 구조는 같습니다. 제공자는 입력에서 성별이나 인종 같은 민감 속성을 상당한 정확도로 추론할 수 있고, 감사에 쓰일 만한 구간에서만 집단 간 승인율을 맞추면 인구통계적 패리티 같은 지표를 통과합니다. 실제 서비스는 불공정한 채로 남습니다. 설명 가능성 보고서를 요구하든 공정성 지표를 자율 공시하게 하든, 제공자의 협조와 감사 시점의 예측 가능성에 기대는 방식이라면 이 구멍은 남아 있습니다.

Godinot과 공저자들이 제안한 respir는 감사 절차를 네 단계로 나눕니다. 먼저 감사자와 제공자가 후보 집합을 합의합니다. 실제 감사에 쓸 표본보다 훨씬 큰, 수천에서 수만 건 규모의 데이터입니다. 다음으로 제공자가 그 후보 집합 전체에 모델을 돌려 입력과 출력의 쌍을 데이터베이스로 만듭니다. 감사에 쓰이지 않을 항목까지 전부 답을 내야 합니다.

핵심은 세 번째 단계입니다. 감사자는 사적 정보 검색(Private Information Retrieval)이라는 암호 기법으로 그 데이터베이스에서 자기가 쓸 부분집합만 꺼내 옵니다. 이 기법은 데이터베이스를 가진 쪽이 어떤 항목이 조회됐는지 알아낼 수 없도록 설계돼 있습니다. 제공자는 후보 집합이 무엇인지는 알지만, 그중 어느 항목이 실제 판정에 들어갔는지는 알 수 없습니다. 마지막으로 감사자가 회수한 출력으로 집단 간 격차를 계산해 허용 오차 안인지 판정합니다.

이 설계가 상대로 삼는 제공자는 꽤 강한 쪽입니다. 배포한 모델은 그대로 두고 감사 질의에 대해서만 예측을 원하는 만큼 뒤집을 수 있고, 어느 입력을 골라 뒤집을지도 자기가 정합니다. 후보 집합에 무엇이 들어 있는지도 처음부터 알고 있습니다. 프로토콜이 가리는 정보는 딱 하나, 그중 어느 항목이 실제 판정에 쓰였는가입니다. 안전성이 제공자의 선의가 아니라 이 한 가지 정보 비대칭에서만 나옵니다.

이 구조가 조작의 값을 올리는 방식은 단순합니다. 기존 블랙박스 감사에서 제공자가 손대야 할 대상은 감사 표본에 든 소수집단 응답뿐입니다. respir에서는 어느 항목이 표본에 들어갈지 모르니, 불공정을 감추려면 후보 집합 전체에 걸쳐 일관되게 답을 비틀어야 합니다. 논문은 위조 비용의 하한이 감사 표본 안의 소수집단 크기에서 후보 집합 안의 소수집단 크기로 옮겨 간다는 것을 증명합니다. 아래 도식이 그 차이를 개념적으로 나타낸 것입니다.

적발 장치도 붙습니다. 감사자는 정답을 미리 아는 카나리 질의를 후보 집합에 섞어 둡니다. 제공자가 위조 범위를 넓힐수록 그 카나리 중 하나를 건드릴 확률이 같이 올라갑니다. 조작을 원천 봉쇄하는 대신, 조작을 하려면 더 많이 해야 하고 더 많이 할수록 더 잘 걸리게 만드는 설계입니다.

실무적으로 눈여겨볼 점은 모델 쪽에 요구하는 변경이 없다는 것입니다. 제공자는 학습 절차도 추론 파이프라인도 고칠 필요가 없고, 후보 집합에 답을 내면 됩니다. 암호 부분도 새로 발명한 것이 아닙니다. 저자들은 SimplePIR을 검증 가능하도록 확장한 VeriSimplePIR을 그대로 가져다 씁니다. 감사자가 지는 부담도 크지 않습니다. 8GiB 규모 데이터베이스에서 온라인 조회에 약 3.6초, 통신량 약 2.4MiB가 들었습니다. 128MiB 규모라면 28밀리초에 290KiB 수준입니다. 연 1회나 분기 1회로 도는 규제 감사에는 사실상 부담이 되지 않는 수치입니다.

저자들은 세 가지 감사 상황에서 프로토콜을 돌렸습니다. 신용카드 연체 예측(CCD)에서 보호 속성은 성별, 재범 위험 예측(COMPAS)에서는 인종, 혐오표현 탐지(HateDay)에서는 언어입니다. 기준은 하나로 맞췄습니다. 원래 있던 불공정의 절반을 감추려면 응답을 몇 개나 뒤집어야 하는가입니다.

눈여겨볼 것은 그 배수입니다. 후보 집합이 감사 표본의 두 배로 잡혀 있는데 비용은 두 배가 아니라 네 배로 뛰었습니다. 논문이 증명한 것은 하한뿐이고, 실제로 위조에 든 양은 그 하한보다 크게 나왔다는 뜻입니다. 감사자가 후보 집합을 더 크게 잡을수록 이 격차는 더 벌어집니다.

감사 규모를 키우지 않고도 조작 비용을 올릴 수 있는 손잡이가 하나 생긴 셈인데, 이 손잡이에는 대가가 붙습니다. 후보 집합을 키우면 제공자가 답을 내야 하는 횟수도 같이 늘어납니다. 감사에 실제로 쓰이는 것은 그중 절반뿐인데도 나머지 절반에 대해 추론을 돌려야 하므로, 감사자가 조작 비용을 올리려 할수록 제공자의 계산 부담이 먼저 올라갑니다. 어디까지가 합리적인 요구인지는 결국 감사 제도가 정해야 할 몫입니다.

적발 확률 쪽 수치는 더 직관적입니다. COMPAS의 인종 속성에서 카나리를 5개 심었을 때, 기존 블랙박스 감사의 적발 확률은 10.74%였고 respir에서는 20.53%였습니다. 카나리를 50개로 늘리면 67.89%에서 89.96%로 올라갑니다. 같은 개수의 카나리로 더 많이 잡아낸다는 뜻이고, 이는 제공자가 손을 댄 면적 자체가 넓어졌기 때문입니다.

저자들이 스스로 밝힌 한계가 세 가지입니다. 첫째, 감사 집합을 감추는 것은 필요하지만 늘 충분하지는 않습니다. 후보 집합 자체는 제공자에게 공개돼 있으므로, 제공자가 후보 전체에 통일된 전략을 쓰는 길은 여전히 열려 있습니다. 이 프로토콜은 그 길을 막는 것이 아니라 비싸게 만듭니다.

둘째, 보호집단의 비중이 극단적으로 작으면 방어가 급격히 약해집니다. HateDay에서 소수 언어는 후보 집합의 8% 남짓이었고, 이 조건에서는 카나리를 50개까지 늘려도 적발 확률이 낮게 유지됐습니다. 조작을 감추는 데 필요한 뒤집기가 7건에서 26건으로 늘긴 했지만, 절대량 자체가 워낙 적습니다. 구조적으로 작은 소수자를 보호하는 일은 이 설계에서도 여전히 가장 취약한 지점입니다.

셋째, 후보 집합이 실제 운영 환경을 대표하지 못하면 감사 통과가 실제 공정성을 보장하지 않습니다. 감사자가 어떤 데이터를 후보로 올렸는지가 결론을 좌우합니다. 질의를 감추는 암호 기법은 표본이 잘못 뽑힌 문제를 고쳐 주지 않습니다.

이 질문을 붙들고 있는 연구가 이 논문 하나는 아닙니다. 제공자가 조작을 시도할 때 어떤 모델이 상대적으로 감사하기 어려운지 따진 연구(arXiv:2402.09043), 불완전한 보조 데이터만으로 공정성 위장을 잡아내려 한 연구(arXiv:2305.13883), 감사자가 미리 가진 지식을 써서 감사를 더 강건하게 만드는 연구(arXiv:2505.04796)가 최근 몇 년 사이 나란히 나왔습니다. 공통점은 감사 결과가 아니라 감사 절차 자체를 검증 대상으로 놓는다는 것입니다. 그중에서 이 논문은 감사자가 무엇을 물었는지를 숨기는 쪽을 골랐습니다.

그래서 이 논문이 실제로 옮겨 놓은 것은 논쟁의 위치입니다. 지금까지 감사 제도를 둘러싼 논의는 무엇을 의무화할 것인가에 머물러 있었습니다. 공정성 지표를 공시하게 할지, 제3자 접근을 허용할지, 보고서를 어느 주기로 낼지 같은 질문들입니다. 이 논문은 같은 의무를 두고 감사 절차를 어떻게 설계해야 감사받는 쪽의 협조 없이도 값이 남는지를 묻습니다. 조작 비용이 설계 변수로 올라온 것입니다.

학술 논문

• 1.Godinot, A., Azogagh, S., Ferry, J., Gambs, S. (2026). "Manipulation-Proof Oblivious Audits against Deceptive Model Providers." AIES 2026.
• 2.Godinot, A., Tredan, G., Le Merrer, E., Penzo, C., Taïani, F. (2024). "Under Manipulations, Are There Traceable Differences in Fairness Audit?" arXiv:2402.09043.
• 3.Garcia Bourrée, J., Le Merrer, E., Tredan, G., Rottembourg, B. (2023). "Leveraging Imperfect Sources to Detect Fairwashing in Black-Box Auditing." arXiv:2305.13883.
• 4.Garcia Bourrée, J. et al. (2025). "Robust ML Auditing using Prior Knowledge." ICML 2025.

업계·보도

• 5.Reuters (2026). "'Not findable': Meta devised global 'playbook' to stall scam-ad regulations in Japan, Europe, US and beyond, documents show."