Executive Summary
어느 절에 적힌 약속이 다른 절에 적힌 관행과 어긋나는 처리방침이 기업 123곳 가운데 15곳에서 나왔습니다. 여덟 곳 중 한 곳꼴입니다. 우리가 이 문서를 평가할 때는 대개 얼마나 읽기 쉬운지, 법이 요구하는 항목을 다 담았는지를 봅니다. 한 연구자는 다른 것을 물었습니다. 이 문서가 자기 자신과 일관적인가. 그 물음을 자동 파이프라인으로 만들어 처리방침 전체에 돌린 것이 이 논문입니다.
판정은 서로 다른 제공사의 LLM 세 모델이 다수결로 내렸고, 7개월 뒤 추출 모델과 판사 모델을 통째로 갈아 끼운 재실행에서도 같은 기준으로 13.0%가 나왔습니다. 다만 저자는 이 숫자가 모순의 유병률을 잰 값이 아니라 파이프라인의 성질이라고 못 박아 두었습니다. 어느 단계도 사람의 판단과 대조해 검증된 적이 없기 때문입니다.
논문이 하지 않는 주장도 분명합니다. 저자는 이 현상을 프라이버시 워싱이라 부르되 고의적 기만이라고 단정하지 않고, 독자가 실제로 오도됐는지는 범위 밖이라고 적었습니다. 이 글은 그 절제를 따라가면서, 여러 부서가 나눠 쓴 문서를 자동으로 정합성 검사한다는 방법론이 어디까지 믿을 만한지를 봅니다.
주요 수치
출처: Thomas Brackin, Privacy Washing: Detecting Internal Contradictions in Privacy Policies, arXiv:2609.02055v1(2026-09-02)
123곳 중 15곳
문서 내부 모순이 확정된 기업
12.2%입니다. 판정 단계까지 간 60곳만 놓으면 25%이고, 저자는 이 값을 하한이라고 적었습니다
12.2% → 13.0%
7개월 뒤 재실행 유병률
추출과 판사 모델을 전부 바꾸고 원 프로토콜 기준으로 다시 쟀을 때의 값입니다
32건 중 18건
제3자 공유가 걸린 확정 사례
1차 실행 기준 56.3%입니다. 확정률 차이는 p=0.26으로 유의하지 않습니다
15곳 → 8곳
만장일치만 인정할 때
다수결을 만장일치로 바꾸는 것만으로 확정 사례가 32건에서 12건으로 줄어듭니다
약속과 관행이 같은 문서에서 어긋난다
논문이 겨눈 것은 한 문서 안의 두 문장입니다. 앞쪽 어딘가에 회사가 무엇을 하지 않겠다고 적어 두고, 뒤쪽 어딘가에 그 일에 해당하는 관행을 적어 두는 경우입니다. 두 문장이 형식논리로 부딪히지 않아도 됩니다. 실제로 읽는 사람이 받아들이는 뜻에서 어긋나면 됩니다. 저자는 이런 화용론적 어긋남을 프라이버시 워싱이라 부르고, 이 개념을 계산으로 다룰 수 있게 만드는 것을 논문의 기여로 내세웁니다.
이 구분에는 앞선 계보가 있습니다. 정책 문서에서 모순을 찾는 일은 2019년 폴리시린트(PolicyLint)가 처음 체계화했습니다. 안드로이드 앱 정책 11,430건에 기호 규칙을 적용해 수집 주체와 행위, 데이터, 상대방으로 이뤄진 네 쌍을 뽑고 그 안에서 부정이 뒤집히는 자리를 찾아 14.2%에서 모순을 보고했습니다. 목적 개념까지 넣은 후속 연구 퍼플라이언스(PurPliance)는 18.14%를 보고했습니다. 이 계보가 잡는 것은 논리적 모순입니다. 판매하지 않는다는 문장과 광고 파트너에게 식별자를 넘긴다는 문장은 여기서 걸리지 않습니다. 판매와 공유는 다른 행위라 어떤 네 쌍도 뒤집히지 않기 때문입니다. 이 논문이 겨눈 자리가 정확히 그 틈이고, 그래서 이 논문의 12.2%와 폴리시린트의 14.2%는 나란히 놓을 수 없습니다. 모순의 정의도, 세는 단위도, 표본 규모도, 정책 종류도 다릅니다.
찾는 대상의 경계도 좁게 그어져 있습니다. 이 파이프라인은 정책 문서 내부의 모순만 봅니다. 앱 코드가 정책과 다르게 동작하는지, 정책이 법령을 다 지켰는지, 같은 회사의 다른 문서와 어긋나는지는 보지 않습니다. 그래서 여기서 나온 결과는 위법 판정도 아니고 기만 판정도 아닙니다. 문서 하나가 자기 자신과 맞지 않는다는 사실 하나입니다.
확정된 사례 세 건을 보면 어긋남의 모양이 서로 다릅니다. 하나는 탈식별화 약속과 식별자 관행이 부딪히는 형태이고, 하나는 광고 목적 공개를 부인한 뒤 CCPA상 판매나 공유에 해당할 수 있다고 적은 형태이며, 하나는 특정 항목을 제외하겠다는 약속을 모든 항목을 공유한다는 전칭 진술이 그대로 삼켜 버리는 형태입니다. 아래 문장들은 정책 원문을 그대로 옮긴 것이 아니라 파이프라인이 정책 조각에서 뽑아낸 원자 문장이고, 우리말은 그 문장의 옮김입니다.
마이크로소프트 · 판사 3인 만장일치 (유사도 0.51, NLI 1.00)
약속. 마이크로소프트는 개인정보를 필요한 범위에서 가장 식별되기 어려운 형태로 사용하며, 사업 운영에는 통계적으로 집계된 가명 데이터에 의존합니다.
관행. 마이크로소프트는 맞춤형 경험 데이터를 자사 서버로 전송하고, 개별 이용자를 인식하고 기기 패턴을 파악하기 위해 고유 식별자와 함께 저장합니다.
원문. COMMITMENT: Microsoft uses personal data in the least identifiable form necessary and relies on statistical and aggregated pseudonymized data for business operations. PRACTICE: Microsoft transmits Tailored experiences data to Microsoft servers and stores it with unique identifiers to recognize individual users and understand device patterns.
노션 · 판사 3인 만장일치 (유사도 0.56, NLI 1.00)
약속. 회사는 서비스를 통해 제3자의 제품이나 서비스를 광고하기 위해 이용자 정보를 공개하지 않습니다.
관행. 회사는 온라인 광고 서비스를 통해 제3자에게 온라인 식별자를 공개하며, 이는 CCPA상 판매 또는 공유에 해당할 수 있습니다.
원문. COMMITMENT: The company does not disclose user information to advertise third-party products or services via the Services. PRACTICE: The company discloses online identifiers to third parties through online advertising services in a manner that may constitute a sale or sharing under CCPA.
월마트 · 판사 3인 만장일치 (유사도 0.54, NLI 1.00)
약속. 회사는 문자메시지 수신 동의 데이터를 제3자의 마케팅 목적으로 공개하지 않습니다.
관행. 회사는 모든 범주의 개인정보를 특정 범주의 제3자에게 공개합니다.
원문. COMMITMENT: The company does not disclose text messaging opt-in and consent data to third parties for their marketing purposes. PRACTICE: The company discloses all categories of personal information with certain categories of third parties.
이름이 실린 회사들은 논문 공개 전에 통지를 받지 않았습니다. 저자는 분석 대상이 전부 공개 문서이고 이 판정이 아직 검증되지 않은 후보라 사전 통지가 필요 없다고 판단했다고 밝히면서, 그러나 전문가 검증으로 정밀도가 확립되고 이 결과가 규정 준수 신호로 다시 쓰이는 단계라면 회신 기간을 둔 사전 통지가 맞다고 덧붙였습니다. 회사 이름을 밝힌 이유는 공개된 정책 원문과 대조해야만 이 판정을 남이 검증할 수 있기 때문이라고 적었습니다.
원자 문장이라는 단서를 가볍게 넘기면 안 됩니다. 정책 조각에서 문장을 뽑아내는 일 자체를 LLM 세 모델이 했고, 저자는 어떤 모델이 추출 과정에서 완곡한 표현을 단정적으로 다듬는 경향이 있다면 그 모델이 뒤에서 같은 쌍을 모순으로 확정할 개연성도 함께 높아진다는 점을 스스로 방법론적 약점으로 적었습니다. 위 세 사례가 모두 판사 3인 만장일치라는 사실은 그 우려를 조금 덜어 주지만 없애지는 못합니다.
123곳 중 15곳, 이 숫자는 무엇을 쟀나
코퍼스는 두 개입니다. OPPT는 저자가 관할권별 공시를 다룬 다른 연구를 위해 2026년 1월 11일부터 13일까지 사흘 동안 모은 웹사이트 처리방침 123건이고, OPP-115는 2015년에 수집돼 학계에서 널리 쓰인 115건입니다. OPPT 쪽은 정책 문체와 조직 구조, 업종이 다양하게 섞이도록 고른 표본이라 소셜미디어와 통신, 금융, 의료, 여행, 유통, 데이터 브로커, AI 기업이 함께 들어 있습니다. 정책 길이는 7개 조각부터 191개 조각까지 벌어지고 중앙값은 24개입니다.
결과는 OPPT 123곳 중 15곳에 판사 패널이 확정한 모순이 최소 한 건 있다는 것입니다. 12.2%이고 95% 신뢰구간은 7.0에서 19.3% 사이입니다. 이 표본이 다양성을 기준으로 고른 것이라 저자는 이 구간이 더 넓은 기업 모집단에 대한 추론이 아니라 같은 코퍼스를 다시 뽑는 상황의 이항 변동만 설명한다고 적었습니다. 게다가 이 구간은 표집 변동만 담을 뿐 분류 오차는 담지 않는데, 사람 판단과 대조한 정밀도를 모르는 상태에서는 분류 오차 쪽이 더 클 수 있다고 덧붙입니다.
이 12.2%는 하한입니다. 123곳 중 판사에게 쌍이 올라간 곳은 60곳뿐이고, 나머지 63곳 가운데 45곳은 NLI 신호 자체가 잡히지 않았으며 18곳은 신호가 잡혔는데도 유사도 0.5 문턱을 넘지 못해 판정 자체를 받지 못했습니다. 판정을 받은 60곳만 놓으면 비율은 25%로 올라갑니다. 어느 쪽을 분모로 삼느냐가 숫자를 두 배로 바꿉니다.
하한이라는 말에는 더 불편한 근거도 있습니다. 저자는 지금 파이프라인의 이전 판, 문장이 아니라 문단 단위로 돌던 시험판에서 사람이 직접 검토한 기록을 남겨 두었습니다. 자연어추론이 표시한 71쌍을 놓고 그 검토자는 45쌍을 진짜 모순, 19쌍을 경계 사례, 7쌍을 오탐으로 분류했는데, 같은 세 모델의 판사 패널은 71쌍 중 57쌍을 기각했습니다. 아홉 개 회사에서는 검토자가 진짜라고 본 쌍을 판사가 하나도 남기지 않았습니다. 반대 방향은 더 심합니다. 같은 시험판에서 판사가 확정한 126쌍 가운데 112쌍, 89%는 애초에 자연어추론 점수가 문턱 아래였고 상당수는 정확히 0.0이었습니다. 두 신호가 겹치는 비율은 7.7%에 그쳤습니다.
이 검토가 검토자 한 명의 판단이고 지금 파이프라인에서 다시 돌린 적은 없다고 저자는 못 박습니다. 그래도 방향은 분명합니다. 자연어추론은 값싼 선별 신호이자 회수의 병목이고, 판사는 정밀도 쪽으로 기울어 있습니다. 확정 건수는 앞 문단의 필터 논증으로 짐작한 것보다 더 아래에 있을 수 있고, 판사 패널을 정답에 가까운 것으로 취급해서도 안 됩니다. 저자가 이 대목에서 끌어낸 경고입니다.
집계 규칙도 숫자를 만듭니다. 세 판사 중 둘이 동의하면 확정하는 현재 규칙에서 OPPT 확정은 32건, 기업은 15곳입니다. 셋이 모두 동의할 때만 인정하는 더 엄격한 규칙으로 바꾸면 12건, 8곳으로 줄어듭니다. 저자는 이 12에서 32까지의 폭이 집계 규칙 하나에서만 오는 불확실성이며 앞의 이항 신뢰구간보다 넓다고 적었습니다. 여덟 곳 중 한 곳이라는 말은 그러니까 다수결이라는 규칙 위에 서 있는 숫자입니다.
옛 코퍼스인 OPP-115에서는 115곳 중 42곳, 36.5%가 나왔습니다. 11년 사이에 모순이 세 배 줄었다는 이야기로 읽고 싶어지는 대목인데, 저자는 그 해석을 여러 차례 막습니다. 두 코퍼스 실행이 필터 설정부터 달랐기 때문입니다. 설정을 맞춘 재실행에서 두 값의 격차는 대략 절반으로 줄지만 사라지지는 않습니다. 저자는 이 격차를 시대 효과로도 코퍼스 효과로도 해석할 수 없다고 결론짓습니다.
검사기가 아무 말도 하지 않은 자리도 숫자입니다. 민감정보 카테고리에서는 두 코퍼스 어느 쪽에서도 확정 모순이 한 건도 나오지 않았습니다. OPPT에서 문장 67개가 뽑혀 28쌍이 판정을 받았지만 확정은 0이었고, OPP-115에서는 민감정보 문장이 아예 하나도 추출되지 않았습니다. 자동화된 결정 카테고리는 문장 40개에 판정 1쌍, 확정 0입니다. 민감정보를 조심해서 쓴 결과인지, 추출이 그런 문장을 놓친 것인지, 카테고리 정의가 그 문장들을 다른 칸으로 보낸 것인지, 저자는 셋 중 무엇인지 가릴 수 없다고 적었습니다. 0건은 안전하다는 뜻이 아니라 아직 아무것도 재지 못했다는 뜻입니다.
논문 한계 절의 첫 문장이 이 절 전체를 요약합니다. 추출도, 문장 유형 분류도, 판정도 어느 단계 하나 사람이 붙인 라벨과 대조된 적이 없고, 따라서 보고된 모든 수치는 파이프라인의 성질이지 모순 유병률의 측정값이 아니라는 것입니다. 결론에서 저자는 이 그림을 가장 크게 바꿀 단일 조치가 프라이버시 법 전문가의 블라인드 주석이라고 적고, 그때까지 이 파이프라인은 후보를 뽑아 주는 도구일 뿐 측정 도구도 집행 도구도 아니라고 선을 그었습니다.
판정을 세 모델의 다수결에 맡겼다
파이프라인은 네 단계입니다. 정책 조각에서 약속 문장과 관행 문장을 뽑고, 메타데이터로 서로 비교할 만한 쌍만 남긴 뒤 의미 유사도와 자연어추론 점수로 한 번 더 거르고, 남은 쌍을 판사 패널에 올려 판정하고, 확정된 것을 주제별로 집계합니다. 세 번째 단계에 도달하기 전에 원래 쌍의 95.9%가 걸러집니다. 값비싼 판정을 소수에만 쓰는 구조라 회사 한 곳을 처리하는 데 드는 API 비용이 0.07달러 수준입니다.
판정 단계에서 모순이 무엇인지를 정하는 것은 정의문이 아니라 프롬프트입니다. 저자는 본문에서 이 점을 그대로 밝히고 부록에 프롬프트 전문을 실었습니다. 거기서 모순이 아닌 경우를 여섯 가지로 못 박습니다. 관행이 약속을 이행하거나 뒷받침할 때, 같은 약속을 말만 바꿔 되풀이할 때, 약속과 무관한 관행일 때, 다른 데이터 종류나 다른 이용자 집단이나 다른 맥락을 말할 때, 약속이 할 수도 있다는 식으로 여지를 남겨 두고 관행이 그 여지 안의 일일 때, 그리고 같은 회사의 다른 제품이나 서비스를 말할 때입니다. 논문이 보고한 모든 수치는 이 여섯 줄의 산물입니다. 프롬프트 파일 자체는 저장소에서 버전 관리를 받지 않고 두 실행 사이에 수정되지 않았다고 저자가 적어 두었습니다.
판사들이 이 여섯 줄을 일관되게 지키지도 않았습니다. 다른 제품 이야기는 모순이 아니라는 마지막 지시가 있는데도, 듀오링고와 우버에서 확정된 쌍은 특정 제품이나 이용자군에 한정된 약속을 범위를 밝히지 않은 일반 관행 진술이 삼키는 형태였습니다. 이 형태를 저자는 패널 행동과 조작적 정의 사이의 불일치라고 적고, 이런 유형이 몇 건인지는 세지 않았다고 덧붙입니다. 반대 방향의 문제도 있습니다. 약속에 붙은 한정어를 근거로 쌍을 걸러 내는 필터가 하나 있습니다. 동의를 받은 경우나 수탁 처리, 인수합병 예외에 해당하는 관행 문장을 오탐일 가능성이 높다고 보고 버리는 장치입니다. 그런데 이전 후보 생성 단계에서 캐시를 타고 넘어와 이 필터만 통과하지 못한 채 판정까지 올라간 쌍이 30개 있었고, 그중 8개가 확정됐습니다. 26.7%입니다. 정상 경로로 남은 263쌍의 확정률 9.5%의 세 배에 가깝습니다. 필터가 오탐이라고 버리는 부류를 판사는 유독 잘 확정한다는 뜻입니다. 저자는 이 필터를 끄고 버려지는 쌍을 전부 판정해 보는 실험을 남은 과제 가운데 가장 값어치 있는 하나로 꼽습니다.
판사는 세 제공사의 모델이고 둘 이상이 동의하면 확정입니다. OPPT에서는 293쌍이 판정을 받아 83.6%가 만장일치, 16.4%가 다수결이었고 Fleiss 카파는 0.48이었습니다. OPP-115는 663쌍에 만장일치 81.4%, 카파 0.57입니다. 문제는 세 판사의 성향이 고르지 않다는 데 있습니다. 같은 쌍을 놓고 모순이라고 답한 비율이 구글 모델은 6.5%, 앤트로픽 모델은 13.0%, 오픈AI 모델은 16.4%였습니다.
이 차이가 확정 건수로 그대로 넘어갑니다. 재분류 이전 OPPT 확정 33건 가운데 16건, 48%가 가장 보수적인 구글 판사의 반대를 나머지 둘이 이긴 2 대 1 결정이었습니다. 판정된 숫자를 만든 것이 현상만이 아니라 패널 구성이기도 하다는 사실을 저자는 여기서 짚습니다.
판사를 만든 세 회사가 모두 분석 대상 코퍼스 안에 들어 있다는 문제도 남습니다. 세 모델이 자기를 만든 회사의 처리방침을 채점한 셈입니다. 저자는 이 지점을 따로 검토했습니다. 구글은 판정에 올라간 4쌍이 전부 확정됐고 구글 판사는 그중 2건에 반대표를 던졌는데, 이 판사의 확정 건 전반에 대한 반대율이 48%라 자기 회사를 봐줬는지 아닌지가 전반적인 보수성과 구별되지 않습니다. 앤트로픽과 오픈AI는 각각 1쌍뿐이었고 셋 모두 기각했습니다. 자기선호의 증거는 없지만 이 표본 크기에서는 검정력이 사실상 없다고 저자는 정리합니다.
7개월 뒤의 재실행이 이 문제들을 한꺼번에 건드립니다. 추출은 1차 패널의 후속 모델 셋에 맡기고, 판정은 두 코퍼스 어디에도 회사로 등장하지 않는 중국계 제공사 모델 셋에 맡겼습니다. 추출자와 판사가 겹치지 않고 판사의 이해충돌도 사라진 설정입니다. 여기에 두 코퍼스 모두에 메타데이터 필터를 걸어 설정을 맞췄고, 유사도 문턱 없이 NLI가 표시한 모든 쌍을 판정에 올렸습니다.
원 프로토콜과 같은 조건에서 재실행의 OPPT 유병률은 13.0%로 나왔습니다. 1차의 12.2%와 사실상 같은 값이고, 추출 모델도 판사 모델도 캐시도 전부 다른 상태에서 나온 값입니다. 문턱을 없애고 NLI가 표시한 쌍을 전부 판정하면 유병률은 20.3%로 올라갑니다. 0.5 아래 쌍도 위쪽 쌍과 비슷한 비율로 확정된다는 뜻이고, 1차의 문턱이 상당한 회수 손실을 냈다는 뜻이기도 합니다.
재현된 것과 재현되지 않은 것을 저자가 구분해 둔 대목이 이 논문에서 가장 정교한 부분입니다. 어느 카테고리가 모순으로 많이 잡히느냐, 특히 제3자 공유가 다수를 차지한다는 관찰은 패널을 바꾸자 재현되지 않았습니다. 반면 같은 유형의 카테고리 쌍이 반복해서 등장한다는 사실 자체는 패널을 바꿔도 남았습니다. 무엇이 걸리는지는 판사에 따라 흔들리고, 같은 자리에서 반복해서 걸린다는 구조는 흔들리지 않았습니다.
제3자 공유에 몰렸지만 이유는 아직 모른다
1차 실행에서 확정된 모순이 어디에 몰렸는지부터 보겠습니다. 카테고리 쌍으로 세면 특정 쌍이 압도하지 않습니다. 제3자에서 제3자로 가는 쌍, 자사에서 자사로 가는 쌍, 판매·공유에서 제3자로 가는 쌍이 각각 32건 중 6건씩 18.8%로 동률 1위입니다. 그런데 양쪽 중 한쪽이라도 제3자 공유와 관련되면 하나로 묶는 주제 단위로 세면 그림이 달라집니다. OPPT는 32건 중 18건으로 56.3%, OPP-115는 79건 중 55건으로 69.6%입니다.
이 집중을 그대로 원인으로 옮기지 말라고 저자가 곧바로 붙잡습니다. 애초에 판정에 올라간 쌍 자체가 자사와 제3자 카테고리에 많이 몰려 있었기 때문입니다. 재분류 이전 수치로 확정률을 비교하면 OPPT에서 제3자나 판매·공유가 한쪽에라도 낀 쌍은 174건 중 23건, 13.2%가 확정됐고 그렇지 않은 쌍은 119건 중 10건, 8.4%가 확정됐습니다. 차이가 있어 보이지만 양측 피셔 정확검정에서 p는 0.26입니다. OPP-115에서는 15.7% 대 13.6%에 p가 0.50입니다.
판사가 이 방향으로 유도됐을 가능성도 저자가 스스로 적어 두었습니다. 부록에 실린 판사 프롬프트의 모순 예시가 전부 제3자 공유와 판매 패턴이기 때문입니다. 여기에 앞 절에서 본 재실행 결과가 겹칩니다. 판사 모델을 바꾸자 제3자 우위가 재현되지 않았습니다. 세 가지를 합치면 남는 말은 하나입니다. 확인된 모순의 다수가 제3자 공유 조항에 몰려 있었다는 관찰은 사실이지만, 제3자 공유가 유독 모순이 잘 생기는 영역이라는 결론은 이 데이터에서 나오지 않습니다.
문서 정합성 검사를 자동화하려는 조직이라면 이 구분을 그대로 가져갈 만합니다. 검사 결과가 특정 항목에 몰려 나올 때, 그 항목이 실제로 취약한 것인지 아니면 검사기가 그 항목의 문장을 더 많이 후보로 올린 것인지는 다른 질문입니다. 두 질문을 나누지 않으면 후보 생성 단계의 편향이 검사 결론으로 승격됩니다.
저자는 고의 대신 문서 구조를 지목한다
그러면 왜 이런 어긋남이 생길까요. 저자는 다섯 가지 메커니즘을 제시하면서 이것이 확정 사례를 정성적으로 들여다본 가설이지 정량으로 코딩한 발견이 아니라는 단서를 앞에 붙입니다. 다섯 중 하나인 인수합병 상용구는 이번 강화 파이프라인의 확정 모순 중에 해당 사례가 아예 없습니다.
첫째는 규제가 켜켜이 쌓이면서 생기는 문제입니다. 캘리포니아 소비자 프라이버시법이 판매와 공유 여부를 공시하고 옵트아웃을 보장하라고 요구하자 기업들이 우리는 판매하지 않는다는 문구를 정책에 덧붙였습니다. 그런데 이 법의 판매 정의가 금전 또는 기타 유가 대가라는 표현에 기대고 있고 유가 대가가 무엇인지는 분명치 않습니다. 2022년 캘리포니아 법무장관의 세포라 합의는 광고 서비스를 받는 대가로 소비자 데이터를 넘기는 것도 여기에 해당한다는 입장을 취했지만, 기업들은 그런 교환을 계속하면서 판매하지 않는다고 적었습니다. 캘리포니아 프라이버시권리법이 교차맥락 행동광고를 뜻하는 공유 개념을 따로 넣어 일부를 정리했으나, 원래의 정의 모호성이 판매·공유 패턴의 구조적 조건을 만들었다고 저자는 봅니다.
둘째는 한 문서가 너무 많은 사업부를 담는다는 문제입니다. 마이크로소프트의 정책은 윈도우와 엑스박스, 오피스, 빙, 링크드인을 비롯한 수십 개 서비스를 한 문서에 넣습니다. 저자가 예로 든 것은 폰 링크가 앱 데이터를 저장하지 않는다는 문장인데, 그 제품에 한정하면 맞는 말이지만 같은 문서 안에 전사 차원의 앱 이름과 버전, 활동 데이터 수집이 나란히 놓입니다. 저자는 이 예시가 패널이 확정한 쌍이 아니라 정책 본문에서 자신이 고른 예시라고 밝혀 두었습니다. 나머지 셋은 인수합병 상용구, 템플릿이 절별로 따로 개정되며 벌어지는 어긋남, 약속과 관행 사이의 비대칭입니다.
이 다섯 가지가 맞다면 문서의 어긋남은 누가 숨기려 해서가 아니라 여러 부서와 여러 시기의 문장이 한 파일에 쌓이면서 생깁니다. 저자가 고의를 단정하지 않는 이유이기도 하고, 이 이야기가 개인정보 처리방침 밖으로 나가는 이유이기도 합니다. 데이터 거버넌스를 문서로 증명하는 조직이라면 어디든 같은 조건을 갖고 있습니다. 보안 정책과 데이터 처리 지침, 모델 카드, 고객 대상 약속이 서로 다른 팀에서 다른 시점에 쓰이고 한 번도 나란히 놓고 대조되지 않습니다.
검사기를 문서에 겨누면 문서도 반응합니다. 이 논문 안에 그 실마리가 있습니다. 아마존과 넷플릭스, 에어비앤비는 확정 모순이 하나도 없었고 판정에 올라간 11쌍이 전부 만장일치로 기각됐습니다. 그런데 이 회사들의 추출 결과에서는 관행 문장 대 약속 문장의 비가 유난히 높습니다. 넷플릭스가 4.7 대 1, 에어비앤비가 10.3 대 1이고 에어비앤비 정책 전체에서 뽑힌 약속 문장은 셋뿐이었습니다. 약속을 적게 적은 문서는 어긋날 자리도 적습니다. 저자는 여기에 약속 회피라는 이름을 붙이되 가설에서 멈춥니다. 123곳 전체로 보면 이 비의 중앙값은 1.71이고 5 대 1을 넘는 회사는 다섯 곳뿐이며, 확정 모순 보유 여부와의 상관은 유의하지 않습니다(스피어만 ρ=0.146, p=0.107). 문장 유형 분류가 사람 라벨과 대조된 적이 없어서 이 비가 작문 전략인지 사업 모델인지 추출기의 버릇인지도 이 데이터로는 가릴 수 없습니다. 그래도 방향은 새겨 둘 만합니다. 정합성만 재는 검사기는 약속을 지운 문서에 가장 좋은 점수를 줍니다.
워싱이라는 센 말을 왜 쓰는지도 저자가 따로 답합니다. 이 말에는 의도적 기만의 어감이 있고 논문의 발견은 그것을 입증하지 않습니다. 그래서 근거를 미국 연방거래위원회의 전체 인상 기준에 둡니다. 문장 하나하나가 문자 그대로 참이어도 문서가 남기는 전체 인상이 오도하면 기만으로 볼 수 있다는 1983년 정책성명의 기준이고, 여기에는 의도 입증이 필요 없습니다. 캘리포니아 프라이버시보호국이 2024년 9월 다크패턴 지침에서 채택한 의도가 아니라 효과라는 기준도 같은 곳을 가리킵니다. 고의를 묻지 않겠다는 것은 저자가 조심스러워 물러선 선택이 아닙니다. 규제가 이미 그 자리에 서 있습니다. 다만 저자는 이 파이프라인을 집행에 바로 쓰지 말라고 함께 적습니다. 2025년 9월 캘리포니아 프라이버시보호국이 135만 달러에 합의한 트랙터서플라이 건은 판매 거부 링크가 작동하는 것처럼 보였으나 실제 추적기 전송을 막지 못한 사안이라, 문서만 읽는 이 파이프라인으로는 애초에 잡을 수 없는 종류였습니다.
이 논문을 읽을 때 함께 볼 사실이 하나 더 있습니다. 저자는 프라이버시 정책 분석 기술을 개발하는 회사 바리타스의 창업자이고, 이 논문의 파이프라인이 그 기술과 관련돼 있습니다. 논문 말미의 이해관계 고지에 그렇게 적혀 있고, 응용을 논하는 절에서는 아예 이 절의 주장을 그 상업적 이해관계를 감안해 읽으라는 문장을 본문에 넣어 두었습니다. 규제기관의 선별 지표로 쓸 수 있다거나 기업이 공표 전에 후보 불일치를 잡아낼 수 있다는 이야기가 그 절에 있습니다. 이해충돌이 있는 저자가 스스로 그 위치를 두 번 적어 두었다는 사실은 그 주장을 무효로 만들지는 않지만, 어디서 읽기를 멈추고 검증을 요구할지를 알려 줍니다.
문서 정합성 검사를 우리 파이프라인에 옮겨 놓으면 물음이 셋 남습니다. 아래는 논문에 없는 질문입니다.
- 우리 조직이 대외로 내보낸 데이터 관련 약속이 어느 문서 몇 곳에 흩어져 있는지 목록으로 있는가. 목록이 없으면 대조 자체가 시작되지 않습니다.
- 자동 검사를 붙인다면 그 결과를 무엇으로 확정하는가. 이 논문에서는 다수결을 만장일치로 바꾸는 것만으로 확정 사례가 32건에서 12건이 됐습니다.
- 검사기가 후보로 올리지 못한 문장은 어떻게 세는가. 123곳 중 63곳이 판정 자체를 받지 못했고, 그중 18곳은 신호가 있는데도 문턱에 걸렸습니다.
Editor's Note
페블러스가 데이터 품질을 진단할 때 자주 만나는 상황이 문서와 실제가 따로 노는 경우입니다. 이 논문은 그 이전 단계, 문서가 자기 자신과 따로 노는 경우를 잽니다. 개인정보 규제가 원본 데이터의 활용 조건을 다시 그리고 있다는 인접 논점은 원본 개인정보의 AI 학습을 위험 기반으로 다루려는 개인정보위 방향에서 다룬 적이 있습니다. 무엇을 하겠다고 적는 일과 실제로 무엇을 하는지는 대조되기 전까지 같은 것으로 취급됩니다.
읽어 주셔서 감사합니다. 논문 원문은 arXiv:2609.02055에서 볼 수 있고, 저자는 파이프라인과 중간 산출물, 판사 판정 결과를 함께 공개해 두었습니다. 대외로 내보낸 약속을 한자리에 모아 대조해 본 경험이 있다면 어떤 어긋남을 만났는지 나눠 주세요.
(주)페블러스 데이터 커뮤니케이션팀
2026년 9월 5일
참고문헌
1차 소스
- 1.Brackin, T. (2026). "Privacy Washing: Detecting Internal Contradictions in Privacy Policies." arXiv:2609.02055v1.
학술 논문
- 2.Andow, B., Mahmud, S. Y., Wang, W., Whitaker, J., Enck, W., Reaves, B., Singh, K., Xie, T. (2019). "PolicyLint: Investigating Internal Privacy Policy Contradictions on Google Play." USENIX Security Symposium, 585–602.
- 3.Bui, D., Yao, Y., Shin, K. G., Choi, J.-M., Shin, J. (2021). "Consistency Analysis of Data-Usage Purposes in Mobile Apps (PurPliance)." ACM SIGSAC CCS 2021, 2824–2843.
규제 문서·공식 발표
- 4.Federal Trade Commission (1983). "FTC Policy Statement on Deception."
- 5.California Office of the Attorney General (2022). "Attorney General Bonta Announces Settlement with Sephora as Part of Ongoing Enforcement of California Consumer Privacy Act." Press Release.
- 6.California Privacy Protection Agency (2024). "Avoiding Dark Patterns: Clear and Understandable Language, Symmetry in Choice." Enforcement Advisory No. 2024-02.
- 7.California Privacy Protection Agency (2025). "CPPA Reaches $1.35 Million Settlement with Tractor Supply Company for Violations of Consumers' Privacy Rights." Press Release.