Executive Summary

주요 수치

앞의 두 숫자는 합성 콘텐츠가 이미 만들어 낸 피해와 오염도를 보여 줍니다. 마지막 숫자는 이 논문이 아직 갖지 못한 것입니다.

출처: Nature, 뉴욕 남부지검, arXiv:2608.07337

논문은 2018년 뉴욕 매거진에 실린 질문 하나를 먼저 꺼냅니다. 인터넷에서 가짜는 얼마나 될까. 맥스 리드가 내놓은 답은 생각보다 많다는 것이었고, 그가 짚은 전환점은 가짜의 양이 아니라 기준의 뒤집힘이었습니다. 사람이 만들지 않은 콘텐츠가 기준선 노릇을 하고, 사람의 행동이 거꾸로 그 기준에 비추어 진짜인지 평가받기 시작하는 지점입니다. 저자들이 이 장면에서 출발하는 것은 판별 기술에 걸린 기대가 어디서 왔는지 보여 주기 위해서입니다. 진짜라는 범주가 흔들릴수록 그것을 되돌려 줄 도구를 찾게 되고, 워터마크가 그 자리에 놓였습니다.

워터마크는 눈에 보이는 도장이 아니라 통계 신호입니다. 언어 모델 워터마킹의 기본형은 생성 과정에서 특정 단어 묶음이 조금 더 자주 뽑히도록 확률을 비틀어 두고, 나중에 그 편향이 남아 있는지를 검정하는 방식입니다. 그래서 검출기가 내놓는 것은 판결문이 아니라 확률값이고, 어디에 임계선을 그을지에 따라 위양성과 위음성의 비율이 함께 움직입니다. 둘을 동시에 0으로 만드는 임계선은 존재하지 않습니다.

텍스트에서는 사정이 더 나쁩니다. 이미지나 오디오와 달리 문장은 담을 수 있는 여분의 정보량이 적습니다. 짧은 글, 정형화된 답변, 숫자와 인용이 많은 문단일수록 새길 자리가 좁아지고, 남은 신호도 문장을 조금 고쳐 쓰는 것만으로 흐려집니다. 이론 쪽 결과도 같은 방향을 가리킵니다. 품질을 크게 떨어뜨리지 않으면서 워터마크를 지우는 일반적인 공격이 가능하다는 불가능성 논증이 2024년에 나왔고, 누구나 검증할 수 있으면서 동시에 강건한 워터마크를 만드는 일이 왜 어려운지도 따로 정리돼 있습니다.

검출기를 공개하는 문제도 남습니다. 2021년에 정리된 탐지 딜레마는 이 긴장을 이렇게 요약합니다. 검출 도구를 널리 열어 둘수록 저널리스트와 시민이 쓸 수 있게 되지만, 회피하려는 쪽도 그만큼 쉽게 우회를 학습합니다. 개별 콘텐츠를 잡아내는 것이 목표인 한, 도구를 공개하는 순간 그 목표가 약해지는 구조입니다.

마지막은 신호를 읽는 사람 쪽입니다. 판정 결과가 도착하는 곳은 법정이거나 학교 징계 절차이거나 플랫폼의 정지 통보인데, 그 자리에서 확률을 확률로 다루는 일은 잘 일어나지 않습니다. 90%라는 숫자가 유죄로 읽히고, 남은 10%의 대가는 오분류된 개인이 혼자 치릅니다. 그 부담이 고르게 분포하지도 않습니다. 음성 인식 정확도가 화자 집단에 따라 크게 갈렸던 2020년 연구가 보여 주듯, 통계적 판별기의 오차는 대개 소수 집단 쪽에 쏠립니다. AI가 쓴 것 같다는 판정 역시 비원어민 화자에게 불리하게 작동할 수 있습니다.

논문은 워터마크의 용도를 두 갈래로 나눕니다. 하나는 개별 콘텐츠의 출처를 확정하려는 포렌식 용도이고, 다른 하나는 한 시장이나 한 플랫폼에 합성 콘텐츠가 어느 정도 비율로 들어와 있는지를 재는 계측 용도입니다. 같은 신호를 쓰지만 두 용도가 요구하는 조건은 겹치지 않습니다.

오른쪽 열의 어느 칸도 정확도를 포기하자고 말하지 않습니다. 감당할 수 있는 오차의 크기가 달라질 뿐입니다. 개별 판정에서 5%의 위양성은 스무 명 중 한 명이 억울해진다는 뜻이지만, 비율을 잴 때 같은 5%는 보정하거나 감안할 수 있는 편향입니다. 그래서 논문은 워터마크가 못 하는 일의 목록을 늘리는 대신, 이 신호가 이미 잘하는 일이 무엇인지를 다시 묻습니다.

앞 절에서 짚은 탐지 딜레마도 여기서 온도가 달라집니다. 검출 도구를 널리 열어 둘수록 회피가 쉬워진다는 긴장은 개별 콘텐츠를 잡아내는 것이 목적일 때 가장 날카롭습니다. 비율을 재는 쪽에서는 일부가 표본을 빠져나가도 남은 표본으로 추세를 읽을 수 있어서, 도구를 공개하는 대가가 그만큼 작아집니다. 저자들도 계측으로 옮긴다고 거버넌스 숙제가 사라지지는 않는다고 말합니다. 다만 포렌식 쪽 숙제보다는 다룰 만하다는 것이고, 그 근거가 이 대목입니다.

여기서부터 한 절은 우리 해석입니다. 논문은 공장 품질관리를 예로 들지 않고, 역학과 하수 감시라는 비유를 씁니다. 다만 데이터 품질을 다뤄 온 쪽에서 보면 이 제안이 제조업이 20세기에 이미 한 번 지나온 길과 같은 모양을 하고 있습니다.

초기 품질관리의 기본값은 전수검사였습니다. 완성된 제품을 하나씩 들여다보고 불량을 골라내는 방식입니다. 이 방식은 검사원의 눈이 완벽하다는 전제 위에서만 성립하고, 물량이 늘면 곧 무너집니다. 그 자리를 대신한 것이 통계적 공정관리입니다. 모든 제품을 보는 대신 표본을 뽑아 측정하고, 측정값의 흔들림을 시계열로 놓고 보며, 관리한계를 벗어나는 흐름이 나타날 때 공정을 조정합니다. 개별 제품 하나의 판정 정확도는 낮아졌지만 공정 전체의 상태를 보는 눈은 오히려 밝아졌습니다.

논문이 제안하는 이동도 같은 거리를 지납니다. 워터마크를 불량품 검사기로 쓰면 신호의 약함이 곧 실패로 읽히지만, 공정 지표로 쓰면 같은 신호가 추세를 알려 주는 계기판이 됩니다. 계기판에는 한 눈금의 오차가 허용됩니다. 필요한 것은 눈금이 언제나 같은 방식으로 매겨지는 일입니다.

유비가 깨지는 지점도 분명합니다. 공장은 자기 공정을 통제하고 표본을 어디서 뽑을지 정확히 압니다. 정보 생태계에는 통제자가 없습니다. 워터마크를 넣지 않는 모델과 직접 돌리는 오픈 웨이트 모델, 신호를 일부러 지우는 참여자가 표본 바깥에 있고, 그 바깥의 크기를 아는 사람도 없습니다. 무엇보다 공장에는 정상 범위라는 기준선이 있지만, 합성 콘텐츠 비율에는 아직 아무런 기준선이 없습니다. 30%가 위험한 수치인지 자연스러운 수치인지 말해 줄 근거가 없다는 뜻입니다. 그래서 계측으로 옮기는 일의 첫 과제는 측정 기술이 아니라 무엇을 셀지 정하는 합의가 됩니다.

논문이 드는 첫 현장은 음악 스트리밍입니다. 2024년 9월 뉴욕 남부지검은 AI로 만든 곡 수십만 곡을 봇 계정으로 재생해 로열티 1,000만 달러 이상을 빼돌린 혐의로 한 음악 제작자를 기소했고, 이 사건은 2026년 유죄 인정으로 마무리됐습니다. 완전히 합성된 곡을 대량으로 밀어 넣은 사례라 신호가 뚜렷했지만, 실제 시장에서 더 흔한 것은 사람이 만든 트랙에 생성 도구가 부분적으로 얹힌 곡입니다. 이런 곡에는 약한 신호만 남고, 약한 신호로는 특정 곡을 내리거나 정산을 막을 근거를 세우기 어렵습니다.

계측 모드에서 같은 신호는 다른 일을 합니다. 플랫폼이 장르별, 차트 구간별로 합성 비율을 정기적으로 공개하면 개별 곡을 심판하지 않고도 추천 알고리즘의 가중치와 정산 규칙을 손볼 근거가 생깁니다. 상위 100곡 안에서 그 비율이 분기마다 어떻게 움직이는지가 판정문 한 장보다 시장 관리에 더 쓸모 있는 정보입니다.

두 번째 현장은 학술 출판이고, 공교롭게도 이 논문이 올라간 arXiv 자신입니다. arXiv는 2025년 10월 31일 컴퓨터과학 분야의 서베이와 포지션 페이퍼를 동료 심사 통과 이후에만 받겠다고 공지했습니다. 생성 도구로 빠르게 찍어 낸 원고가 밀려들어 모더레이터가 감당하지 못한다는 이유였습니다. 이어 2026년에는 지어낸 참고문헌처럼 확인 없이 AI를 쓴 흔적이 확인된 저자에게 1년간 게재를 금지한다는 방침이 알려졌습니다.

여기서 지어낸 참고문헌은 사실상의 자연 워터마크 역할을 합니다. 존재하지 않는 인용은 확인 없이 도구를 썼다는 흔적이니까요. 문제는 그 흔적을 쓰는 방식입니다. 게재 금지는 개인에게 내리는 이진 판정이고, 오분류의 대가는 오롯이 저자 몫입니다. 같은 신호를 분야별 비중의 시계열로 쌓으면 판정 대신 다른 선택지가 열립니다. 어느 분야에서 얼마나 빠르게 늘고 있는지 공개하고, 심사 절차와 투고 지침, 저자 교육을 그 추세에 맞춰 조정하는 방식입니다. 네이처가 전한 감사 결과처럼 2023년 2,828편당 1편이던 지어낸 인용이 2026년 초 277편당 1편으로 늘었다는 수치는, 개별 논문을 잡아내는 작업이 아니라 바로 이 계측이 만들어 낸 정보입니다.

용도를 옮기면 숙제도 옮겨 갑니다. 완벽한 검출기 대신 필요한 것은 통계 조사의 기본기입니다. 논문이 짚는 조건은 네 가지로 정리됩니다.

• 표본의 대표성. 어떤 플랫폼과 언어와 형식을 표본에 넣을지가 결과를 좌우합니다. 영어권 텍스트만 세면 그 수치는 정보 생태계가 아니라 영어권 텍스트의 상태입니다.
• 시계열 인프라. 한 번의 조사는 숫자를 주지만 추세를 주지 못합니다. 같은 정의로 반복 측정해야 하고, 정의를 바꾸는 순간 이전 구간과의 비교가 끊깁니다.
• 무엇을 셀지에 대한 합의. 전부 생성된 글과 초안만 생성한 글, 문장 몇 개를 다듬은 글은 같은 항목입니까. 이 경계를 정하지 않으면 두 기관의 발표 수치가 서로를 반박하는 상황이 반복됩니다.
• 공개 형식. 논문이 지목하는 곳은 플랫폼 내부 감사가 만들어 내는 산출물, 그러니까 밖으로 내보낼 수 있는 형태의 투명성 보고서입니다. 집행 통계를 정기적으로 공개하는 관행이 이미 있으니 합성 콘텐츠 비율도 같은 문서에 실릴 수 있습니다.

네 조건 가운데 가장 조용히 무거운 것은 세 번째입니다. 미국 표준기술연구소는 합성 콘텐츠를 알고리즘이 상당 부분 바꾸거나 만들어 낸 정보라고 넓게 정의해 두었습니다. 전부 생성한 것과 부분적으로 손댄 것 사이에 일부러 선을 긋지 않은 정의라 규제 대상을 빠뜨릴 위험은 줄지만, 무엇을 한 건으로 셀지는 여전히 비어 있습니다. 계측 체계를 세우려는 쪽은 그 선을 스스로 그어야 하고, 그 선이 곧 발표되는 수치의 뜻을 정합니다.

규제의 초점도 함께 움직입니다. EU AI Act 제50조는 2026년 8월 2일부터 기계가 읽을 수 있는 표시를 요구하고, 캘리포니아 SB 942도 2026년 1월 1일 시행에 들어갔습니다. 두 규제 모두 표시를 붙이라고는 말하지만 그 표시로 무엇을 셀지는 비워 두었습니다. 이 글의 앞선 편인 8월 2일, AI가 만든 글에는 꼬리표가 붙는다가 꼬리표를 붙이는 의무를 다뤘다면, 논문이 겨냥하는 것은 그 꼬리표를 무엇에 쓸 것인가라는 다음 칸입니다. 워터마크를 가격 신호로 다시 읽은 합성 데이터 시장 실패 논의와 나란히 놓으면, 같은 표시가 세 가지 다른 제도적 쓸모를 갖는 셈입니다.

저자들이 스스로 인정하는 약점도 있습니다. 가장 큰 것은 자기만족입니다. 워터마크는 붙이기 쉽고 값이 싸서, 정책 입안자가 이것을 해결책으로 오인하고 저작권과 노동, 플랫폼 책임 같은 어려운 질문을 미룰 수 있습니다. 표본 바깥의 커버리지 공백과 위조 가능성도 남습니다. 개인 계정까지 식별하는 워터마크는 감시 도구가 될 위험이 커서 저자들 스스로 권하지 않습니다. 그리고 이 논문에는 제안을 검증할 파일럿 계측 데이터가 아직 없습니다. 개념을 다시 짜자는 글이지 측정 결과를 내놓는 글이 아닙니다.

데이터 품질 현장에는 정확도가 모자라 버려진 신호가 많습니다. 중복 판정기가 열 번 중 두 번 틀리면 자동 정리에서 빼고, 라벨 검수 모델의 확신도가 낮으면 그 결과를 무시하고, 이상치 탐지기의 경보가 잦으면 알림을 끕니다. 개별 레코드에 결론을 내리는 용도로만 보면 모두 합리적인 판단입니다. 그런데 같은 신호를 비율과 추세로 놓고 보면 이야기가 달라집니다. 중복 의심 비율이 지난달 대비 두 배가 됐다는 사실은, 어느 레코드가 중복인지 정확히 몰라도 파이프라인 어딘가가 바뀌었다는 것을 알려 줍니다.

버릴지 모아 둘지 정하기 전에 물어볼 것은 세 가지입니다.

• 이 신호를 개별 판정에 쓰고 있습니까, 아니면 비율로 보고 있습니까. 정확도 요구가 과한 쪽은 대개 앞쪽입니다.
• 같은 정의로 반복해서 재고 있습니까. 임계값을 조용히 바꾸면 그날부터 추세가 끊깁니다.
• 무엇을 한 건으로 세는지 팀 안에서 같은 답이 나옵니까. 정의가 갈리면 두 대시보드가 서로 다른 숫자를 보여 줍니다.

학술 논문

• 1.Susser, D., Thickstun, J., Vidan, G. (2026). "From Forensics to Ecosystems: Rethinking Watermarks for Generative AI Oversight." arXiv:2608.07337.
• 2.Zhang, H., Edelman, B. L., Francati, D., Venturi, D., Ateniese, G., Barak, B. (2024). "Watermarks in the Sand: Impossibility of Strong Watermarking for Generative Models." ICML 2024.
• 3.Fairoze, J., Ortiz-Jimenez, G., Vecerik, M., Jha, S., Gowal, S. (2025). "On the Difficulty of Constructing a Robust and Publicly-Detectable Watermark." arXiv:2502.04901.
• 4.Leibowicz, C., McGregor, S., Ovadya, A. (2021). "The Deepfake Detection Dilemma: A Multistakeholder Exploration of Adversarial Dynamics in Synthetic Media." AIES 2021.
• 5.Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., Goldstein, T. (2023). "A Watermark for Large Language Models." ICML 2023.
• 6.Koenecke, A. et al. (2020). "Racial Disparities in Automated Speech Recognition." PNAS 117(14).

업계·보도

• 7.Nature. (2026). "Researchers Who Use Hallucinated References to Face arXiv Ban."
• 8.arXiv. (2025). "Attention Authors: Updated Practice for Review Articles and Position Papers in arXiv CS Category." arXiv blog.
• 9.Read, M. (2018). "How Much of the Internet Is Fake? Turns Out, a Lot of It, Actually." New York Magazine.

공식 문서

• 10.U.S. Attorney's Office, Southern District of New York. (2024). "North Carolina Musician Charged With Music Streaming Fraud Aided By Artificial Intelligence."
• 11.NIST. (2024). "Reducing Risks Posed by Synthetic Content: An Overview of Technical Approaches to Digital Content Transparency." NIST AI 100-4.
• 12.EU AI Act. "Article 50: Transparency Obligations for Providers and Deployers."