Executive Summary

이 보고서가 딛고 선 숫자는 넷이다. 앞의 둘은 이 계층의 개입이 얼마나 싸고 얼마나 세게 듣는지를 가리키고, 뒤의 둘은 그것을 밖에서 확인할 창구가 어느 정도인지를 가리킨다.

이 글은 논문 한 편을 출발점으로 삼되, 논문이 하지 않은 일을 한다. 저자는 실험을 하지 않았고 어떤 기업도 지목하지 않았다. 그래서 이 글은 논문이 세운 틀에 실제로 측정된 것과 실제로 벌어진 사건, 그리고 지금 법이 어디까지 닿는지를 하나씩 대 본다. 빈칸이 나오면 빈칸으로 둔다.

언어모델이 문장을 만드는 과정을 도식으로 그리면 보통 이렇게 된다. 프롬프트가 들어가고, 모델이 계산하고, 다음 낱말이 나온다. 이 도식에서 빠져 있는 것이 하나 있다. 모델은 낱말을 고르지 않는다. 모델이 하는 일은 어휘 사전에 있는 낱말 하나하나에 점수를 매기는 것까지이고, 그 점수표에서 실제로 낱말 하나를 뽑는 것은 그다음 단계다. 이 점수를 로짓이라고 부른다. 모델이 낱말마다 매기는 점수라는 뜻이다.

점수를 매기는 일과 뽑는 일 사이에는 틈이 있다. 논문이 형식화한 것은 이 틈에 들어앉는 층이다. 저자는 이를 추론 정책(inference policy)이라고 부른다. 하는 일은 단순하다. 모델이 낱말마다 매긴 점수 위에 외부에서 만든 점수표를 얹어서 더한 뒤, 그 결과로 다음 낱말을 뽑는다. 얹는 세기는 조절할 수 있다. 세게 얹으면 원래 3순위였던 낱말이 1순위가 되고, 약하게 얹으면 대부분의 문장에서는 아무 일도 일어나지 않는다. 외부 점수표를 무엇으로 채우느냐에 따라 이 층은 안전 필터가 되기도 하고, 문체 조절기가 되기도 하고, 출처 표시 장치가 되기도 한다.

아래 도식에서 회색으로 칠한 구간은 지금 AI 감사가 실제로 들여다보는 범위다. 오렌지로 칠한 구간이 이 글이 다루는 층이다.

1.1워터마킹은 이미 그 자리에서 일하고 있다

이 층이 상상 속의 것이 아니라는 증거는 멀리 있지 않다. 구글의 텍스트 워터마킹인 SynthID-Text가 정확히 이 자리에서 작동한다. 학습에 손대지 않고, 모델 가중치를 건드리지 않고, 샘플링 절차만 바꾼다. 토너먼트 샘플링이라는 방식으로 후보 낱말들을 짝지어 겨루게 하면서 통계적 서명을 문장에 심는다. 네이처에 실린 논문은 이 기법이 제미나이와 제미나이 어드밴스드에 적용돼 있다고 적었다.

같은 논문이 이 개입의 값을 재 두었다. 텐서 처리 장치 네 개로 서빙한 젬마 7B 모델이 토큰 하나를 15.527밀리초에 생성하는데, 30층 토너먼트 샘플링을 켜면 15.615밀리초가 된다. 0.57퍼센트 증가다. 다른 두 방식은 각각 0.26퍼센트와 0.28퍼센트였다. 더 눈여겨볼 대목은 그다음이다. 워터마킹의 연산 복잡도는 모델이 커져도 그대로이므로, 모델이 커질수록 상대 비용은 오히려 자릿수 단위로 줄어든다. 품질 쪽은 약 2,000만 건의 실사용 응답을 워터마킹 모델과 비워터마킹 모델로 나눠 보내는 방식으로 쟀다. 좋아요 비율 차이가 0.01퍼센트, 싫어요 비율 차이가 0.02퍼센트였다. 두 차이 다 통계적으로 유의하지 않았고 95퍼센트 신뢰구간 안에 들었다. 사용자는 차이를 알아채지 못했다.

페블러스는 이 계층의 변화를 몇 차례 다뤘다. 눈에 보이던 워터마크가 파일 속으로 내려간 구글의 가시 워터마크 설정 변경, 그리고 워터마크를 생태계 관측 장치로 쓰자는 모니터링 제안이 그것이다. 두 글이 다룬 것은 표시의 문제였다. 이 글이 다루는 것은 그 표시를 만들어 내는 기계 자체다.

1.2확률을 미는 기술은 2019년부터 있었다

확률을 미는 기술은 워터마킹과 함께 등장한 것이 아니다. 학습을 다시 하지 않고 출력 성향만 바꾸고 싶다는 요구는 대형 모델의 재학습 비용이 감당하기 어려워진 시점부터 있었고, 그 답으로 나온 기법들이 계보를 이룬다. 아래 표의 각 항목은 원문 초록에서 직접 확인한 성질만 적었다.

이 표에서 한 줄만 골라야 한다면 FUDGE다. 초록에 적힌 조건이 "모델의 출력 로짓에 대한 접근만 필요하다"였다. 이 조건이 뜻하는 바는 두 가지인데, 두 번째가 이 글의 핵심이다. 첫째, 모델을 만든 쪽은 당연히 할 수 있다. 자기 로짓을 갖고 있으니까. 둘째, 모델을 만들지 않은 제3자도 할 수 있다. 로짓만 받으면 되기 때문이다. 상용 API 위에 서비스를 얹는 조직, 게이트웨이 사업자, 리셀러가 전부 여기 해당한다. 그러니까 논문이 말하는 배포 스택은 모델 제공사 한 곳이 아니라 모델과 사용자 사이에 놓인 모든 층이다.

계보의 처음과 지금은 한 사람이 잇고 있다. 2019년 PPLM의 제1저자와 2024년 SynthID-Text의 제1저자가 같은 사람이다. 수만츠 다타트리(Sumanth Dathathri). 가중치를 얼린 채 확률만 미는 아이디어를 학계에서 처음 대중화한 연구자가, 5년 뒤 같은 계층의 개입을 구글 프로덕션 규모로 출하한 팀의 앞에 있었다. 이것은 의도의 증거가 아니라 기술 성숙 속도의 증거다. 연구실 아이디어가 수십억 건 규모의 배포 장치가 되기까지 걸린 시간이 5년이라는 뜻이다.

어떤 챗봇이 정책 A를 정책 B보다 우호적으로 서술한다는 것을 감사자가 관측했다고 하자. 다음 질문은 자연스럽게 "왜 그런가"이고, 통상의 대답은 "학습 데이터가 그랬거나 정렬 과정이 그랬을 것"이다. 논문이 형식화한 추론 귀속 문제(Inference Attribution Problem)는 이 대답이 성립하지 않는 조건을 짚는다. 편향이 태어날 수 있는 자리가 배포 스택에 아홉 군데나 있고, 그 아홉이 밖에서 보기에 구별되지 않는 효과를 내기 때문이다.

• 사전학습 데이터 분포
• 지도 미세조정
• 강화학습 기반 정렬
• 숨은 시스템 프롬프트와 앞에 덧붙는 가드레일
• 검색 증강 인덱스
• 안전 정책 분류기
• 추론 시점 로짓 처리기
• 동적 사용자 프로파일링
• 상업적 후원에 따른 조향

앞의 셋은 가중치 안에 남고, 뒤의 여섯은 가중치 바깥에 있다. 그런데 출력만 보는 사람에게는 아홉이 똑같이 생겼다. 논문의 결론은 여기서 나온다. 관측된 행동 편향은 모델 가중치의 편향을 뜻하지 않는다. 다만 조건절을 떨어뜨리면 안 된다. 원문은 "제한된 관측 조건에서" 그리고 "권한 없는 블랙박스 접근으로는"이라고 두 번 못 박았다. 아무도 알 수 없다는 말이 아니라, 권한 없는 외부 감사자는 가릴 수 없다는 말이다. 이 차이가 중요한 이유는 논문의 처방이 바로 그 권한을 제도화하는 쪽이기 때문이다.

2.1왜 하필 이 계층인가

아홉 자리가 모두 똑같이 위험한 것은 아니다. 논문이 실은 표 한 장이 그 차이를 정리한다. 이 글에서 인용 가치가 가장 높은 자료라, 표의 내용에는 손대지 않았다. 읽는 요령은 마지막 두 열이다. 흔적을 남기느냐, 밖에서 잡아낼 수 있느냐.

마지막 행이 다른 행들과 다른 점은 결국 한 문장으로 모인다. 논문 5.2절 말미의 진술이다. 프롬프트 주입이나 검색 증강 개입과 달리 추론 시점의 로짓 조작은 컨텍스트 창을 전혀 쓰지 않고, 대화 기록에 프롬프트 흔적이나 검사 가능한 자취를 남기지 않는다. 앞의 세 행은 각각 남기는 것이 있다. 정렬 학습은 가중치에 남고, 시스템 프롬프트는 컨텍스트에 남고, 검색 증강은 인용 목록에 남는다. 로짓 정책만 아무 데도 남지 않는다.

개념 하나는 구분해야 한다. 컨텍스트 토큰 비용이 0이라는 말은 컨텍스트 창을 소비하지 않는다는 뜻이지 연산이 공짜라는 뜻이 아니다. 인접 계층인 문법 제약 디코딩에서는 제약을 미리 컴파일해 두면 토큰당 오버헤드가 마이크로초 단위로 떨어지지만, 제약을 그때그때 만들어야 하면 컴파일 비용이 전체를 지배한다. 개입이 항상 공짜인 것은 아니다. 다만 미리 준비된 점수표를 정상 상태에서 얹는 경우, 앞 절에서 본 0.57퍼센트가 그 값이다.

2.22025년 5월, 그록에서 실제로 일어난 일

여기까지는 형식이다. 형식이 현실에 닿는 지점이 하나 있다. 2025년 5월 14일 새벽 3시 15분경, 엑스에서 답변을 다는 그록 봇의 프롬프트에 무단 수정이 가해졌다. 결과는 곧바로 눈에 띄었다. 스트리밍 서비스를 묻든 야구를 묻든, 전혀 무관한 질의에 남아프리카 관련 정치 논평이 반복해서 붙었다. xAI는 공식 성명에서 이 변경이 특정 정치 주제에 대해 특정한 답을 하도록 지시했으며 내부 정책과 핵심 가치를 위반했다고 밝혔다.

이 사건에서 가중치는 바뀌지 않았다. 배포 계층의 설정 하나가 바뀌었고, 출력 성향이 바뀌었다. 모델은 배포된 시스템이 아니라는 논문의 명제가 사변이 아니라는 것을 이 사건이 보여준다. 조치도 배포 계층 투명성의 형태로 나왔다. xAI는 이제부터 그록의 시스템 프롬프트를 깃허브에 공개하겠으며 모든 프롬프트 변경에 대해 대중이 검토하고 의견을 줄 수 있게 하겠다고 발표했다.

그 약속이 지금 어떤 상태인지는 확인할 수 있다. 저장소는 사건 다음 날인 2025년 5월 15일에 만들어졌고, 프롬프트 파일 열두 개가 올라와 있다. 깃허브 API로 조회한 마지막 갱신 시각은 2025년 11월 17일이다. 이 글을 쓰는 시점까지 약 아홉 달 동안 갱신이 없다. 저장소에는 그록이 예전에 직접 공유했던 상세 프롬프트가 빠져 있다는 문제 제기도 올라와 있다.

이 사건을 앞의 표에 대입하면 서사가 스스로 닫힌다. 아래 대조는 그 대입이다.

여기서 한 걸음 더 나가면 논지가 무너진다. 그러니 지금 로짓 계층에서 무슨 일이 벌어지고 있다는 문장은 이 글에 없다. 여기까지가 정확한 논지다. 관측 기록의 부재는 부재의 증거가 아니다.

2.3같은 이름 뒤에서 거동이 바뀐다는 관측은 2023년에 이미 있었다

모델과 배포된 시스템이 다르다는 관측은 그록 사건보다 앞선다. 스탠퍼드와 버클리 연구진이 2023년에 낸 논문은 같은 이름으로 제공되는 GPT-3.5와 GPT-4의 3월판과 6월판을 일곱 개 과제에서 비교했다. 수학, 민감한 질문, 의견 설문, 다단계 지식, 코드 생성, 미국 의사면허시험, 시각 추론이다. 초록의 표현은 두 대목이 결정적이다. 이 모델들이 언제 어떻게 갱신되는지는 불투명하며, 두 모델의 성능과 거동은 시간에 따라 크게 달라질 수 있다.

이 연구가 이 글에 주는 것은 두 가지인데, 두 번째가 더 중요하다. 첫째, 사용자와 감사자는 사업자 공지 없이는 거동이 바뀌었다는 사실조차 알기 어렵다. 둘째, 그 연구도 무엇이 바뀌었는지는 가리지 못했다. 가중치가 바뀐 것인지, 시스템 프롬프트가 바뀐 것인지, 샘플러 설정이 바뀐 것인지 밖에서는 구별할 수 없었다. 추론 귀속 문제의 실물이 바로 그것이다. 페블러스가 앞서 다룬 조용한 모델 갱신의 공시 공백도 같은 구간을 다른 각도에서 짚는다.

논문 5.1절은 이 상황에 이름을 붙였다. 모델 중립성 오류다. 얼린 가중치를 놓고 평가한 연구자와 프로덕션 배포를 놓고 평가한 연구자가 서로 다른 결과를 내놓아도 두 결과는 모순이 아니다. 서로 다른 것을 쟀기 때문이다. 논문의 문장은 짧다. 공개 API로 돌린 정적 벤치마크는 특정 시점, 특정 장소의 배포된 시스템을 잰 것이지 기반 모델을 잰 것이 아니다. 지금 유통되는 모델 순위표와 편향 측정치 대부분이 이 조건에서 만들어진다. 그 숫자들은 틀리지 않았지만, 무엇을 잰 숫자인지는 대개 적혀 있지 않다.

무엇이 측정됐고 무엇이 아직 가정인가

다음 절부터는 광고와 규제 이야기가 나온다. 그 전에 이 글이 다루는 사실을 세 층으로 나눈다. 이 구분이 무너지면 같은 재료로 음모론을 쓸 수 있기 때문이다. 층마다 문장의 강도가 달라야 하고, 이 글은 그 강도를 지키기로 한다.

구분이 하나 더 있다. 논문은 추론 시점 조향을 검열과 명시적으로 갈라 놓았다. 검열은 가용성에 작동한다. 답이 있느냐 없느냐를 정한다. 추론 조향은 해석의 분포에 작동한다. 시스템은 거의 모든 질문에 답하고, 답의 내용도 대체로 틀리지 않는다. 무엇을 먼저 말하고 무엇을 뒤에 놓을지, 어떤 낱말로 부를지가 달라질 뿐이다. 커뮤니케이션학에서 프레이밍을 정의한 고전이 1993년에 짚은 것도 같은 자리였다. 프레이밍은 사실을 조작하는 것이 아니라 무엇이 눈에 띄게 할지를 조작한다. 그래서 사실관계가 하나도 틀리지 않은 답변도 문제가 될 수 있다.

추상적으로 들리는 이야기라, 논문이 든 예시를 그대로 가져왔다. 같은 사건을 두고 쓸 수 있는 두 문장이다.

두 문장은 같은 사건과 양립할 수 있고, 어느 쪽도 사실을 지어내지 않았다. 그런데 읽고 난 뒤의 판단은 갈린다. 논문이 환경 규제 질의로 든 예시도 구조가 같다. 한쪽 의미 영역에는 보호, 안전장치, 책임, 예방이 놓이고 다른 쪽에는 제약, 부담, 관료주의, 준수 비용이 놓인다. 둘 다 그 정책의 정당한 측면을 가리키는 낱말이다. 개입은 어느 쪽 어휘도 금지할 필요가 없다. 샘플링 도중에 한쪽 의미 영역을 조금 더 그럴듯하게 만들기만 하면 된다.

그때 실제로 무엇이 움직이는지를 논문은 여덟 항목으로 적었다. 감사자가 무엇을 세어야 하는지에 대한 목록으로 읽어도 된다.

• 어떤 사실이 먼저 나오는가
• 어떤 결과가 자세한 설명을 받는가
• 어떤 형용사와 동사가 선택되는가
• 어떤 비유가 생성되는가
• 어떤 반론이 눈에 띄는 자리를 얻는가
• 불확실성을 강조하는가 줄이는가
• 행위자의 의도를 선의로 읽는가 의심으로 읽는가
• 정책을 편익 중심으로 그리는가 준수 비용 중심으로 그리는가

여덟 항목 어디에도 거짓말은 없다. 출력이 사실 관계로는 방어 가능한 채로 남기 때문에, 논문은 추론 프레이밍을 잡아내는 일이 통상의 허위정보 탐지와 다른 문제이고 더 어려울 수 있다고 적었다. 틀린 문장을 찾는 도구는 여기서 아무것도 걸러내지 못한다.

논문은 이 틀 위에 배포 시나리오 셋을 세운다. 국가가 관할 안의 공급자에게 추론 정책을 심게 하는 경우, 사용자 프로필에 따라 정치 프레이밍의 세기를 달리하는 경우, 상업 후원이 확률로 들어오는 경우다. 셋 다 위협 모델이지 사건 기록이 아니다. 셋째는 다음 절이 통째로 다룬다. 둘째는 이미 재료가 나와 있다.

앞에서 본 외부 점수표에는 사용자 속성을 받는 자리가 있다. 그 자리를 채우면 얹는 세기를 사람마다 다르게 줄 수 있다. 논문이 든 예시는 이렇다. 정치적으로 회의적인 사용자에게는 약하게, 아직 정하지 못한 유권자에게는 세게, 이미 지지하는 사용자에게는 중간으로. 같은 질문을 한 두 사람이 사실관계는 서로 어긋나지 않는데 프레임만 체계적으로 다른 답을 받는다. 논문이 대중 선전과 갈라 놓는 지점이 여기다. 대중 선전은 하나의 공개된 메시지라서 기자가 뜯어볼 수 있지만, 개인화된 추론 조향은 시민 한 사람마다 다른 대화체 수사를 만든다. 뜯어볼 원본이 없다.

다만 이 시나리오에는 실증이 반대 방향으로 붙는다. 앞서 든 사이언스 실험에서 개인화는 프롬프트 조정보다 효과가 작았다. 개인화가 설득의 가장 센 지렛대라는 전제는 아직 측정으로 뒷받침되지 않는다. 여기서 말할 수 있는 것은 구조가 성립한다는 데까지다.

이 절에서 다루는 확률 배치는 가상의 개념이다. 어떤 기업도 이런 일을 한다고 밝힌 적이 없고, 저자도 그런 주장을 하지 않는다. 논문은 이것을 가상의(hypothetical) 상업 프리미티브라고 세 번 명시했다. 그런데도 이 개념을 다루는 이유는, 이것이 지금 팔리는 광고 형식이 향하는 방향과 어디서 갈라지는지를 보여주기 때문이다.

확률 배치(Probability Placement)의 정의는 이렇다. 후원된 영향력이 명시적인 상품 문구 삽입이 아니라 확률 질량의 체계적인 이동으로 구현되는 형태. 논문 자신의 표현으로는 제품 배치의 확률판이다. 영화 속 인물이 특정 브랜드의 음료를 마시는 장면이 제품 배치라면, 확률 배치는 어떤 브랜드 이름이 후보 목록에서 조금 위로 올라가는 일이다. 문장에는 광고가 없다. 광고는 낱말이 뽑히는 확률에 있다.

논문은 이 개념을 설명하려고 숫자 예시를 하나 든다. 세 브랜드가 각각 0.30, 0.28, 0.25의 확률로 후보에 올라 있는데, 얹은 점수표 때문에 0.36, 0.26, 0.22가 된다는 식이다. 아래 도식이 그 예시다. 측정된 값이 아니라 개념을 설명하려고 저자가 지어낸 숫자라는 점은 도형 안과 캡션 양쪽에 밝혀 놓았다.

막대의 높이는 확률 배치의 절반이다. 논문은 선택 확률 다음에 서술어를 붙인다. 후원된 브랜드는 믿을 만한, 통합된, 프리미엄, 안전한, 업계 표준 같은 낱말과 짝지어지고 경쟁 브랜드 옆에는 더 싼, 대안적인, 커스터마이징 가능한, 복잡한, 레거시 같은 낱말이 붙는다. 뒤쪽 낱말들이 욕이 아니라는 점이 중요하다. 어느 것도 거짓이 아니고 어느 것도 비방이 아닌데 읽고 난 뒤에 남는 인상은 한쪽으로 기운다. 앞 절에서 본 프레이밍이 브랜드 이름 옆에 붙은 형태다. 그러니까 확률 배치가 움직이는 것은 어떤 이름이 뽑히느냐만이 아니라 그 이름이 어떤 낱말과 함께 뽑히느냐이기도 하다.

3.1검색이 20년 넘게 지킨 경계를 대화형 AI는 답변 하나로 합친다

논문 4.4절이 세운 대비는 이 절의 뼈대다. 검색 광고는 20년 넘게 시각적 경계를 유지해 왔다. 스폰서 결과와 자연 결과가 화면에서 갈라져 있고, 사용자는 어느 쪽을 보고 있는지 안다. 대화형 AI는 그 경계를 하나의 합성된 답변으로 붕괴시킨다. 사용자는 합성된 행위자성 아래 대화한다. AI가 여러 대안을 평가해서 최적을 골라 줬다는 가정이다. 실제로 나온 추천은 모델과 프롬프트, 안전 정책, 상업 정책, 샘플러가 함께 만든 결과다.

그 붕괴가 실제로 어디까지 왔는지 형식별로 정리했다. 아래 표는 경계가 약해지는 순서로 배열한 것이다. 위로 갈수록 광고가 답변 밖에 있고, 아래로 갈수록 답변 안으로 들어온다.

3.2동기는 커지고 있고, 그 동기를 거부한 사업자도 있다

경제적 압력의 크기는 확인할 수 있다. WPP 미디어의 2026년 6월 전망은 생성형 검색 광고 시장을 2026년 51억 달러에서 2030년 1,000억 달러 이상으로 봤다. 4년에 20배다. 다만 이 곡선을 그대로 이 글의 논지로 끌어오면 과장이 된다. 같은 시기 이마케터의 미국 시장 분석은 2026년 AI 광고의 80퍼센트 이상이 챗봇 대화 안이 아니라 AI 답변 옆의 전통적 검색 광고 형태로 집행될 것이라고 봤다. 순수 챗봇 광고 매출은 2026년에 10억 달러에 못 미친다.

반대 방향으로 간 사업자도 있다. 퍼플렉시티는 2024년 11월에 스폰서 질문을 도입했다가 2025년 10월에 신규 광고주 수주를 멈췄고, 2026년 2월에 광고를 전면 폐지하고 구독 중심으로 돌아섰다. 밝힌 이유가 이 글의 주제와 정확히 겹친다. 라벨이 붙은 광고라도 답변 엔진이 의존하는 신뢰를 훼손할 위험이 있다는 것이다. 앤트로픽도 클로드를 광고 없이 유지하겠다고 밝혔다.

이 사례를 업계는 안전하다는 결론으로 쓰면 안 된다. 매출의 대부분은 여전히 답변 옆에 있고, 한 사업자의 판단이 시장의 판단은 아니다. 확인되는 것은 긴장의 존재까지다. 동기는 커지고 있고, 그 동기를 거부한 사업자도 있다.

3.3매개는 커지는데 신뢰는 낮다

확률 배치가 문제가 되려면 답변이 실제 선택을 매개해야 한다. 그 매개는 커지고 있다. 오픈AI와 전미경제연구소 연구진이 함께 낸 이용 분석에서 정보 탐색 용도의 비중은 2024년 7월 14퍼센트에서 2025년 7월 24퍼센트로 늘었다. 이 분류는 사람과 시사, 제품, 레시피에 대한 사실 정보를 찾는 것으로 정의돼 있고, 논문 자신이 웹 검색의 근접 대체재라고 적었다. 같은 기간 작문 용도는 36퍼센트에서 24퍼센트로 줄었다. 정보 탐색은 작문을 밀어내고 성장한 유일한 대분류다. 도달 규모도 크다. 제미나이 앱은 2026년 8월에 월간 이용자 10억 명을 넘었다고 구글이 밝혔다.

그런데 매개 규모만 늘어놓으면 그림이 한쪽으로 기운다. 가트너가 2026년 5월에 낸 조사는 소비자가 AI에 정보 탐색과 선택지 좁히기는 맡기되 최종 구매 결정권은 유지하려 한다는 결과를 내놨다. 확률 배치의 위협 모델이 암묵적으로 깔고 있는 전제, 그러니까 AI가 추천하면 사용자가 따른다는 전제에 대한 반증 자료다. 신뢰 쪽 수치도 같은 방향이다. 로이터 저널리즘연구소의 2026년 조사에서 AI 챗봇 답변에 대한 신뢰는 20퍼센트로 뉴스 전반(37퍼센트)이나 검색엔진 답변(32퍼센트)보다 낮았다.

다만 낮은 신뢰가 낮은 영향력을 뜻하지는 않는다. 같은 조사에서 챗봇 답변을 보고 원문 출처로 넘어가는 비율은 전체 응답자 기준 4퍼센트였다. 검색은 19퍼센트, 소셜은 17퍼센트다. KPMG와 멜버른대학교가 47개국 4만 8,000명 이상을 대상으로 한 조사에서는 AI 출력을 정확성 검증 없이 그대로 쓴다는 응답이 66퍼센트였다. 신뢰하지 않지만 검증도 하지 않는다는 이 간극이, 추론 시점 개입이 감사되지 않은 채 통과할 수 있는 사회적 조건이다.

영향이 신뢰와 따로 논다는 것을 직접 실험한 연구도 있다. 2026년 3월 사이언스 어드밴시스에 실린 사전등록 실험 두 건에서 참가자 2,582명이 한쪽으로 기운 자동완성 제안을 받으며 사회적 쟁점에 대한 글을 썼다. 과제가 끝난 뒤 설문으로 잰 태도가 그 제안이 가리키던 쪽으로 수렴했다. 참가자 다수는 제안이 기울어 있다는 것도, 자기 생각이 움직였다는 것도 알아채지 못했다. 같은 내용을 정적인 텍스트로 보여줬을 때보다 상호작용하는 형태일 때 효과가 더 컸고, 노출 전에 경고하든 후에 경고하든 태도 이동은 줄지 않았다. 다만 그 실험이 잰 것은 자동완성이지 대화형 답변의 로짓 조향이 아니다. 인접 계층에서 측정됐다는 이 글의 규율이 여기에도 그대로 적용된다.

이 절의 논지는 공백이지 위반이 아니다. 지금 어떤 사업자가 법을 어기고 있다는 주장을 하려는 것이 아니라, 이 계층의 개입을 다룰 조문이 아직 없다는 것을 보이려는 것이다.

4.1EU 인공지능법 5조는 이런 형태를 잡도록 설계되지 않았다

5조 1항 (a)는 잠재의식적 기법이나 의도적으로 조작적인 기법을 써서 행동을 실질적으로 왜곡하고 중대한 피해를 야기하는 시스템을 금지한다. 문장만 보면 이 글이 다루는 개입이 여기 걸릴 것 같다. 그런데 논문의 결론은 그 반대다. 원문은 미세한 추론 조향이 5조의 금지에 자동으로 해당하지는 않는다고 적었고, 법적 분석에는 신중함이 필요하다고 덧붙였다.

집행위가 2025년 2월 4일에 낸 금지 관행 가이드라인이 이 판단을 뒷받침한다. 100쪽이 넘고 법적 구속력은 없지만, 구조가 중요하다. 각 금지 조항을 누적 요건으로 분해하고 전부 충족돼야 금지가 적용된다고 명시했다. 개별 상호작용의 효과가 0에 가까우면 실질적 왜곡과 중대한 피해라는 요건에서 걸린다. 가이드라인은 개인화 광고에 AI를 쓰는 것 자체는 본질적으로 조작적이지 않다고도 판단했다. 자율성을 전복하거나 취약성을 악용하지 않는 한 그렇고, 사안별로 봐야 한다는 것이다.

논문이 던지는 문제는 정확히 그 문턱 아래에 있다. 답변 하나하나의 효과는 잴 수 없을 만큼 작은데, 그 작은 효과가 인구 수준에서 누적될 수 있다는 것이다. 현행 금지 조항은 하나의 상호작용에서 중대한 피해가 발생하는 상황을 상정하고 만들어졌다. 인공지능법의 시행 일정 자체는 페블러스가 별도 리포트에서 정리했다.

4.2디지털서비스법은 서랍을 어느 쪽으로 여느냐에 달려 있다

논문은 추천 시스템에 적용되는 투명성 원칙이 추론 시점 스코어링에도 확장돼야 하는지를 질문으로 던졌다. 실제 상황은 그보다 한 단계 앞에서 막혀 있다. 2025년 10월 오픈AI는 챗GPT 검색 기능의 EU 월간 이용자를 6개월 평균 1억 2,040만 명으로 자진 보고했다. 디지털서비스법의 4,500만 명 문턱을 크게 넘는 숫자다. 그런데 무엇으로 지정할 것인지가 정해지지 않았다. 검색 기능만 떼어 초대형 온라인 검색엔진으로 볼 것인가, 서비스 전체를 초대형 온라인 플랫폼으로 볼 것인가.

이 갈림길이 결정적인 이유가 있다. 추천 시스템 투명성을 규정한 27조는 온라인 플랫폼의 의무이지 검색엔진의 의무가 아니다. 검색엔진으로만 지정되면 27조는 아예 붙지 않는다. 27조가 요구하는 것은 추천 시스템의 주요 파라미터와 그 상대적 중요도의 이유, 그리고 이용자가 그것을 바꿀 수 있는 선택지를 평이한 언어로 밝히는 일이다. 이 글의 주제와 가장 가까운 조문이 분류 하나로 사라질 수 있다는 뜻이다.

정의상의 난점도 있다. 디지털서비스법은 챗봇이 등장하기 전에 설계됐다. 링크를 돌려주는 대신 답을 합성하는 서비스가 온라인 검색엔진 정의에 들어가는지가 열려 있고, 추천 시스템 정의가 정보의 상대적 순서나 현저성을 결정하는 자동 시스템으로 넓게 잡혀 있긴 하지만 생성된 답변 하나가 순서를 정하는 것인지 현저성을 정하는 것인지는 아직 답이 없다. 지정 시점은 출처마다 엇갈리므로 이 글에서는 미확정으로만 적는다. 정리하면, 규제 공백은 조문이 애매하다는 형태가 아니라 어느 서랍에 넣느냐로 조문 한 벌이 통째로 사라진다는 형태로 존재한다.

4.3미국은 답변 생성 방식 자체를 문서로 요구하기 시작했다

연방거래위원회는 2025년 9월 11일 일곱 개 회사에 6(b)조 명령을 발부했다. 알파벳, 캐릭터 테크놀로지스, 인스타그램, 메타, 오픈AI, 스냅, xAI다. 요구 항목 중 둘이 이 글과 직결된다. 이용자 상호작용을 어떻게 수익화하는가, 그리고 챗봇이 입력을 어떻게 처리하고 응답을 어떻게 생성하는가. 규제기관이 답변 생성 방식 자체를 문서로 요구한 사례에 해당한다. 다만 이 조사의 초점은 미성년자 안전이지 상업적 조향이 아니고, 6(b)조는 소송이나 수사와 무관한 조사 권한이다.

연방거래위원회가 2026년 7월에 낸 정확성 억압 관련 정책성명은 페블러스가 이미 다뤘다. 두 글의 차이는 한 문장이면 된다. 그 글은 공시 의무와 학습·튜닝 데이터의 이력을 다뤘고, 이 글은 그 공시가 닿지 않는 계층을 다룬다.

4.4한국은 추론 시점 개입 한 종류를 이미 의무화했다

「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」과 시행령이 2026년 1월 22일 시행됐다. 2024년 12월 국회를 통과하고 2025년 1월 공포된 한국 최초의 포괄적 AI 입법이며, AI 규제법을 전면 시행한 것은 한국이 세계에서 처음이다. EU는 단계적으로 적용한다.

이 글과 맞물리는 조문은 제31조 투명성 확보 의무다. 생성형 AI나 고영향 AI 기반 서비스를 제공하는 사업자에게 세 가지를 요구한다. 첫째, 생성형 AI 기반 서비스라는 사실을 사전에 고지할 것. 둘째, 결과물이 생성형 AI로 만들어졌다는 사실을 표시할 것. 표시 방식은 자막이나 로고, 워터마크 같은 가시적 방식과 메타데이터나 디지털 워터마크 같은 비가시적 방식으로 나뉜다. 셋째, 실제와 구분하기 어려운 가상의 음향이나 영상은 명확히 인식할 수 있게 표시할 것. 위반하면 시정명령과 함께 최대 3,000만 원의 과태료가 붙는다.

국내 사업자가 이 계층을 실제로 만지고 있다는 1차 근거도 하나 있다. 구글이 2026년 5월 발표에서 SynthID 기술을 자사 콘텐츠에 적용하는 회사로 오픈AI, 일레븐랩스와 함께 카카오를 명시했다. 국내 기업이 상용 API 위에 자체 로짓 처리기나 리랭커를 얹는 것이 얼마나 일반적인지, 그 개입이 계약이나 감사 문서에 기록되는지에 대한 국내 통계는 찾지 못했다. 과학기술정보통신부와 한국지능정보사회진흥원의 실태조사에도 해당 문항이 없다. 이 공백은 추정으로 메우지 않고 그대로 남긴다.

마지막 대비는 이것이다. EU 인공지능법 10조는 고위험 시스템의 학습 데이터에 대해 대표성과 품질을 증거로 남기라고 요구한다. 페블러스가 그 조문을 라벨링 증적 관점에서 정리한 리포트가 있다. 규제의 시선이 어디에 머물러 있는지가 이 대비에서 드러난다. 감사는 여전히 모델이 만들어지기까지를 본다.

경고로 닫으면 이 글은 할 일을 절반만 한 것이 된다. 논문이 남긴 처방은 세 가지이고, 셋 다 오늘의 조건에 대 볼 수 있다. 무엇을 재야 하는가, 그것을 잴 수 있는가, 잴 수 없다면 무엇을 요구해야 하는가.

5.1재야 할 것은 분포 차이다

감사의 기본 원시량은 분포 차이다. 실제로 서빙된 확률 분포와 모델이 원래 냈을 분포의 차이를 말한다. 낱말 하나가 바뀌었는지를 보는 것이 아니라, 어떤 낱말들이 얼마나 자주 뽑히게 됐는지의 기울기를 보는 일이다. 이 양을 정의할 수 있느냐가 감사 가능성의 전부다. 정의할 수 있으면 나머지는 표본 크기와 통계의 문제이고, 정의할 수 없으면 나머지 논의가 성립하지 않는다.

5.2그런데 지금 그것을 계산할 수 있는가

계산하려면 모델이 각 낱말에 매긴 확률을 밖에서 받아 볼 수 있어야 한다. 주요 세 공급사의 공식 스펙을 직접 받아 대조했다. 결과는 균일하지 않다.

이 표에서 세 가지 한계가 나온다. 첫째, 상위 20개는 분포가 아니다. 오픈AI 스펙은 상위 20개 안에 들지 못한 토큰의 값을 −9999로 채운다고 적어 두었다. 어휘는 10만 단위다. 머리만 보이고 꼬리는 뭉개진다. 전체 어휘에 대한 분포 차이를 계산하는 것은 현재 공개 API로는 불가능하다. 둘째, 한 곳은 창구 자체가 없다. 같은 감사 설계를 세 공급사에 균일하게 적용할 수 없다는 뜻이다. 사유는 공개돼 있지 않다.

셋째가 가장 무겁다. 감사할 수 있는 표면과 사회적으로 중요한 표면이 서로 다른 표면이다. 로그확률은 API 전용 기능이다. 챗GPT나 제미나이 앱, 클로드 웹처럼 사람들이 실제로 답을 읽는 소비자용 인터페이스는 아무것도 노출하지 않는다. 앞 절에서 본 월 10억 명이 있는 쪽이 그쪽이다. 논문 6.4절이 감사자에게 제안한 다섯 비교 축의 첫 번째가 왜 하필 "API 대 소비자용 챗 인터페이스"인지가 여기서 설명된다. API에서 분포를 재도 그 결과가 챗 인터페이스에 대해서도 성립한다는 보장이 없다.

표의 오른쪽 열에 대해서는 선을 정확히 그어야 한다. 오픈AI의 로짓 편향 파라미터는 스펙 원문이 "이 편향은 샘플링 직전에 모델이 생성한 로짓에 더해진다"고 적고 있다. 논문이 형식으로 세운 개입이 이미 문서화된 제품 기능으로 존재한다는 뜻이다. 이것을 오픈AI가 조향한다는 뜻으로 읽으면 안 된다. 확인된 것은 그 개입의 원시량이 공개 파라미터로 제공된다는 사실뿐이고, 그 파라미터를 쓰는 주체는 API를 호출하는 개발자다.

5.3개입 축은 노출돼 있고 결과 분포는 가려져 있다

조사 과정에서 예상하지 못한 비대칭 하나가 나왔다. 논문 6.4절이 감사자에게 비교하라고 제안한 다섯 축 가운데 셋이 이미 API 요청 파라미터로 존재한다. 앤트로픽 메시지 API의 파라미터 목록에 추론 처리 지역을 지정하는 항목, 요청을 특정 사용자 프로필에 귀속시키는 항목, 우선 용량과 표준 용량을 고르는 서비스 등급 항목이 있다.

여기서도 선은 분명하다. 이 파라미터들이 출력 분포를 바꾼다는 증거는 없다. 확인된 것은 배포 계층이 지역과 사용자 신원, 서비스 등급을 일급 요청 파라미터로 이미 다루고 있다는 사실뿐이다. 그러니까 논문이 감사자에게 비교해 보라고 지목한 축들은 가설이 아니라 이미 제품에 달려 있는 스위치다. 없는 것은 스위치가 아니라 그 스위치를 돌렸을 때 분포가 어떻게 달라지는지를 보여주는 창구다. 개입 축은 노출돼 있고 결과 분포는 가려져 있다. 이 비대칭이 지금 감사 가능성의 실제 모습이다.

5.4증명서는 이미 있었고, 폐기되는 중이다

논문의 두 번째 처방은 증명서다. 모델 버전 해시와 추론 정책 해시, 샘플러 설정을 묶어 서명한 뒤 응답과 함께 내보내자는 것이다. 감사자는 관측한 분포가 선언된 기준 분포와 일치하는지 확인한다. 가중치를 공개하지 않고도 검증할 수 있게 하는 구조이고, 논문의 표현으로는 질문이 바뀐다. 어떤 모델이 이걸 생성했나에서, 이 모델은 어떤 추론 정책 아래에서 말하도록 허용됐나로.

업계가 실제로 만든 물건과 비교하면 차이가 정확히 드러난다. 오픈AI 응답 객체에는 시스템 지문이라는 필드가 있다. 스펙 원문은 이 지문이 모델이 돌아가는 백엔드 설정을 나타내며, 시드 파라미터와 함께 쓰면 결정성에 영향을 줄 백엔드 변경이 언제 있었는지 파악할 수 있다고 적었다. 논문이 요구한 증명서와 목적이 가장 가까운 기존 필드다.

차이는 셋이다. 이 필드는 서명돼 있지 않고, 무엇이 바뀌었는지 분해되지 않으며, 목적이 감사가 아니라 재현성 디버깅이다. 그리고 현재 채팅 완성 스키마에서 폐기 예정으로 표시돼 있다. 배포 설정의 변화를 밖에서 알아챌 수 있게 해 주던 유일한 표준 필드가 사라지는 방향이다.

폐기 사유는 공개돼 있지 않다. 감사를 피하려는 것이라는 해석을 붙일 근거가 없으므로 붙이지 않는다. 확인된 것은 스펙에 붙은 표시까지다. 부분적인 공시가 실제로는 무엇을 가리는지에 대해서는 페블러스가 별도 사례에서 한 번 다룬 적이 있다.

5.5오늘 돌릴 수 있는 다섯 개의 비교 축

논문의 세 번째 처방은 지금 당장 실행할 수 있다. 같은 질문을 조건만 바꿔 여러 번 던지고 답변의 기울기가 달라지는지 보는 방식이다. 논문이 제안한 축은 다섯이다.

• API로 물었을 때와 소비자용 챗 인터페이스로 물었을 때
• 접속 지역이 다를 때
• 익명으로 물었을 때와 로그인해서 물었을 때
• 구독 등급이나 클라이언트 플랫폼이 다를 때
• 경쟁 브랜드끼리, 그리고 대립하는 정치 명제끼리 비교할 때

이 설계에는 전제가 없다. 로그확률이 없어도, 공급사의 협조가 없어도 돌릴 수 있다. 그래서 이 다섯 축은 이 글에서 뽑아낼 수 있는 가장 실용적인 산출물이다. 다만 여기서 나오는 결과의 성격을 오해하면 안 된다.

5.6블랙박스만으로는 원리적으로 보증이 안 된다

스무 명의 저자가 참여한 2024년 FAccT 논문이 이 문제를 정리해 두었다. 추가 가정 없이 유한한 질의 수로 블랙박스 시스템에 대해 보증을 만드는 것은 일반적으로 불가능하다는 것이다. 블랙박스 방법은 실패를 찾아 보일 수는 있어도 실패가 없다는 증거를 만들 수 없다. 앞 절의 다섯 축을 돌려 차이를 발견하면 그것은 발견이지만, 차이를 발견하지 못했다고 해서 개입이 없다는 결론은 나오지 않는다.

같은 논문은 접근권을 네 등급으로 나눈다. 블랙박스, 그레이박스, 화이트박스, 그리고 아웃사이드박스다. 마지막 등급은 방법론과 코드, 문서, 내부 평가 결과, 그리고 배포 상세를 포함한다. 논문이 요구하는 증명서와 선언된 기준 분포는 이 등급을 제도화하는 형태에 해당한다. 그러니까 논문의 요구는 더 열심히 관측하라가 아니라 접근권 등급을 올리라는 것이다.

이 대목에서 앞서 미뤄 둔 이야기를 마무리해야겠다. 추론 귀속 문제는 아무도 알 수 없다는 말이 아니다. 정확히 그 반대다. 권한을 주면 알 수 있고, 안 주면 원리적으로 못 안다. 그래서 이것은 기술의 한계가 아니라 제도 설계의 문제다.

5.7답이 없는 두 질문은 없는 채로 둔다

논문은 두 질문을 던지고 답하지 않았다. 첫째, 추론 시점의 확률 조작으로 사실 정확성과 응답 품질을 유지한 채 의미 프레이밍을 유의하게 밀 수 있는가. 둘째, 그런 개입을 블랙박스 관측만으로 신뢰성 있게 탐지할 수 있는가. 다른 문헌에서 부분적인 답을 찾을 수 있지만, 어느 쪽도 질문을 닫지는 못한다.

첫 질문 쪽에서 가장 가까운 실측은 2026년에 나온 로짓 층위 개입 연구다. 라마 3.1 8B로 읽기 수준을 통제하는 과제에서, 프롬프트만 썼을 때 37.11퍼센트였던 통제 정확도가 로짓 개입으로 84.53퍼센트가 됐다. 같은 조건에서 문장의 자연스러움을 재는 지표는 11.99에서 8.88로 오히려 좋아졌다. 세게 밀면 문장이 망가진다는 직관이 이 조건에서는 성립하지 않았다. 다만 정중함을 통제하는 과제에서는 같은 지표가 18.58에서 25.92로 나빠졌다. 어느 쪽이든 모델 하나와 데이터셋 하나의 값이지 평균이 아니다.

밀 수 있는 세기에는 천장이 있다. 저자들이 조향 강도만 바꿔 가며 잰 결과는 뒤집힌 U자였다. 강도 1.5에서 정확도가 정점을 찍고 양쪽으로 완만하게 떨어진다. 약하면 원래 문맥의 힘을 이기지 못하고, 세면 편향이 후보 안의 원래 점수를 눌러 문맥상 덜 그럴듯한 낱말이 뽑힌다. 그러면 국소적인 유창성과 긴 호흡의 일관성이 무너지고, 판정 모델이 보기에 목표 속성마저 흐려져 정확도가 같이 떨어진다. 조향 강도와 생성 품질 사이에 분명한 상충이 있다는 것이 저자들의 표현이다. 뒤집어 읽으면 이렇게도 된다. 드러나지 않아야 하는 개입이라면 이 천장 아래에 머물러야 한다.

같은 논문의 윤리 항목이 이 글의 논지와 정면으로 겹친다. 저자들은 자기 방법의 장점이 곧 그 방법의 주된 위험이라고 적었다. 개입이 목표 부류를 통계적으로 특징짓는 낱말에 양의 편향을 더하는 방식이라서 방향에 대칭이라는 것이다. 안전 쪽으로 만든 점수표가 해로움을 줄이는 것과 똑같은 원리로, 해로운 목표로 만든 점수표는 그 성질을 강화한다. 근거는 자기들 실험에 있다. 반대 부류의 점수표로 조향한 절제 실험에서 통제가 약해진 것이 아니라 방향 자체가 뒤집혔다. 저자들은 학습도 보조 모델도 필요 없고 출력 로짓만 있으면 되는 가벼움 때문에 오용의 문턱이 낮아진다고 덧붙였다. 조향 기법을 만든 쪽이 먼저 적어 둔 문장이다.

여기서 미끄러지기 쉬운 지점이 있다. 이 연구가 통제한 것은 읽기 수준과 정중함, 독성 같은 문체 속성이다. 논문의 첫 질문이 묻는 것은 논쟁적 명제의 의미 프레이밍이고, 그건 측정된 적이 없다. 정확한 서술은 이렇다. 문체 속성에 대해서는 로짓 개입이 통제력을 크게 올리면서 유창성 지표를 유지하거나 개선할 수 있다는 것이 측정됐다. 의미 프레이밍에 대해서는 아직 아무도 재지 않았다. 이 경계는 저자들도 그어 두었다. 향후 과제로 더 넓은 모델군과 비어휘적 속성, 그리고 판정 모델을 넘어선 사람 평가를 꼽았다. 의미 프레이밍은 그 비어휘적 속성 쪽에 있다.

첫 질문이 유지하라고 요구한 것은 둘이다. 응답 품질, 그리고 사실 정확성. 뒤쪽에 대해서는 반대 방향의 실측이 이미 하나 있다. 앞서 든 사이언스 실험이 실험에서 나온 주장 46만 6,769개를 사실 검증했는데, 설득력을 끌어올린 방법들이 사실 정확성을 체계적으로 떨어뜨렸다. 로짓 계층에서 나온 결과는 아니다. 그래도 설득력과 정확성이 같이 가지 않는다는 관측이 인접 계층에서 한 번 나와 있다는 뜻이고, 논문의 첫 질문은 그만큼 더 열려 있다.

두 번째 질문 쪽은 더 비어 있다. 워터마크는 짧은 구간에서도 탐지된다고 알려져 있지만, 그것은 탐지하는 쪽이 무엇을 심었는지 알고 있을 때의 이야기다. 무엇이 심겼는지 모르는 채 찾는 것은 다른 문제이고, 그 경우의 검정력 계산은 공개된 것이 없다. 이 구분을 뭉개면 워터마크를 잡을 수 있으니 조향도 잡을 수 있다는 틀린 결론이 나온다.

5.8배포 계층 공시 항목, 여섯 줄

항목을 세우기 전에 요구의 크기부터 분명히 한다. 논문이 제안한 추론 정책 투명성은 전부 공개하라는 요구가 아니다. 네 가지는 처음부터 빼 놓았다. 온도나 상위 확률 같은 기술적 디코딩 품질, 안전과 유해성 필터, 사용자가 스스로 요청한 조향, 그리고 출처 워터마킹이다. 공급자가 밝혀야 하는 것은 이 넷 바깥의 목적으로 샘플링 분포를 체계적으로 바꾸고 있는지 여부다. 요구가 이만큼 좁다는 점이 중요하다. 가중치나 영업 비밀을 내놓으라는 이야기가 아니라, 넷 말고 다른 목적이 있는지 예 아니오로 답하라는 이야기다.

지금까지 확인한 것을 조달과 감사에서 쓸 수 있는 형태로 옮기면 여섯 항목이 된다. 논문의 처방을 그대로 옮긴 것이 아니라, 5.2절에서 5.4절까지 확인한 실제 조건에 맞춰 다시 쓴 것이다. 이 표가 이 글의 실무 산출물이다.

여섯 중 마지막 둘은 오늘 조달 요건에 넣을 수 있다. 로그확률 접근권을 계약서에 적는 일과, 배포 설정 변경 이력을 서명된 형태로 받는 일이다. 앞의 넷은 공급사가 내주기 전에는 확보할 수 없지만, 요구 항목으로 문서에 적어 두는 것만으로도 지금 없는 규격이 무엇인지가 드러난다.

데이터에 품질 판정을 붙이고 그 판정을 문서로 남기는 일을 하는 회사가, 실험도 없고 인용도 아직 없는 프리프린트 한 편을 왜 붙잡고 있는가. 네 갈래다.

6.1이 논문이 요구하는 절차는 우리가 이미 만들 줄 아는 물건이다

페블러스가 하는 일은 데이터에 이 값이 어디서 왔고 무엇과 비교해 좋은 값인가를 붙이는 것이다. 이 논문이 요구하는 것도 형태가 같다. 다만 대상이 데이터가 아니라 서빙된 확률 분포다. 서빙된 분포와 모델 원분포의 차를 정의하고, 기준 클래스를 선언하고, 관측이 선언과 일치하는지 확인하는 절차. 데이터 품질 리포트가 하는 일의 구조를 그대로 옮긴 것이다. 대상만 바뀌었을 뿐 절차의 골격은 익숙하다.

6.2데이터 프로버넌스는 필요조건이지 충분조건이 아니다

지난 몇 달 우리가 쓴 글은 대체로 한 방향을 향해 있었다. 데이터 품질이 모델 거동으로 이어진다는 명제다. 학습 데이터의 출처, 라벨링 클릭의 증거화, 토큰 단위 언러닝까지. 전부 모델이 만들어지기까지의 계보다. 이 논문은 그 명제에 단서를 하나 붙인다. 학습 데이터에서 모델까지의 연결을 완벽히 밝혀도 모델에서 사용자까지의 구간이 남는다. 계보 장치가 하나도 없는 구간이다. 데이터 프로버넌스는 필요조건이지 충분조건이 아니다. 이 단서를 프로버넌스를 파는 쪽이 먼저 말하는 것이 이 글의 자리다.

6.3상용 API 위에 서비스를 얹은 조직은 이미 이 계층을 운영하고 있다

1.2절에서 본 FUDGE의 성질이 여기서 다시 나온다. 출력 로짓만 있으면 조향이 가능하다는 조건은, 모델을 만들지 않은 조직도 이 계층의 운영자가 될 수 있다는 뜻이다. 상용 API 위에 자체 프롬프트와 리랭커, 필터를 얹어 서비스를 만드는 조직은 이미 자기 손으로 배포 계층을 운영하고 있다. 문제는 그 개입이 대개 코드 리뷰 기록에만 남고 감사 문서나 계약서, 고객 공지에는 없다는 것이다.

여기서 나오는 실무 항목은 둘이다. 첫째, 배포 계층 개입을 목록으로 만드는 일. 무엇을, 어떤 목적으로, 언제부터 얹었는가. 둘째, 로그확률 접근권을 조달 요건에 넣는 일. 감사하려면 분포를 볼 수 있어야 하고, 그 권한은 계약 시점에 확보하지 않으면 나중에 생기지 않는다. 둘 다 오늘 착수할 수 있다. 국내에서 이런 개입이 얼마나 일반적인지에 대한 통계는 4.4절에서 적었듯 존재하지 않는다. 그 공백 자체가 지금 상태를 말해 준다.

6.4표시 의무 다음에 오는 질문

한국은 생성물 표시 의무를 세계에서 처음으로 전면 시행했다. 그 표시가 답하는 질문은 이것을 AI가 만들었는가이다. 남은 질문은 이 답이 어떤 추론 정책 아래에서 뽑혔는가이다. 두 질문 사이의 거리가 이 글이 다룬 한 층이다. 감사 대상을 학습 데이터에서 배포 파이프라인으로 한 층 넓히자는 주장은 프로버넌스를 파는 쪽이 아니라 감사 기준을 세우는 쪽만 할 수 있는 말이다.

논문의 표현은 더 날카롭다. 초록이 던진 질문은 한 줄이다. 모델과 사용자 사이의 확률 분포를 누가 통제하는가. 결론에서는 그 질문을 이렇게 늘였다. 이 출력은 어떤 추론 정책 아래에서 샘플링됐으며, 모델이 생성했을 것과 시민이 보도록 허용된 것 사이의 확률 분포는 누가 관장하는가. 저자가 결론 제목에 붙인 이름은 추론 주권이다. 정렬을 어떻게 할 것인가에서 그 분포를 누가 쥐는가로 문제를 옮기자는 제안이다.

논문은 마지막에 대비를 하나 놓았다. 설득하는 중개자는 역사적으로 늘 이름이 있었다. 신문에는 발행인이 있었고, 텔레비전 광고에는 광고주가 있었고, 검색엔진은 뜯어볼 수 있는 순위 목록을 내놓았다. 대화형 AI는 사적이고, 상호작용하며, 매번 달라지는 중개자다. 여기에 공개되지 않은 추론 조향이 얹히면 개인화와 권위와 규모와 불투명이 한꺼번에 쌓인다고 논문은 적었다. 넷 가운데 앞의 셋은 이미 와 있다. 남은 하나가 이 글이 다룬 것이다.

이 글이 고발로 읽히지 않기를 바란다. 지금 누가 확률로 광고를 심고 있다는 이야기가 아니고, 그런 정황이 있다는 이야기도 아니다. 개입은 기술적으로 가능하고 저렴하며 흔적을 남기지 않는데, 그것이 있는지 없는지 밖에서 구별할 문서가 존재하지 않는다는 이야기다. 빈칸을 빈칸으로 두는 것이 이 글의 방법이었다. 항목이 서면 그다음은 실무의 일이다.

학술

• 1.Camargo, A. (2026). The Invisible Editorial Layer: Formalizing Undisclosed Inference-Time Steering, Probability Placement, and the Attribution Problem in Deployed Language Models. arXiv:2608.24662v1 [cs.AI], 2026-08-25. CC BY 4.0. 1인 저자, Bluecore Consulting(브라질). 이 글이 다룬 개념 셋의 출처이며, 실험이나 측정은 포함하지 않는다. arXiv
• 2.Dathathri, S., See, A., Ghaisas, S., Huang, P.-S., McAdam, R., Welbl, J. et al. (2024). Scalable watermarking for identifying large language model outputs. Nature 634, 818–823. DOI 10.1038/s41586-024-08025-4. 지연 +0.57%, 약 2,000만 건 실사용 A/B, 제미나이 배포 사실의 출처. Nature
• 3.Hackenburg, K., Tappin, B. M., Hewitt, L., Saunders, E., Black, S., Lin, H., Fist, C., Margetts, H., Rand, D. G. & Summerfield, C. (2025). The levers of political persuasion with conversational artificial intelligence. Science 390(6777), eaea3884. DOI 10.1126/science.aea3884. 대규모 실험 3건, 참가자 N=76,977, LLM 19종, 정치 쟁점 707건, 사실 검증한 주장 466,769개. 프롬프트 조정만으로 설득력 최대 +27%(사후학습은 +51%), 설득력이 오른 방법은 사실 정확성을 체계적으로 낮췄다. Science
• 4.Williams-Ceci, S., Jakesch, M., Bhat, A., Kadoma, K., Zalmanson, L. & Naaman, M. (2026). Biased AI writing assistants shift users' attitudes on societal issues. Science Advances 12(11), eadw5578. DOI 10.1126/sciadv.adw5578. N=2,582. 편향을 인지하지 못한 채 태도가 이동하며 경고로 막히지 않는다. Science Advances
• 5.Casper, S., Ezell, C., Siegmann, C., Kolt, N. et al. (2024). Black-Box Access is Insufficient for Rigorous AI Audits. FAccT '24, 2254–2272. DOI 10.1145/3630106.3659037. 접근권 4등급과 블랙박스 보증 불가능성의 출처. arXiv
• 6.Yang, K. & Klein, D. (2021). FUDGE: Controlled Text Generation With Future Discriminators. NAACL 2021. arXiv:2104.05218. 출력 로짓만으로 조향이 가능하다는 조건의 출처. arXiv
• 7.Dathathri, S., Madotto, A., Lan, J., Hung, J., Frank, E., Molino, P., Yosinski, J. & Liu, R. (2020). Plug and Play Language Models: A Simple Approach to Controlled Text Generation. ICLR 2020. arXiv:1912.02164. 마지막 저자는 Rosanne Liu다(논문 [8]의 표기와 다름). arXiv
• 8.Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I. & Goldstein, T. (2023). A Watermark for Large Language Models. ICML 2023. arXiv:2301.10226. 샘플링 도중 초록 토큰을 부드럽게 촉진하며 품질 영향은 무시할 만하다. arXiv
• 9.Liu, A., Sap, M., Lu, X., Swayamdipta, S., Bhagavatula, C., Smith, N. A. & Choi, Y. (2021). DExperts: Decoding-Time Controlled Text Generation with Experts and Anti-Experts. ACL 2021. arXiv:2105.03023. / Li, K., Patel, O., Viégas, F., Pfister, H. & Wattenberg, M. (2023). Inference-Time Intervention. NeurIPS 2023. arXiv:2306.03341. / Turner, A. M. et al. Steering Language Models With Activation Engineering. arXiv:2308.10248.
• 10.An, H., Park, S., Jin, H. & Han, Y.-S. (2026). Steering Language Models Before They Speak: Logit-Level Interventions. arXiv:2601.10960v2 (2026-05-28). 연세대. 본문 수치는 v2 기준이며 v1에는 perplexity 열이 없다. Llama3.1 8B, OSE(읽기 수준): 프롬프팅 정확도 37.11%·perplexity 11.99 → SWAI 84.53%·8.88. WikiPol(정중함): 56.70%·18.58 → 77.20%·25.92. 조향 강도 δ는 1.5에서 정점인 뒤집힌 U자. 윤리 항목에서 방향 대칭성과 오용 문턱 저하를 저자가 명시했고, 향후 과제로 비어휘적 속성과 사람 평가를 꼽았다. arXiv
• 11.Chen, L., Zaharia, M. & Zou, J. (2023). How is ChatGPT's behavior changing over time? arXiv:2307.09009. 같은 이름의 API 뒤에서 거동이 크게 달라지며 갱신 시점과 방식이 불투명하다. arXiv
• 12.Entman, R. M. (1993). Framing: Toward Clarification of a Fractured Paradigm. Journal of Communication 43(4), 51–58. DOI 10.1111/j.1460-2466.1993.tb01304.x. 프레이밍은 사실이 아니라 현저성을 조작한다. / Kröger, P. & Barkett, E. (2025). Don't Change My View: Ideological Bias Auditing in Large Language Models. arXiv:2509.12652.
• 13.Chatterji, A., Cunningham, T., Deming, D., Hitzig, Z., Ong, C., Shan, C. & Wadman, K. (2025). How People Use ChatGPT. NBER Working Paper 34255. 정보 탐색 비중 14%(2024-07)→24%(2025-07). NBER

정책·통계·공식 발표

• 14.European Commission (2025-02-04). Guidelines on prohibited artificial intelligence practices. 금지 조항을 누적 요건으로 분해하며, 개인화 광고에 AI를 쓰는 것 자체는 본질적으로 조작적이지 않다고 판단. 법적 구속력 없음.
• 15.「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」 및 시행령, 2026-01-22 시행. 제31조 투명성 확보 의무(사전 고지, 생성물 표시, 딥페이크 강화 표시). 위반 시 시정명령과 최대 3,000만 원 과태료. 국가법령정보센터
• 16.FTC (2025-09-11). 6(b) Orders to Providers of Consumer-Facing AI Companion Products. 7개사 대상. 요구 항목에 상호작용의 수익화 방식과 챗봇의 응답 생성 방식이 포함됐다.
• 17.Google (2026-05-19). Identifying AI-generated media online. 공식 블로그. SynthID 워터마킹 누적 이미지·영상 1,000억 건 이상, 오디오 6만 년치. 파트너로 OpenAI, Kakao, ElevenLabs 명시. Google Blog
• 18.xAI (2025-05). 그록 프롬프트 무단 수정 관련 공식 성명 및 시스템 프롬프트 공개 저장소. 저장소 생성 2025-05-15, 마지막 갱신 2025-11-17(GitHub API 확인). xai-org/grok-prompts
• 19.OpenAI. openai-openapi 공식 스펙(logprobs, top_logprobs 상한 20, logit_bias, 폐기 예정 표시된 system_fingerprint). / Anthropic. anthropic-sdk-python 메시지 생성 파라미터(inference_geo, user_profile_id, service_tier, 로그확률 파라미터 부재). / Google. python-genai 타입 정의(response_logprobs, logprobs).
• 20.WPP Media (2026-06-16). This Year Next Year 하계 전망. 생성형 검색 광고 51억 달러(2026)에서 1,000억 달러 이상(2030). / eMarketer (2026-06-04). US AI Advertising Forecast 2026. 2026년 AI 광고의 80% 이상이 챗봇 대화 안이 아니라 AI 콘텐츠 옆에 붙는다.
• 21.Reuters Institute (2026-06-16). Digital News Report 2026. 48개국 약 10만 명. AI 챗봇 답변 신뢰 20%, 원문 출처 클릭 4%. / KPMG × University of Melbourne (2025). Trust, attitudes and use of AI: A global study 2025. 47개국 4만 8,000명 이상. AI 출력을 검증 없이 사용 66%.
• 22.Gartner (2026-05-27). 소비자는 AI에 쇼핑 도움은 원하지만 구매 결정은 맡기지 않는다는 조사. Gartner / Google (2026-08-11). 제미나이 앱 월간 이용자 10억 명 돌파.

페블러스 인접 (교차 링크)

• 23.페블러스, 미공개 출력 조정을 소비자 기만으로 본 FTC 정책성명. blog/ftc-ai-accuracy-deception
• 24.페블러스, 버전 번호 없이 바뀌는 모델과 공시 공백. report/silent-model-updates-disclosure-gap
• 25.페블러스, 도구는 밝히고 출처는 감추는 부분 공시의 한계. report/microsoft-mai-provenance-gap
• 26.페블러스, 인공지능법 제10조가 요구하는 라벨링 증적. report/eu-ai-act-article10-labeling-audit-evidence / 인공지능법 적용 일정. report/eu-ai-act-august-2026-deadline-reality
• 27.페블러스, 토큰 단위 프로버넌스와 언러닝. blog/token-level-provenance-unlearning / 워터마크 생태계 모니터링. blog/watermark-ecosystem-monitoring / 가시 워터마크 설정 변경. blog/google-visible-watermark-toggle-credentio