Executive Summary

생성형 모델이 쓴 한국어 문장을 읽다 보면 사실관계가 맞아도 어딘가 걸린다. 이 감각의 출처를 모델 개체에서 찾으면 답이 나오지 않는다. 출처는 그 모델이 무엇을 먹고 자랐는지에 있다.

1.1웹에 있는 한국어는 백 분의 일도 안 된다

Common Crawl은 공개 웹을 통째로 긁어 언어별 비중을 공개한다. 대규모 언어모델의 사전학습 데이터에서 가장 큰 덩어리를 차지해 온 출처이기도 하다. 가장 최근 크롤인 CC-MAIN-2026-30에서 영어는 40.58%, 한국어는 0.843%다. 48배 차이다. 여기서 눈여겨볼 것은 영어와의 격차보다 이웃 언어와의 격차다. 일본어가 5.32%로 한국어의 6.3배다. 한국어가 적은 이유를 "비영어라서"로 설명할 수 없다는 뜻이다.

그림 1. 웹 코퍼스의 언어별 비중. 한국어는 영어의 48분의 1이고, 일본어의 6분의 1이다.

이 숫자를 옮길 때 한 가지 선을 지켜야 한다. Common Crawl은 웹 크롤 원본이지 특정 상용 모델의 학습 혼합비가 아니다. 상용 모델의 혼합비는 공개되어 있지 않다. 다만 방향은 보수적으로 말할 수 있다. 공개된 사전학습 데이터셋을 분석한 연구들은 실제 혼합이 웹 분포보다 오히려 더 영어 쪽으로 기울어 있다고 보고한다. 그러니 0.84%는 낮으면 낮았지 높지는 않을 값으로 읽는 편이 안전하다.

1.2중간 표현이 영어 쪽으로 기운다

데이터가 기울면 내부 표현도 기운다. Wendler 등이 ACL 2024에 발표한 Do Llamas Work in English?는 logit lens 기법으로 중간층을 들여다보고, 비영어 프롬프트를 처리할 때도 중간층에서 의미상 맞는 토큰이 입력 언어판보다 영어판에서 더 높은 확률로 디코딩된다는 것을 보였다. 마지막 층에 가서야 표현이 입력 언어 영역으로 이동한다.

이 관측의 범위는 정확히 잡아 둘 필요가 있다. 대상은 Llama-2 계열이고, 과제는 다음 토큰이 프롬프트만으로 결정되는 단일 토큰 완성 세 종류(번역·반복·빈칸 채우기)다. 자유로운 문장 생성은 측정하지 않았다. 저자들도 "영어를 경유해 번역한다"가 아니라 영어 쪽으로 기운 개념 공간이라는 표현을 쓴다. 모델 안에 번역 파이프라인이 들어 있다는 주장은 아니다. 학습에서 지배적이었던 언어의 선호가 표현 공간에 배어 있다는 관측이다.

1.3영어의 쉼표 습관이 한국어에 얹힌다

여기까지는 표현 공간의 이야기다. 그것이 실제 한국어 문장 표면에서 어떤 자국으로 나타나는지를 측정한 연구가 2025년에 나왔다. 서울대 연구진의 KatFishNet(ACL 2025 본회의)은 한국어 LLM 생성문 탐지의 첫 벤치마크를 만들면서 띄어쓰기 패턴, 품사 n-gram 다양도, 쉼표 사용 세 가지를 자질로 썼다. 이 중 쉼표에서 사람과 모델의 격차가 크게 벌어졌다.

논문 부록 G.1의 수치는 이렇다. 연결어미 뒤에 쉼표가 따라붙는 비율이 논술 에세이에서 사람은 4.10%인데 LLM은 19.83%다. 4.8배다. 시에서는 4.68% 대 15.57%, 논문 초록에서는 13.27% 대 28.01%로 장르마다 격차의 크기는 달라지지만 방향은 같다.

표 1. 연결어미 직후 쉼표 사용률 (KatFishNet, ACL 2025, 부록 G.1)

중요한 것은 논문이 원인까지 짚었다는 점이다. 한국어 어문 규범은 '그리고·그러나·그런데·그러므로' 같은 접속부사 뒤에 쉼표를 찍지 않는 쪽을 자연스럽게 본다. 저자들은 그 대목에서 영어를 직접 언급한다.

코퍼스 구성에서 시작해 문장 표면의 쉼표 하나까지 이어지는 사슬이 이렇게 완성된다. 이 사슬의 무게는 동료평가를 거친 논문 저자들이 직접 그렇게 서술했다는 데 있다.

그림 2. 코퍼스 구성에서 쉼표 하나까지 이어지는 사슬. 각 칸의 근거는 순서대로 Common Crawl 통계, Wendler et al.(2024), KatFishNet 부록 G.1, 같은 부록의 실측치다.

같은 부록에는 덧붙일 만한 관찰이 하나 더 있다. 사람은 쉼표를 특정한 품사 조합에 몰아서 쓰고, 모델은 여러 자리에 고르게 흩뿌린다. "AI는 쉼표를 많이 쓴다"보다 "AI는 쉼표를 가려 쓰지 않는다"가 더 정확한 서술이다.

1.4영어에도 필요하다, 층위가 다를 뿐

그렇다면 영어 글에는 이런 작업이 필요 없을까. 번역학에 이미 답이 있다. Toral이 2019년 MT Summit에서 최우수논문을 받은 Post-editese: an Exacerbated Translationese는 기계번역 후편집물과 순수 인간번역을 3개 데이터셋, 5개 번역 방향, 규칙·통계·신경망 전 세대에 걸쳐 비교했다. 후편집물은 어휘 다양도와 어휘 밀도가 낮고, 문장 길이가 원문 쪽에 더 가까웠다. 더 단순하고, 더 규범적이고, 원문의 간섭이 더 컸다.

영어권에서 사람들이 AI 티라고 부르는 것의 정체가 여기 있다. 번역투가 아니라 단순화와 어휘 빈곤이다. 층위가 다르니 도구도 달라야 한다. 영어 패턴 목록을 한국어에 그대로 옮기면 절반이 헛돈다는 사실은 뒤의 2절에서 실물로 확인한다.

영어와 한국어 사이에만 있는 이야기도 아니다. 같은 크롤에서 일본어는 5.32%, 중국어는 4.43%다. 영어 앞에서는 둘 다 작지만 한국어보다는 여섯 배와 다섯 배 크다. 앞에서 따라온 사슬이 맞다면 이 언어들에도 정도가 다른 같은 종류의 자국이 남는다. 다만 그 자국이 어떤 모양인지는 그 언어로 직접 재야 알 수 있다. 한국어에서 그 일을 한 것이 KatFishNet이고, 그런 측정이 없는 언어에서는 무엇을 고쳐야 하는지부터가 미지수로 남는다.

하나는 탐지기를 속이는 일이고, 다른 하나는 독자가 읽을 글로 고치는 일이다. 이름이 비슷해서 자주 한 덩어리로 묶이는데, 목적도 성공 지표도 사업 모델도 다르다.

표 2. 두 진영의 비교 (2026-08-20 기준 공개 정보)

페블러스가 다루는 쪽은 두 번째다. 첫 번째 진영에는 윤리 문제도 있지만, 더 근본적으로는 그 목표 자체가 성립하지 않는다. 우리는 2026년 5월에 AI 탐지기의 수학적 한계를 다룬 보고서를 냈다. 학생 개개인의 글쓰기 분포가 서로 다르다는 사실만으로 탐지기의 오탐에는 이론적 하한이 생기고, 오탐률을 1%로 묶으면 탐지력이 6%까지 떨어진다는 내용이었다. 심판을 믿을 수 없다면 그 심판을 속이는 서비스에 돈을 낼 이유도 사라진다.

2.1뿌리가 다른 두 계보가 나란히 자랐다

품질 교정 진영에는 한국어 도구가 하나뿐인 것처럼 보이지만, 깃허브를 실제로 뒤져 보면 그렇지 않다. 규모로는 영어 원류가 훨씬 크다. blader/humanizer는 스타 36,676개로 한국어 쪽 대표 도구의 8배이고, 공개 시점도 2026년 1월 18일로 석 달 이르다. 근거 체계는 위키백과 편집자들이 관리하는 Signs of AI writing 문서이고 패턴은 33개 안팎이다.

다른 계보는 한국어에서 출발했다. 4월 24일에 공개된 epoko77-ai/im-not-ai는 한국 번역학의 번역투 유형론을 뼈대로 삼았고, 조회 시점인 2026년 8월 20일 기준 스타 4,556개, 포크 489개다. 그다음 규모의 한국어 전용 도구는 스타 7개다. 독점이라고 쓰면 틀리고, 약 650배의 집중이라고 써야 맞다.

표 3. 한국어 윤문 스킬 지형 (GitHub API 직접 조회, 2026-08-20)

영어 도구를 한국어로 포크해 본 사람의 증언이 두 계보가 왜 갈라졌는지를 가장 잘 설명한다. IsaacEryn은 포크 저장소의 README에 이렇게 적었다.

1절에서 본 것과 같은 이야기를 실무자가 코드를 옮기다가 다시 발견한 셈이다. 영어의 AI 티는 대문자 표기와 하이픈 복합어에 있고, 한국어의 AI 티는 쉼표와 종결어미와 번역투 접속사에 있다. 층위가 다르면 규칙 목록을 번역해 봐야 소용이 없다.

같은 벽에 부딪힌 포크가 하나 더 있다. choconyam의 포크는 원본이 영어 산문을 기준으로 만들어져 줄표와 인용과 주어에 관한 규칙을 한국어에 그대로 적용하면 오히려 어색해진다는 이유로 한국어 전용 점검 항목을 따로 달았다. 서로 모르는 두 사람이 같은 저장소를 한국어로 옮기다 같은 자리에서 멈춰 선 것이다. 그러니 이 지형을 한국만의 사건으로 읽을 이유는 없다. AI 티를 걷어내는 스킬은 2026년 상반기 에이전트 생태계 전반에서 동시에 자란 흐름이고, 한국어 도구들은 그 흐름의 한국어 쪽 갈래다. 흐름은 수입되지만 규칙은 수입되지 않는다.

2.2페블러스는 같은 문제를 발행 직전에 푼다

페블러스도 같은 문제를 다른 자리에서 풀고 있다. 우리 블로그의 발행 파이프라인에는 ko-prose-humanizer라는 검수 단계가 있고, 이 글을 포함해 모든 한국어 산문이 발행 전에 그 단계를 통과한다. 11종의 문체 신호를 점수화해 임계를 넘으면 교정을 요구하는 방식이라, 텍스트를 고쳐 주는 도구라기보다 내보낼지 말지를 정하는 관문에 가깝다. 이 보고서에서 우리 도구는 비교 참조점으로만 등장한다. 남의 잣대를 우리 글에 대보는 것이 이 글의 목적이기 때문이다.

문체 교정을 모델에게 맡기면 두 가지가 무너지기 쉽다. 얼마나 고쳤는지를 모델 자신이 판단하게 되고, 고치는 김에 사실도 함께 바뀐다. 이 도구의 설계는 그 두 가지를 코드 바깥으로 빼냈다. 한 줄로 요약하면 판정을 모델이 아니라 코드가 한다.

3.1패턴마다 등급이 붙어 있다

규칙은 A부터 J까지 10개 카테고리에 번호가 붙은 71개 패턴으로 정리되어 있다(그중 한 건은 보류 상태다). 각 패턴에는 심각도가 붙는다. S1은 한 번만 나와도 확신할 수 있는 결정적 신호라 무조건 제거하고, S2는 세 번 이상 반복될 때, S3은 다른 신호와 겹칠 때만 손댄다. 윤문 결과에도 등급을 매겨 A와 B는 통과, C는 2차 윤문, D는 사람 검토로 보낸다.

입력을 받으면 먼저 정량 점수를 내고 그 점수로 실행 경로를 결정한다. 가벼우면 모델 호출 한 번, 보통이면 두 번, 무거우면 세 번 이상이다. 경로를 프롬프트 안에서 판단하지 않고 미리 계산해 둔다는 점이 이 설계의 성격을 보여준다.

3.2과윤문은 네 축으로 걸러진다

철칙은 넷이다. 의미 불변(수치·고유명사·직접 인용 100% 보존), 근거 기반(탐지된 구간만 수술), 장르 유지, 과윤문 금지(문자 변경률 30% 경고, 50% 강제 중단). 이 중 셋은 선언에 그치지 않고 검사 스크립트로 구현되어 있다. verify_gates.py가 윤문 전후 텍스트를 받아 네 축으로 판정하고 종료 코드를 남긴다.

표 4. 4축 게이트의 구성 (저장소 scripts/verify_gates.py 원문 기준)

P2가 특히 흥미롭다. 나쁜 패턴을 전부 없애면 좋은 것 아니냐고 생각하기 쉬운데, 이 게이트는 반대로 본다. 원문에 있던 대구가 하나도 남지 않으면 그것은 교정이 아니라 문체 삭제라는 판단이다. 고치는 도구가 자기 자신의 과잉을 실패로 규정해 둔 셈이다.

손대지 말아야 할 것도 목록으로 못 박혀 있다. 수치와 단위와 날짜, 고유명사와 제품명과 모델명, 큰따옴표 안의 직접 인용, 법률 조문, 학술 개념어다. 그리고 문서 여러 곳에 이 도구가 탐지기 우회용이 아니며 학술 제출이나 저널리즘의 진실성을 보증하지 않는다는 문장이 반복해 적혀 있다. 워터마크 제거 기능은 의도적으로 넣지 않기로 결정하고 그 사유를 문서에 남겼다. 탐지기가 없으니 제거 효과를 측정할 수 없고, 측정할 수 없는 제거는 맹목적인 단어 흔들기라는 것이다.

그림 3. 윤문 파이프라인과 4축 게이트. 실행 경로 선택과 등급 판정을 모두 이 흐름 위에서 코드가 결정한다.

3.3"기준이 됐다"를 무엇으로 확인하는가

스타 수는 도구가 퍼졌다는 증거는 되지만 기준이 됐다는 증거는 되지 못한다. 검증 가능한 증거는 다른 곳에 있다. 서로 모르는 네 개의 프로젝트가 같은 분류 체계를 출처와 함께 가져다 썼다.

표 5. 출처를 밝히고 분류 체계를 채택한 파생 프로젝트 (README 원문 확인, 2026-08-20)

이 표에서 가장 눈에 띄는 것은 세 번째 줄이다. 다른 팀이 복제한 것은 패턴 목록이 아니라 30%와 50%라는 숫자였다. 무엇을 AI 티로 볼지에 대해서는 각자 의견이 있지만, "얼마나 고쳤는지를 코드로 재고 넘으면 막는다"는 방식에는 이견이 없었던 셈이다. 설계 사상이 패턴 목록보다 먼저 퍼진다.

문체 규칙의 가장 흔한 실패는 규칙이 틀리는 것이 아니라 규칙에 근거가 없는 것이다. "이런 표현은 AI가 쓴 티가 난다"는 문장은 대개 감으로 시작해 인용으로 굳는다. 이 도구는 그 감을 자기 코퍼스로 검산했고, 결과가 어긋난 규칙을 스스로 폐기했다.

4.1AI 산문 60편과 사람 글 60편을 맞세웠다

설계는 단순하다. 모델 세 종류에 동일한 주제 20개를 아무 지침 없이 던져 만든 한국어 산문 60편과, 2022년 1월 1일 이전에 발행된 것이 확인된 한국어 산문 60편을 맞세웠다. 뒤쪽은 ChatGPT 공개 이전이라 AI 혼입이 원리적으로 불가능하고, 40개 매체에 걸쳐 있으며 Wayback Machine으로 발행 시점을 이중 확인했다. 검정에는 로그우도비 G²를 썼다.

확증된 신호 중 가장 격차가 큰 것은 부정 대구였다. "A가 아니라 B다" 형태가 AI 산문에서 1천 자당 5.8회, 사람 글에서 0.6회로 9.2배 차이가 났다.

표 6. 자체 대조 코퍼스에서 확증된 신호 (저장소 references/empirical-validation.md, 2026-07)

반대 방향의 발견도 있었다. AI 산문에 없는 것들이다. 100자가 넘는 긴 문장이 사람 글에서 1천 문장당 91.3회인데 AI에서는 8.1회에 그쳤고(G²=60.9), 큰따옴표 직접 인용은 사람 8.7회 대 AI 0.0회였다(G²=96.4). 괄호도 10.6 대 1.2로 벌어졌다. 도구는 이 중 장문 결핍만 처방으로 채택하고 나머지는 관측 항목으로 남겼다. 없는 인용을 지어내는 순간 의미 불변 철칙이 깨지기 때문이다. 무엇을 고칠 수 있는지와 무엇을 관측만 할지를 갈라 둔 판단이다.

4.2자기 규칙을 기각한 두 건

검산의 진짜 값어치는 통과한 규칙이 아니라 떨어진 규칙에서 나온다. 두 건이 기각됐다.

• '~를 통해'를 무조건 분산시키는 규칙. 최희경(2016)의 대조 결과는 비번역 한국어에서 84.4회, 번역문에서 42.1회로 오히려 원어민이 두 배 더 쓴다. 번역투의 표지로 삼을 근거가 없어 남발 억제만 남겼다.
• '것이다' 종결을 평서형으로 바꾸는 규칙. 정밀 측정에서 AI 20.4회, 사람 43.0회로 사람이 두 배 더 썼다(G²=6.2). 처음 측정에서는 종결 두 글자 '이다'를 세는 바람에 다른 형태까지 섞여 들어갔고, 그 측정 오류를 저자가 문서에 직접 정정해 두었다.

인용 문헌에 대한 자기 강등도 있다. 홍보 문구는 한국 번역학의 8대 유형에 학술 인용을 달았다는 점을 내세우지만, 저장소 내부 문서는 그 인용의 성격을 훨씬 엄격하게 규정한다.

홍보 문구보다 내부 문서가 더 엄격한 프로젝트는 흔하지 않다. 이 도구에서 가장 칭찬할 만한 것은 패턴 개수보다 이 태도다.

4.3페블러스도 같은 곳에 도착했다

같은 기각이 우리 쪽에서도 있었다. 페블러스의 문체 기준 문서 docs/ai-tone-detection.md는 '것이다' 종결을 AI 티의 지표로 삼고 있었는데, 2026년 8월 1일 개정에서 그 항목을 걷어냈다. 우리 발행글 전수와 사람이 쓴 정본을 다시 세어 보니 사람 쪽이 두 배 가까이 많이 썼기 때문이다. 서로 다른 코퍼스, 서로 모르는 두 팀, 같은 결론이다.

한 걸음 더 간 판단도 있다. 우리 docs/ko-style-standard.md는 고전 번역투 교정표를 표준의 뼈대로 삼기를 거부했다. 이중 피동이 우리 글 1만 자당 0.03회, '에 있어서'는 0건으로 이미 통과한 층위였기 때문이다. 남이 만든 목록을 그대로 받으면 실제로 우리 글에 있는 문제 대신 목록에 있는 문제를 고치게 된다.

설계를 읽는 것과 돌려 보는 것은 다르다. 검증 스크립트 여덟 개를 내려받아 임시 디렉터리에 두고 세 종류의 텍스트에 돌렸다. 외부 의존성 없이 표준 라이브러리만으로 동작해서 설치할 것이 없었다. 장르 인자는 두 스크립트가 받는 값이 달라, 양쪽 베이스라인에 모두 존재하는 essay로 통일했다.

대상은 셋으로 잡았다. 우리 글 하나, 지침 없이 새로 생성한 AI 산문 하나, 그리고 사람이 쓴 것이 확실한 원고 하나다. 마지막 하나가 이 실험에서 가장 중요한 자리를 차지하게 된다.

표 7. 실험 대상 텍스트 3종

5.1우리 글에 칼을 대다

(a)에서는 줄표로 같은 말을 다시 풀어 쓰는 대목 네 곳만 손봤다. 수치와 고유명사와 인용은 건드리지 않았다. 문자 변경률은 3.8%로 경고선 근처에도 가지 않았고, 위험도는 medium(4)에서 low(2)로 내려갔다. 우리 자체 검수의 줄표 항목도 5건에서 0건이 됐다. 두 도구가 같은 신호를 보고 같은 방향으로 움직인 사례다.

손댄 자리는 이런 모양이다. 원문의 「TradingAgents 패턴을 산업 데이터 운영 — 제조, 물류, 헬스케어, 에너지 — 으로 옮기면 어디가 무너지는가」는 줄표를 괄호로 바꿔 「산업 데이터 운영(제조, 물류, 헬스케어, 에너지)으로 옮기면」이 됐다. 「이미 도메인 간 수렴했다 — 역할 분화 + 중앙 오케스트레이션 + 도구 호출 + 검증 레이어」처럼 줄표 뒤에 항목을 이어 붙인 대목은 「이미 도메인 간 수렴했다. 역할 분화, 중앙 오케스트레이션, 도구 호출, 검증 레이어가 그렇다」로 문장을 하나 더 세웠다. 낱말은 그대로 두고, 줄표가 대신 떠맡고 있던 일을 문장에 돌려준 편집이다.

눈여겨볼 숫자는 문장 터치율이다. 문자로는 3.8%만 바뀌었는데 열한 문장 중 다섯 문장이 구조적으로 달라졌다. 변경률이 낮다고 해서 원문이 그대로인 것은 아니라는 뜻이다.

5.2정직한 편집이 경고선을 넘다

(b)에서는 "왜냐하면 ~ 때문이다", "다시 말해", "~것을 의미한다" 같은 번역투 접속과 명사형 재진술, 그리고 "따라서"와 "결론적으로"를 걷어냈다. 특별히 세게 고칠 생각은 없었다. 그런데 문자 변경률이 30.7%로 나와 경고선을 넘겼고, 여덟 문장 전부가 손을 탔다.

지운 문장은 이런 것들이다. 「왜냐하면 산업 현장의 데이터는 금융 데이터와 달리 정답이 명확하지 않기 때문이다. 다시 말해, 시장가라는 즉각적인 검증 수단이 존재하지 않는다는 것이다」 두 문장은 「산업 현장의 데이터는 금융 데이터와 다르다. 시장가처럼 정답을 즉시 확인할 방법이 없다」가 됐다. 뜻은 같고 길이는 줄었는데, 고친 뒤 문장에는 원문의 어절이 거의 남지 않는다. 문자 변경률이 이렇게 올라간다.

전형적인 슬롭을 걷어내려면 문장 골격까지 바꿔야 한다는 사실이 숫자로 드러난 셈이다. 임계 30%가 여유롭지 않다는 신호이기도 하다. 도입하는 조직은 이 값을 자기 장르에 맞춰 조정할 준비를 해 두는 편이 좋다.

5.3사람이 쓴 글이 최고 위험 등급을 받다

(c)에서는 단어를 하나도 바꾸지 않았다. "하지만," "~하고," 처럼 연결어미 뒤에 붙은 쉼표 다섯 개만 지웠다. 문자 변경률 0.5%다. 그런데 이 편집 전후로 판정이 완전히 뒤집혔다.

어떤 쉼표였는지를 보면 이 판정의 성격이 드러난다. 「불에 구운 고기 맛이 기가 막히다는 것을 처음 알게 되었고, 너나 할 것 없이 불의 화려한 매력에 빠져서」, 「불을 꺼뜨리기도 하고, 불에 데기도 한다」. 연결어미 뒤에서 한 박자 쉬어 가는 이 자리들이 글쓴이의 호흡이다. 도구는 그 호흡을 모델의 버릇으로 읽었다.

표 8. 2020년 인간 저작 원고의 판정 역전

ChatGPT가 세상에 나오기 두 해 전에 사람이 쓴 원고가 최고 위험 등급을 받았다. 원인은 지표 하나였다. 발췌문에서 연결어미 경계 여섯 곳 중 다섯 곳에 쉼표가 붙어 있었고, 그 83.3%가 에세이 장르 베이스라인 대비 z=+10.07이라는 극단값을 만들었다. 1절에서 본 4.8배의 신호가 바로 이 축이다. 집단 수준에서 참인 통계가 개인의 글 앞에서 어떻게 실패하는지를 보여주는 장면이다.

짧은 발췌라서 생긴 우연이 아닌지 확인하려고, 편집 없이 완결된 문서 두 편을 통째로 돌려 봤다. 방향이 같았다.

표 9. 완결 문서 전체 분량 교차 확인

사람이 쓴 에세이가 우리가 AI로 작성한 보고서보다 높은 위험 등급을 받았다. 여기에는 두 번째 원인이 겹쳤다. 어휘 다양도가 낮으면 위험 점수가 1점 올라가는데, 개인 에세이가 한 주제를 붙들고 같은 낱말을 되풀이하는 것과 모델이 같은 표현을 반복하는 것은 원인이 전혀 다르다. 산식은 그 둘을 구별하지 못한다.

덧붙이자면 우리 발행 보고서에서는 부정 대구가 6건 나왔다. 도구가 전멸 검사를 발동시키는 임계가 5건이다. 남의 글을 재는 잣대에 우리 글을 올려놓으니 우리 글에서도 걸릴 것이 걸렸다.

5.4과윤문은 실제로 중단된다

마지막으로 안전장치를 시험했다. (a) 텍스트를 일부러 전면 재서술한 뒤 게이트에 넣었다. 사실관계는 유지하려 했지만 문장 구조와 어순과 표현을 모두 바꿨다. 세 축이 동시에 걸렸다.

그림 4. verify_gates.py 실행 출력 원문 (2026-08-20)

문자 변경률 60.1%에서 강제 중단이 걸렸고, 직접 인용을 의역한 흔적을 P3이 잡아냈으며, 숫자 12개가 사라진 것이 관측 로그에 남았다. 대부분 "1/1000" 같은 표기를 "조금만" 같은 자연어로 풀어 쓰면서 실제로 없어진 값이다. 표기를 바꾼 것이 아니라 정보가 손실됐다.

이 세 줄이 3절에서 읽은 설계 사상의 실물 증거다. 사람 눈으로 검토했다면 인용이 살짝 달라진 것도, 숫자 열두 개가 사라진 것도 놓쳤을 가능성이 높다. 코드는 놓치지 않았다.

5.5두 게이트가 서로 다른 곳에서 눈이 먼다

같은 텍스트를 우리 발행 게이트에도 돌려 판정을 맞춰 봤다. 겹치는 곳보다 어긋나는 곳이 더 많은 정보를 준다.

표 10. 두 게이트의 판정 대조

정리하면 이렇다. 대상 도구는 통계 기반 위험도 판정과 편집 안전장치에서 강하고, 그 통계 축이 저자별 문체 변이를 흡수하지 못해 사람 글을 오판한다. 우리 게이트는 표면 패턴을 잘 잡지만 위험도 분류 자체가 없어 번역투 산문의 상당 부분을 그냥 통과시킨다. 경쟁하는 두 도구가 아니라 서로 다른 곳에서 눈이 머는 두 계층이다.

5절의 세 번째 실험에는 이름을 붙일 값어치가 있다. 규칙이 틀린 것이 아니다. 규칙을 개인에게 적용한 추론이 틀렸다. 연결어미 뒤 쉼표는 동료평가를 거친 논문이 확인한 진짜 신호이고, 도구가 자기 코퍼스에서 같은 방향을 재현하기까지 했다. 그런데 그 통계로 한 사람의 원고를 판정하는 순간 결론이 뒤집혔다.

아래 그림이 이 글의 논점을 한 장에 담는다. 사람 글의 평균은 4.10%, 모델 출력의 평균은 19.83%다. 두 분포는 분명히 갈라져 있다. 문제는 그 분포 바깥에 있는 개인이다. 2020년 원고의 값은 83.3%로, 모델 평균보다도 훨씬 오른쪽에 있다.

그림 5. 집단 분포와 개인이 놓이는 자리. 두 분포의 평균은 KatFishNet 에세이 장르 실측치이고, 오른쪽 점은 5절에서 돌린 2020년 인간 저작 원고다.

6.1이 도구가 놓치는 여섯 자리

앞에서 하나씩 나온 관찰을 한자리에 모으면 여섯이 된다.

첫째, 집단 통계를 개인에게 적용하는 추론. 위에서 본 그대로다. 개인 문체가 강할수록 위험도 판정이 부정확해진다.

둘째, 베이스라인의 성격. 이 한계는 도구가 스스로 문서에 적어 두었다는 점에서 특별하다.

저자가 문서에 적어 둔 한계가 실제로 발현되는 장면을 우리 실험이 포착한 셈이다. 개인 목소리가 강한 에세이는 애초에 이 베이스라인의 사정거리 밖에 있다.

셋째, 학술 근거와 규칙 목록의 층위 차이. KatFishNet이 실증한 자질은 띄어쓰기, 품사 분포, 쉼표다. 표기와 형태의 층위다. 반면 71개 패턴은 어휘와 통사와 수사의 층위에 있다. 쉼표 축이 논문으로 뒷받침된다고 해서 나머지 규칙까지 함께 뒷받침되는 것은 아니다.

넷째, 교정 층 자신의 지문. 1절 끝에서 미뤄 둔 문제다. 후편집물에 원본의 지문이 남는다면, 모델이 모델을 고친 결과에도 무언가 남는다. 우리 실험에서 문장 터치율이 100%까지 올라간 것이 그 가능성을 보여준다. 손대지 않은 문장이 하나도 없는 텍스트를 두고 "원문의 목소리를 지켰다"고 말하기는 어렵다.

다섯째, 워터마킹 우려의 정확한 위치. 2026년 8월 11일에 앤트로픽이 텍스트 워터마킹 적용을 발표하면서, 저자원 언어에서 품질 왜곡이 더 클 수 있다는 우려가 제기됐다. 메커니즘을 따라가 보면 이 우려가 그대로 따라 나오지는 않는다. SynthID-Text 방식은 모델 자신의 분포에서 뽑은 후보들로 토너먼트를 열어 승자를 고르므로 기댓값 기준으로 출력 분포가 보존되고, 엔트로피가 낮은 구간에서 약해지는 것은 품질이 아니라 탐지력이다. 학습이 적은 언어는 오히려 모델의 확신이 낮아 엔트로피가 높을 수도 있다. 다만 한국어에서 실제로 어떤지는 아무도 측정하지 않았다. 그러니 소급 적용 전에 기준선을 떠 두는 일 자체는 가설의 옳고 그름과 무관하게 방법론적으로 맞다. 도구 저자도 워터마크 제거 대신 기준선 스냅숏을 택했고, 그 스냅숏의 사전 라벨조차 추정이라고 문서에 적어 두었다.

여섯째, 자가 보고 수치. 3절에서 짚은 대로 외부 기여자 수와 전역 순위는 공개 API로 재현되지 않는다. 도구의 품질과는 무관한 문제지만, 인용하는 쪽은 출처를 구분해 적어야 한다.

6.2한계를 뒤집으면 개선 방향이 나온다

위의 여섯은 대부분 뒤집을 수 있다. 뒤집힌 자리에서 나온 제안이 이렇다.

• 저자별 적응 베이스라인. 한 저자의 과거 원고 몇 편을 먼저 읽혀 개인 기준선을 잡고, 전역 z값이 아니라 그 기준선 대비 이탈을 본다. 5절의 오탐은 이 한 가지로 대부분 사라진다.
• 장르별 베이스라인 분리. 지금은 다섯 장르 키가 있지만 보고서 장르가 없어 에세이로 대신 돌려야 했다. 기술 보고서와 개인 에세이의 문장 습관은 다르다.
• 짝지어진 주제 코퍼스. 같은 주제, 같은 매체, 같은 분량으로 사람 글과 모델 출력을 맞세우면 주제 효과와 문체 효과가 섞이지 않는다.
• 사람 평가 루프. 지표가 좋아졌다는 것과 읽기 좋아졌다는 것은 별개다. 소수라도 블라인드 선호 평가를 붙이면 교정 층 자신의 지문을 잡아낼 수 있다.
• 워터마킹 전후 독립 재측정. 기준선 스냅숏을 뜨는 절차가 이미 공개되어 있으니, 다른 조직이 같은 방법으로 각자 재서 비교하면 된다. 한국어 사용자만 겪는 문제라면 한국어로 글을 만드는 쪽이 재는 것이 맞다.
• 상류 개입. 출력을 고치는 층은 증상에 대응한다. 원인은 학습 데이터의 언어 구성과 그 데이터에 섞인 번역문의 비율에 있다. 한국어 학습 데이터를 만들 때 번역문 여부와 원문 언어를 메타데이터로 남기는 것만으로도 다음 세대의 진단이 훨씬 쉬워진다.

여섯 가지의 무게는 같지 않다. 장르 키를 하나 늘리는 일이나 저자별 기준선을 잡는 일은 메인테이너 한 사람이 다음 릴리스에서 해볼 만한 축에 든다. 반면 사람 평가 루프와 짝지어진 주제 코퍼스는 저장소 하나가 감당할 규모가 아니고, 상류 개입은 아예 다른 자리에 있는 사람들의 일이다. 출력을 고치는 층에 무엇까지 기대할 수 있는지를 미리 갈라 두는 편이, 도구 하나에 전부를 요구하다 실망하는 것보다 낫다.

이 보고서의 주제는 페블러스가 해 온 일을 거울에 비춘 것이다. 우리는 AI-Ready Data를 "모델이 바로 학습과 추론에 쓸 수 있도록 정제된 데이터"로 정의하고, DataClinic으로 데이터셋의 결함을 진단해 왔다. 이번에는 그 반대편 끝, 이미 만들어져 나온 산출물 쪽에 섰다.

7.1데이터 결함과 문체는 같은 인과의 양 끝이다

학습 데이터에서 한국어가 0.84%이고 그 상당수가 번역문이라면, 산출물에 영어의 말버릇이 남는다. KatFishNet이 실측한 쉼표 4.8배는 데이터 구성이 산출물 품질을 결정한다는 우리 테제가 문체라는 표층에서 관측된 사례다. 상류에서 데이터 결함을 진단하는 일과 하류에서 산출물을 교정하는 일은 같은 인과의 양 끝에 서 있다. 두 끝을 한 편에 이어 본 것이 이 글의 첫 번째 목적이다.

7.2규칙도 검산해야 하는 데이터다

가장 실무적인 교훈은 두 겹이다. 첫째는 근거다. 대상 도구는 자기 규칙 두 개를 자체 코퍼스로 기각했고, 인용하던 문헌을 실증 근거에서 강등했다. 페블러스도 같은 이유로 기준 문서를 개정했다. 둘째는 적용 층위다. 집단 통계로 개인을 판정하면 오탐이 난다. 우리 스크립트의 첫 전수 실행 오탐률 45%가 그 증거다.

이 두 가지는 문체에만 해당하는 이야기가 아니다. 라벨링 가이드, 품질 기준, 평가 지표는 모두 "무엇을 결함으로 볼 것인가"를 정하는 규칙이다. 그 규칙이 통념 위에 서거나 잘못된 층위에 적용되면, 규칙 자체가 데이터셋에 새로운 오염을 주입한다. 검산되지 않은 품질 기준은 품질 도구가 아니라 오염원이다.

7.3도입 전에 확인할 다섯 가지

한국어로 AI 콘텐츠를 대량 생산하는 조직은 곧 같은 질문에 부딪힌다. 문체 교정 층을 도입할 때 무엇을 보장받아야 하는가. 이 보고서에서 끌어낼 수 있는 조달·거버넌스 항목은 다섯이다.

• 수치·고유명사·직접 인용의 보존이 사람 눈 검토가 아니라 코드로 검증되는가.
• 과윤문 한계가 30%와 50% 같은 명시적 임계로 걸리는가, 그리고 그 임계를 우리 장르에 맞게 조정할 수 있는가.
• 판정 근거가 공개되어 있고 재현 가능한가. 특히 베이스라인 코퍼스의 성격이 문서화되어 있는가.
• 우리 조직 고유의 문체를 오탐하지 않는가. 자사 정본 원고로 먼저 돌려 볼 것. 이 보고서가 가장 강하게 권하는 항목이다.
• 목적이 탐지기 우회가 아니라 품질 개선인가. 도구 문서에 그 선언이 있는가.

7.4자화자찬 대신 대조를 택했다

페블러스는 이 도구의 경쟁자가 아니다. 같은 문제를 다른 층위에서 다루는 쪽이다. 우리는 이미 발행 게이트로 문체를 검수하고 그 기준을 문서로 공개해 두었으며, 우리 문체 표준 문서는 이 외부 도구를 한국어 최대 규모의 정본으로 참조 목록에 올려 두었다. 이 글은 우리 기준을 외부 정본과 나란히 놓고 대조한 첫 공개 기록이다.

방식은 자화자찬 대신 대조였다. 우리 글에 남의 잣대를 대보고, 그 잣대가 사람 글에서 어긋나는 지점까지 적었다. 우리 자체 검수의 오탐률도 함께 적었다. 문체 품질을 말하는 자리에서 페블러스가 서고 싶은 위치는 잘 쓰는 쪽이 아니라 재는 쪽이다.

7.5아직 답하지 못한 세 가지

답을 내지 못하고 남겨 둔 질문이 셋 있다.

• 국내 모델의 한국어 대 영어 학습 혼합비는 얼마인가. 공개된 기술 보고서로는 확인되지 않았다. 이 값이 나와야 "모델을 바꿔도 사라지지 않는다"는 명제를 국내 모델까지 포함해 검증할 수 있다.
• 저자별 적응 베이스라인은 실제로 오탐을 얼마나 줄이는가. 우리 발행글 아카이브는 저자별 기준선을 만들기에 충분한 규모이니, 다음 실험으로 직접 재볼 수 있다.
• 워터마킹이 소급 적용된 뒤 한국어 문체 지표는 달라지는가. 기준선을 뜨는 절차가 공개되어 있으므로, 같은 방법으로 독립 재측정하는 조직이 여럿일수록 결론이 단단해진다.

어색함의 원인이 데이터에 있다면 해결도 결국 데이터 쪽에서 나온다. 출력을 고치는 층은 그때까지 필요한 임시 처방이고, 임시 처방에도 검산과 안전장치가 필요하다는 것이 이번에 우리가 확인한 내용이다.

자주 묻는 질문

참고문헌

학술

• 1.Wendler, C., Veselovsky, V., Monea, G., West, R. (2024). "Do Llamas Work in English? On the Latent Language of Multilingual Transformers." ACL 2024, 15366–15394. arXiv:2402.10588
• 2.Park, S., Kim, S., Kim, D.-K., Han, Y.-S. (2025). "KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis." ACL 2025 Main. ACL Anthology · arXiv:2503.00032
• 3.Toral, A. (2019). "Post-editese: an Exacerbated Translationese." MT Summit XVII, 273–281 (Best Paper). ACL W19-6627
• 4.Dathathri, S. et al. (2024). "Scalable watermarking for identifying large language model outputs." Nature 634. doi:10.1038/s41586-024-08025-4
• 5.Wu, Z. et al. (2024). "The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities." arXiv:2411.04986
• 6.김정우 (2007). 번역투 유형론 연구. 번역학연구 8(1): 61–82.
• 7.이영옥 (2001). 무생물 주어 타동사구문의 영한번역. 번역학연구 2(1): 53–76.
• 8.김도훈 (2009). 영한 번역시 발생하는 번역투에 대한 고찰. 통역과 번역 11(2): 3–19.
• 9.박옥수 (2017). 한영 기계번역문의 유형적 특징. 동아인문학 41: 155–183.

정책·통계·저장소

• 10.Common Crawl. Language Statistics, CC-MAIN-2026-30 (2026-08-20 조회).
• 11.Anthropic (2026-08-11). "Claude text watermarking." 적용 방식은 SynthID-Text, 탐지 API 미공개.
• 12.EU AI Act 제50조 투명성 의무 (2026-08-02 발효).
• 13.epoko77-ai/im-not-ai — MIT. README, references/empirical-validation.md, references/scholarship.md, scripts/verify_gates.py, docs/watermark-baseline-runbook.md (2026-08-20 조회, v2.3.2).
• 14.blader/humanizer — MIT, Wikipedia:Signs of AI writing 기반 (2026-08-20 조회).

페블러스 인접 문서

• 15.페블러스 (2026-05-25). AI가 쓴 글을 가려내는 탐지기의 수학적 한계.
• 16.페블러스 내부 문서 docs/ai-tone-detection.md (2026-08-01 개정), docs/ko-style-standard.md, tools/check-ko-prose.py v4.1 (2026-08-02).