Executive Summary

모델 카드와 기술 보고서는 언어 커버리지를 한 줄로 적는다. 감사 논문의 서론이 그 구조를 그대로 옮겨 놓았다. "모델 카드나 기술 보고서는 '저자원 언어 X를 포함한 N개 언어에서 평가했다'고 적고, 독자는 그 평가가 그 모델의 영어 안전 평가에 준하는 엄격성을 가졌으리라 자연히 받아들인다." 저자들은 이 추론이 자주 근거를 갖지 못한다고 본다. 그리고 그 진술이 왜 거짓말이 아닌지도 함께 설명한다. 문장은 참이다. 다만 참인 단위가 독자가 읽는 단위와 다르다.

제공사 문서에서 실제 사례를 찾기는 어렵지 않다. OpenAI가 2024년에 공개한 GPT-4o 시스템 카드는 레드팀 참가자들이 "총 45개 언어를 쓰고 29개 국가의 지리적 배경을 대표한다"고 밝힌다. 45라는 수가 있고 언어별 분해는 없다. 같은 문서의 "과소대표 언어" 절은 암하라어와 하우사어, 북소토어, 스와힐리어, 요루바어를 대상으로 외부 연구자와 함께 평가를 만들었다고 적는다. 그 평가는 과학 상식 문항을 번역한 ARC-Easy, 오해를 유도하는 문항을 번역한 TruthfulQA, 새로 만든 독해 평가 Uhura-Eval 세 가지다. 능력과 진실성을 재는 평가이고 두 개는 번역본이며, 혐오표현이나 자기위해 같은 해악 범주를 재는 안전 평가가 아니다. 같은 절은 스스로 평가의 질과 범위를 높이기 위해 할 일이 많이 남았다고 적어 둔다. 이 대조가 가능한 이유는 OpenAI가 아프리카 언어 평가 결과를 문서에 실은 드문 쪽이기 때문이다. 적어 두지 않은 문서는 대조할 자리조차 주지 않는다.

감사팀이 한 일은 세는 단위를 옮긴 것이다. 다국어 데이터셋은 품질이 균일한 하나의 산출물이 아니다. 저자들의 표현으로는 "언어별 부분집합의 모음이고, 그것들은 어떻게 만들어졌는지, 몇 건인지, 누가 검토했는지, 일치도가 측정된 적이 있는지에서 서로 다를 수 있다." 그래서 감사의 단위를 언어 슬라이스(language slice)로 잡았다. 대장의 한 행이 한 데이터셋 안의 한 언어를 기록한다. 하우사어와 스와힐리어를 함께 담은 데이터셋은 두 행이 되고, 두 행은 각각 독립적으로 평가되며 정당하게 서로 다른 결론에 도달할 수 있다.

이 단위를 채택하면 수를 세는 규칙을 따로 정해야 한다. 행 수가 데이터셋 수가 아니기 때문이다. 감사팀은 세 규칙을 명시했다. 데이터셋은 한 번만 센다. 기존 프롬프트 세트를 다시 번역해 재평가한 연구는 새 데이터셋이 아니라 그 데이터셋에 관한 증거로 센다. 기존 코퍼스를 합쳐 다시 라벨링한 자료는 합친 층에서 한 번만 세고 계보를 기록해 원본이 두 번 세어지지 않게 한다. 이 규칙은 수치를 실제로 바꾼다. 세 번째 규칙 하나만 적용해도, 라벨링된 항목 101,014건을 제시하는 어느 스와힐리어 자료는 이미 감사 안에 있는 코퍼스 세 개로 만들어진 것이어서, 그 항목을 새 커버리지로 세면 스와힐리어 코퍼스가 겉보기로 약 네 배가 된다.

검증 절차도 형식이 아니었다. 감사팀은 1차 자료와 어긋날 수 있는 모든 필드를 세 곳에 순서대로 대조했다. 논문 자신의 방법론 절과 언어별 표, 연결된 저장소나 데이터 카드, 그리고 저장소가 살아 있으면 릴리스의 실제 내용이다. 셋이 어긋나면 만들어진 방식에 관한 주장은 논문의 언어별 표를, 지금 쓸 수 있는지에 관한 주장은 실제 릴리스를 우선했다. 이 절차가 기록을 네 가지 방식으로 바꿨다.

• 언어 귀속 정정. 그럴듯한 2차 설명에 기대어 하우사어로 기록했던 데이터셋이, 저장소 자신의 언어 목록에서는 그 언어를 다루지 않았다. 반대로 나중 릴리스에서 추가된 다른 언어를 처음에는 부재로 기록했다. 둘 다 초록이 아니라 저장소의 버전 이력을 읽어야 잡혔다.
• 출처 정정. 2차 설명이 원어 저작을 암시하던 데이터셋 두 개가, 자기 방법론 절에서는 영어로 작성해 기계번역했다고 적고 있었다. 한쪽은 사후 편집을 했고 다른 쪽은 보고된 사후 편집이 없다.
• 출시 상태 정정. 한 데이터셋의 실제 릴리스에는 대상 언어 항목이 논문이 기술한 것보다 훨씬 적었다. 논문에 적힌 구성요소가 업로드되지 않았기 때문이다. 다른 하나는 출시가 예고되고 나오지 않았다.
• 저작 귀속 정정. 널리 인용되는 어느 "전문가 작성" 주장은 실제로는 영어 시드 자료에만 적용되며, 그 자료를 만든 것이 자기 기여가 아니라고 논문 스스로 밝히고 있었다.

저자들은 이 넷을 오류 정정표가 아니라 방법론으로 기록했다. 감사 절차가 초록을 읽는 것으로는 되지 않는 일을 하고 있다는 표시라는 것이다. 같은 태도가 공개 방식에도 이어진다. 감사팀은 25개 슬라이스에 동일하게 적용한 31개 필드와 판정마다 적어 둔 근거를 대장 전체째로 공개했다. 저자들의 말로는 "우리가 데이터셋 작성자에게 요구하는 것과 같은 수준의 공개"다. 실제로 그 파일을 열어 보면 최종 표에는 드러나지 않는 판단의 결이 남아 있다. 후보 26개 행 중 여덟 개가 보류 표시, 두 개가 제외 표시다. 이런 대조가 가능하다는 사실 자체가 감사 도구를 공개한 결과다.

그렇게 센 결과의 첫 관찰은 방향이 뜻밖이다. 중자원 언어인 스와힐리어가 고자원 언어인 프랑스어보다 더 많은 슬라이스로 대표된다. 10 대 8이다. 저자들은 이것이 스와힐리어가 더 잘 갖춰졌다는 뜻이 아니라고 곧바로 못 박는다. 스와힐리어의 슬라이스 수는 같은 트윗 묶음을 여러 번 재주석한 사슬과 같은 프롬프트 세트를 다시 평가한 연구들로 부풀려져 있고, 프랑스어 쪽 슬라이스는 대체로 독립적인 자료다. 슬라이스 수는 커버리지의 나쁜 대리지표다.

언어별 격차를 이야기할 때 가장 자주 나오는 반론은 교란요인이다. 어떤 언어의 데이터가 나빠 보인다면 그것은 언어 때문이 아니라 그 데이터를 만든 팀이 달랐거나 방법이 달랐거나 예산이 달랐기 때문일 수 있다. 감사에서 가장 단단한 증거는 그 반론이 통하지 않는 자리에서 나왔다. 2026년에 공개된 UbuntuGuard는 아프리카 언어 여러 개를 하나의 파이프라인으로 처리했다. 영어 시드가 같고, 생성에 쓴 모델이 같고, 기계번역 단계가 같고, 원어 검증 프로토콜이 같고, 수용 임계값이 같다. 검증 노력의 양도 명목상 같았다. 언어당 원어 검증자 한 명이 표본 스무 쌍을 검토했고, 이 절차는 열한 개 언어에 동일하게 적용됐다.

그 안에서 하우사어와 스와힐리어가 갈렸다. 갈린 자리는 정책 자료의 번역 품질이다. 하우사어 정책 자료는 66.37점을 받아 저자들이 세운 수용 기준 70을 밑돌았고, 스와힐리어는 93.30으로 같은 기준을 여유 있게 넘었다. 그러면서도 하우사어 대화 트랜스크립트는 93.31로 기준을 넘었다. 결핍이 하우사어 번역 전반의 실패가 아니라는 뜻이다.

이 네 숫자를 옮길 때 함께 옮겨야 하는 것이 있다. 열의 의미다. 첫째, 이 점수는 외부 평가자가 매긴 것이 아니라 그 데이터를 만든 저자들이 자기 자료에 대해 공개한 번역 품질 지표다. 감사 논문의 표현대로 "우리는 그 논문이 스스로에 관해 공표하는 수를 보고하고 있다." 둘째, 임계값 70도 그들 자신의 기준이다. 그래서 이 판정은 외부에서 들이댄 잣대가 아니다. 셋째, 미달한 것은 정책 문서 한 종류였고 구조가 더 단순한 대화 트랜스크립트는 기준을 넘었다. 넷째, 그런데도 미달한 슬라이스는 그대로 공개됐고 컬렉션 차원의 소개문은 아프리카 언어 열 개를 비슷하게 커버한 것으로 제시한다.

여기서 오독을 하나 막아 두어야 한다. 66.37은 유일한 미달값도, 가장 낮은 값도 아니다. UbuntuGuard의 같은 표는 열한 개 아프리카 언어를 같은 파이프라인과 같은 임계값으로 처리했고, 정책 자료 점수가 하우사어보다 낮은 언어가 셋 더 있다. 이그보어 42.62, 냔자어 48.61, 루간다어 62.08이다. 감사 논문도 하우사어가 최악이라고 말하지 않는다. 두 언어만 뽑은 것은 언어 외의 교란요인을 제거하려고 파이프라인을 고정한 결과다. 이 정정은 논문의 주장을 깎지 않는다. 오히려 키운다. 컬렉션 단위 소개문이 열 개 언어의 고른 커버리지를 말하는 동안, 그 안에 있던 임계값 미달 슬라이스는 하나가 아니라 여럿이었다.

앞 섹션의 격차는 점수의 차이였다. 이번 격차는 있고 없음의 차이다. 감사는 해악을 여섯 범주로 잡았다. 혐오표현, 괴롭힘, 자기위해(self-harm), 극단주의, 성적 콘텐츠, 허위정보다. 신뢰·안전 실무에서 쓰는 분류를 가져온 것이고, 코퍼스의 대부분을 여기에 대응시킬 수 있어서 선택했다. 세 언어를 이 여섯 칸에 나란히 놓으면 어느 칸이 무엇으로 채워지고 어느 칸이 비는지가 한 번에 보인다.

원어 데이터가 있는 범주를 세면 프랑스어 4, 스와힐리어 4, 하우사어 2다. 고자원과 중자원이 같고 저자원만 뒤처진다. 자원 수준에 따라 깔끔하게 줄어드는 서열은 여기 없다. 그리고 이 표에서 가장 옮기기 쉬운 오독은 자기위해 칸이다. 정확한 진술은 이렇다. 두 언어 모두 원어로 작성된 자기위해 데이터가 없다. 하우사어는 형태를 가리지 않고 없다. 논문 §6.6의 문장은 "하우사어 자기위해에는 어떤 형태의 커버리지도 없다. 우리 코퍼스의 어떤 원어·번역·문화 적응 번역·합성 자료도 하우사어에 자기위해 라벨을 달고 있지 않다"다. 스와힐리어에는 문화 적응 번역으로 도달한 자료가 있으니, 두 언어 모두 자기위해 데이터가 아예 없다고 쓰면 스와힐리어 쪽이 과장된다. 성적 콘텐츠는 두 언어 모두 원어 자료가 없다는 점에서 같고, 도달 경로만 번역과 문화 적응 번역으로 갈린다.

서열이 흔들리는 이유의 절반은 잣대에 있다. 저자원과 중자원, 고자원이라는 라벨 자체가 무엇으로 재느냐에 따라 움직인다. 감사 코퍼스에 들어 있는 자료 가운데 자원 수준을 크롤 점유율로 조작적으로 정의한 것들은 스와힐리어를 저자원으로 분류한다. 웹 크롤에서 차지하는 비율이 0.1% 아래라는 기준을 쓰기 때문이고, 그 기준에서는 스와힐리어가 하우사어와 같은 칸에 들어간다. 반면 다른 자료들과 저자들 자신의 사전 분류는 스와힐리어를 중자원으로 본다. 아프리카에서 가장 널리 쓰이는 언어 중 하나이고 정제된 자연어처리 자료의 양이 상대적으로 많기 때문이다. 저자들은 이 불일치를 해소하지 않고 문헌 안의 이견으로 드러낸다. 감사가 실제로 재는 차원들에서 스와힐리어의 결과가 하우사어와 프랑스어 사이에 놓인다는 것이 중자원 분류를 지지하는 독립적 근거라고 덧붙이면서도, 이 긴장을 검토되지 않은 가정으로 두지는 않겠다는 태도다. 티어 라벨이 잣대에 따라 흔들린다는 사실은 뒤의 두 섹션에서 계속 전제가 된다.

비어 있는 두 칸이 하필 그 두 범주라는 점이 저자들의 논지다. 자기위해와 성적 콘텐츠는 신호를 나르는 것이 관용어와 완곡어법, 간접 표현인 범주다. 이런 범주를 번역이나 문화 적응 번역만으로 채우면 그 언어에서 실제로 그 해악이 표현되는 방식이 빠진다. 무엇이 빠지는지는 감사 대장의 하우사어 항목 하나가 구체적으로 기록해 두었다. HOC 데이터셋의 "품질 우려" 필드에 남은 오역 목록이다.

표에 적힌 여섯 표현 모두 축자적이거나 구성적인 번역이고, 관용적 모욕의 의미를 놓쳤다. 번역만으로 도달한 해악 라벨이 왜 원어 라벨을 대체하지 못하는지에 대한 1차 증거다. 그리고 이 목록을 우리가 볼 수 있는 이유가 중요하다. HOC 자료는 여덟 단어 미만 게시물을 제거하고 소문자화와 어간 추출을 거쳐 원문 그대로가 아니라는 사실, 사용자 연구 표본이 남성 74.7%에 고학력으로 편중돼 검증 판단 자체가 편향됐을 수 있다는 사실을 스스로 기록해 두었다. 부실해서 보이는 것이 아니라 적어 두어서 보이는 것이다.

희소성만으로 이 표를 설명할 수 없다는 증거도 표 안에 있다. 허위정보 행을 보면 원어 커버리지가 중자원 스와힐리어에는 있고 고자원 프랑스어에는 없다. 스와힐리어 쪽 자료는 선거 대응을 위해 만들어진 코드스위칭 코퍼스 PolitiKweli다. 저자들의 §6.9 문장이 이 반전을 설명한다. "커버리지와 주석 관행은 그 언어를 연구하는 공동체의 우선순위와 역량을 따르며, 그 언어의 웹 크롤 점유율을 따르지 않는다." 자원 수준은 한 공동체가 독립적으로 잘 검증된 데이터를 얼마나 많이 만들 수 있는지의 천장을 정하지만, 그 천장 안에서 무엇을 만들지 고르는 것은 자원 수준이 아니다.

분류체계 자체도 함께 실려 온다. 코퍼스에서 지배적인 분류 틀 네 종류는 탈옥 행동 열 가지 스킴, 위험 열두 범주 계층, 매크로 안전 여섯 범주 스킴, 자동 독성 판정 API의 운용 정의이고, 모두 영어권에서 만들어졌으며 번역 자료가 그대로 물려받는다. 지역의 해악 개념을 그 지역에서 세운 사례는 소수다. 그런데 그 네 예외 가운데 셋이 아프리카 언어 자료다. 저자들의 표현으로는 "분류체계 전가 문제가 해당 공동체 안에서 다뤄지고 있으며, 다국어 커버리지를 가장 크게 내세우는 컬렉션들이 그 일을 하고 있지는 않다."

이 감사에서 가장 실무로 옮길 만한 결론은 특정 데이터셋에 관한 것이 아니라 점검 방식에 관한 것이다. 저자들은 §7.2에서 이렇게 쓴다. "이 데이터셋은 하우사어 혐오표현을 커버한다"고 적은 논문은 거짓말을 하고 있지 않다. 실제 위험은 좁은 커버리지와 얇은 검증, 제한된 접근, 한계 품질이 같은 슬라이스에 함께 나타나는 겹침에서 생기며, "데이터 카드의 어떤 필드도 겹침을 드러내도록 설계되어 있지 않다." 그래서 이어지는 문장이 방법론적 결론이 된다. 주장을 하나씩 점검하는 방식은 "위험이 가장 큰 경우에 위험을 체계적으로 과소평가한다. 실패 양식은 어느 한 주장이 거짓인 것이 아니라, 주장들 사이의 상관 구조가 데이터셋 소비자가 서 있는 자리에서 보이지 않는다는 것이기 때문이다."

감사가 격차를 여섯 범주로 나누어 티어별로 채운 표가 그 상관 구조를 한 화면에 올린다. 심각도는 없음, 경미, 보통, 심각 네 단계다.

이 표는 한 열을 세로로 읽어야 뜻이 나온다. 그렇게 읽으면 심각이 찍힌 자리가 언어마다 다르다. 하우사어는 출처와 접근·라이선스, 해악 범주 커버리지 세 줄에서 심각이고, 스와힐리어는 주석·일치도와 재사용 두 줄에서 심각이다. 프랑스어에는 심각이 하나도 없지만 정량 품질이 측정 불가로 남는다. 여섯 범주 가운데 자원 수준을 따라 단조롭게 나빠지는 것은 출처와 접근·라이선스 둘이고, 나머지 넷에서는 순서가 흔들리거나 뒤집힌다. 표가 보여 주는 것은 서열이 아니라 겹침의 자리다.

가장 자주 인용될 칸은 두 번째 행이다. 주석자 간 일치도(inter-annotator agreement)가 슬라이스 단위로 보고된 것은 25개 중 여섯이다. 판정 규칙은 엄격하다. 그 언어 자신의 라벨에 대한 수치 일치도를 원 논문이 인쇄한 경우만 인정했다. 그래서 일치도로 세지 않은 것이 세 종류 있다. 언어별로 분해되지 않은 컬렉션 단위 단일 값이 하나이고, 모델 판정과 사람 판정의 일치율처럼 다른 것을 재는 지표가 하나이고, 일치도 대신 놓인 단일 검증자의 캘리브레이션이 하나다. 이 셋을 일치도로 세면 보고됐다는 수가 부풀려진다.

그리고 이 여섯 값의 방향이 예상을 벗어난다. 가장 나쁜 일치도는 저자원 언어가 아니라 중자원 언어에서 나왔다. 하우사어는 보고된 곳에서는 오히려 강한 편이다. 코퍼스 최저값인 κ=0.13은 XTREMESPEECH의 케냐 슬라이스에서 나왔고, 이 자료는 현지 팩트체커를 고용해 주석자와 공동체의 불일치를 다루었으며 부록에 데이터 명세서 전문을 실었고 낮은 값을 정직하게 보고하고 논의했다. 가장 성실하게 문서화된 자료가 가장 낮은 숫자를 갖게 된 것이다. 저자들은 §6.4에서 이 값을 이렇게 읽는다. "우리는 이런 상황의 낮은 일치도를 주석자에 관한 증거가 아니라 분류체계에 관한 증거로 읽는다." 실제로 가장 높은 일치도는 그 언어 공동체가 스스로 설계한 분류체계에서 나왔다.

일치도가 보고되지 않은 이유도 태만이 아닐 수 있다. 학대 자료에 오래 노출되는 것은 그 자체로 해악이므로 중복 주석을 줄인 사례가 있고, 저자들은 이것을 게으름으로 코딩하지 않는다. 다만 구조적 결과는 남는다. 주석자 복지 제약이 가장 세게 걸리는 언어가 주석자 풀이 가장 작은 언어이고, 그래서 자원이 가장 적은 슬라이스가 가장 덜 검증된 채 남는다. 국소적으로 윤리적인 결정이 전체적으로 불평등한 분포를 만든다.

접근과 문서화 쪽에서도 같은 겹침이 반복된다. TukaBench의 하우사어 슬라이스는 논문이 986건을 기술하는데 공개된 것은 300건이다. 논문에 적힌 구성요소가 업로드되지 않았기 때문이고, 이런 실패는 코퍼스 안에서 저자원 언어에서만 나타났다. 저자들의 표현으로는 "인용은 풀리고, 저장소는 있고, 데이터 카드는 렌더링되는데, 산출물이 논문이 기술한 것이 아니다." 품질 기준을 모두 충족했으나 출시된 적이 없는 자료가 하나 있고, 크기가 논문 세 판본 어디에도 적혀 있지 않은 자료가 하나 있다. 뒤쪽은 감사가 놓친 것이 아니라 감사가 세 판본을 대조해 확인한 문서화 발견이다. 여기에 앞 섹션의 재주석 사슬이 더해진다. 이름이 다른 데이터셋 넷이 같은 원본 텍스트를 재주석한 것이면, 넷을 세어도 독립적인 증거는 하나다.

데이터 이야기가 실무에서 무게를 갖는 것은 모델 거동과 이어질 때다. 이 대목에서 감사 논문은 조심스럽게 쓰고, 그 조심스러움까지 함께 옮겨야 뜻이 유지된다. 출발점은 2023년의 결과다. MultiJail은 그 시점 모델을 상대로 스와힐리어 탈옥 시나리오에서 안전하지 않은 응답률 약 83%를 보고했다. 정확히는 탈옥 템플릿을 함께 넣은 조건에서 ChatGPT가 83.49%였고, 번역된 유해 프롬프트를 그대로 입력한 조건에서는 7.94%였다. 두 값을 섞으면 의미가 무너진다.

2026년 재실험은 이 공격면이 대체로 닫혔다고 보고한다. 번역 기반 단일턴 공격은 막혔다. 대신 멀티턴 대화형 공격이 남았고, 그쪽 수치가 자주 잘못 인용된다. 감사 논문 서론은 "모델과 언어에 따라 대략 42%에서 71%"라고 적었는데, 이 범위는 키스와힐리어 한 언어의 모델 간 범위다. 정확히는 41.8%에서 70.9%이고, 같은 표에서 영어는 52.7%에서 83.6%, 아프리칸스어는 60.0%에서 78.2%다. 하우사어는 이 재실험의 대상이 아니다. 같은 논문의 §7.3은 이 관계를 정확하게 적었다. 멀티턴 공격이 "영어에 준하는 비율로 여전히 효과적"이라는 것이다.

데이터 쪽 사실은 그 격차와 형태가 맞는다. 하우사어와 스와힐리어의 멀티턴 안전 자료는 하나의 합성·기계번역 파이프라인, 곧 앞 섹션에서 본 UbuntuGuard뿐이다. 원어로 작성된 멀티턴 자료는 두 언어 모두 코퍼스 전체에 없다. 코퍼스에 있는 다른 멀티턴 항목 둘은 파생 재실험과 범위 밖 경계 사례다. 저자들은 이 대응을 인과로 주장하지 않는다. 원문 표현은 "우리는 이것을 입증된 인과 사슬이 아니라 구조적 대응으로 진술한다"이고, 어느 상용 제공사가 무슨 데이터를 썼는지 알 수 없으며 방향이 반대일 수도 있다고 덧붙인다. 공격면이 아직 공개적으로 입증되지 않아서 제공사가 그 데이터에 투자하지 않았을 가능성이다.

규모가 있는 자료가 없어서 생긴 공백도 아니다. PolyGuardMix는 17개 언어에 191만 건 규모이고 프랑스어를 포함하지만 하우사어와 스와힐리어는 들어 있지 않다. PolygloToxicityPrompts는 언어당 25,000건을 고르게 담았는데 사람이 붙인 해악 라벨이 아예 없다. 자동 독성 판정 API 점수만 있다. M-ALERT는 언어당 15,000건을 다섯 언어에 넣었고 그 다섯은 모두 고자원이며, 저자들이 폭보다 깊이를 골랐다고 밝혀 두었다. 규모는 커버리지가 아니고, 고자원이고 원어이고 대규모여도 사람 검증을 보장하지 않는다.

그래서 감사가 확립한 것은 인과가 아니라 조달 가능성이다. 저자들의 문장은 이렇다. 어느 제공사가 오늘 이 특정 격차를 메우려 한다면, 그 일을 어느 정도 신뢰를 갖고 해낼 원료, 곧 원어로 작성되고 멀티턴이며 해악 범주가 다양하고 일치도가 검증된 아프리카 언어 안전 데이터가 "공개된 문헌에 아직 존재하지 않는다." 이것은 모델의 취약성에 대한 주장이 아니라 재료의 존재에 대한 주장이고, 감사만으로 확인할 수 있는 종류의 사실이다.

여기에 용어 문제가 하나 붙는다. 안전이라는 말이 문헌에서 최소 세 가지 뜻으로 쓰인다. 콘텐츠 안전, 거절하도록 학습된 내용을 뱉게 만들 수 있는지 보는 탈옥 안전, 도구를 쓰는 모델이 사기나 개인정보 유출로 유도되는지 보는 에이전트 안전이다. 감사는 앞의 두 뜻을 다루고 세 번째는 제외하되, 마주친 자료 하나를 조용히 빼지 않고 경계 사례로 남겼다. 케냐와 한국을 포함한 국제 AI 안전연구소 네트워크의 3차 공동시험에 들어간 키스와힐리어 심층 시험이다. 언어당 156개 과제로 원어 검토를 받았고 방법론적으로 성실하지만, 담은 해악 범주가 사기와 개인정보 유출이어서 감사의 여섯 범주와 겹치지 않는다. 저자들의 문장이 함의를 짚는다. "이 자료를 만난 하위 독자가 '키스와힐리어 안전이 평가됐다'고 결론 내린다면 그 구별을 놓치는 것이다."

반대 방향의 칸도 있다. 코드스위칭을 명시적으로 모델링한 슬라이스가 넷이고, 그중 셋이 스와힐리어와 영어, 하나가 하우사어와 영어다. 아프리카 언어 자료가 프랑스어 자료를 앞서는 드문 차원이다. 두 언어를 섞어 쓰는 실제 발화를 데이터에 담는 문제는 자원이 많은 쪽에서 먼저 해결되지 않았다.

감사가 다룬 세 언어에 한국어는 없다. 그러나 감사가 쓴 방법은 언어를 가리지 않는다. 같은 질문을 한국어에 던지면, 곧 주요 다국어 안전 자료를 하나씩 열어 한국어 슬라이스가 어떻게 만들어졌고 검증이 얼마나 인쇄돼 있는지 보면, 답이 나온다. 아래 표는 그 방식으로 여덟 개 자료를 확인한 결과다. 미확인 칸은 미확인으로 두었다.

표에서 세 가지가 바로 읽힌다. 첫째, 여덟 중 다섯에 들어가고 셋에는 없다. 아프리카 언어처럼 0은 아니지만, 포함 여부가 자료를 짜는 방식에 좌우된다는 점은 구조가 같다. 고자원 다섯 언어만 깊게 파는 설계에는 한국어가 없고, 열일곱 개 언어를 넓게 담는 설계에는 있다. 둘째, 포함된 다섯 중 원어로 새로 쓰인 것은 MultiJail 하나뿐이다. 나머지는 기존 코퍼스 재사용, 기계번역과 표본 검증, 자연발생 웹텍스트, 합성과 기계번역이다. 하우사어와 스와힐리어에서 본 원어 대 번역의 갈림과 정확히 같은 축이다. 셋째, 슬라이스 단위 일치도가 숫자로 확인되는 것은 하나뿐이고 그마저 언어당 50건 표본이다. 아프리카 언어 쪽의 25개 중 여섯과 같은 자릿수다.

한국어의 자원 위치는 두 잣대에서 방향이 일치한다. 2026년 7월 크롤 통계에서 한국어 페이지 비율은 0.8429%로 검출된 언어 가운데 17위이고, 학계에서 널리 쓰이는 자원 티어 분류에서는 Class 4다. 같은 크롤 통계에서 프랑스어는 4.8032%, 스와힐리어는 0.0117%, 하우사어는 0.0026%다. 한국어는 스와힐리어의 약 72배, 프랑스어는 하우사어의 약 1,850배다. 정확한 답은 이렇다. 한국어는 이 두 지표로 중상위이며 프랑스어보다는 아래다.

그런데 자원 위치가 곧 안전 성능은 아니다. 앞 섹션에서 인용한 83%가 나온 MultiJail의 같은 표에 한국어 행이 있다. 탈옥 템플릿을 함께 넣은 조건에서 스와힐리어가 83.49%일 때 한국어는 80.00%였고, 번역된 유해 프롬프트를 그대로 입력한 조건에서는 한국어 9.84%가 스와힐리어 7.94%보다 높았다. 영어는 앞의 조건에서 72.06%, 뒤의 조건에서 0.63%다. 2023년 시점 모델을 상대로 한 결과이므로 지금의 모델에 그대로 옮길 수는 없다. 다만 웹 점유율이 72배 차이 나는 두 언어가 같은 공격에 비슷하게 열려 있었다는 사실은, 자원 지표가 안전 지표를 예측하지 못한다는 앞 섹션의 논지를 한국어 쪽에서 반복한다.

한국어에는 번역된 프롬프트 세트가 담을 수 없는 축도 있다. 2026년 7월 7일 제2회 인공지능안전 서울포럼에서 서울대 김보령 박사과정 연구자가 발표한 결과가 그것을 보여 준다. 혐오표현 범주에서 반말로 물으면 안전하지 않은 응답 비율이 10.1%, 존댓말로 물으면 3.0%였다. 3.3배 차이다. 같은 발표에서 영어는 23.2%로 한국어 반말보다도 높았다. 발표자의 결론은 모델이 같은 내용이라도 한 언어에서는 안전하고 다른 언어에서는 안전하지 않을 수 있다는 것이다. 어떤 모델을 시험했는지는 공개된 보도에 나오지 않는다. 이 결과가 감사 논문과 만나는 지점은 분명하다. 존비어는 한국어에서 발화의 공격성을 나르는 문법 장치이고, 영어 프롬프트를 번역해 만든 세트는 그 축을 아예 담지 못한다. 관용어와 완곡어법이 신호를 나르는 범주가 번역으로 도달되지 않는다는 논지의 한국어판이다.

감사가 권고한 것이 실현 불가능한 요구가 아니라는 증거도 한국어 쪽에 있다. 2026년 5월 공개된 XL-SafetyBench는 AIM Intelligence와 마이크로소프트, 한국 AI안전연구소, KT, 서울대 등이 함께 만든 벤치마크로, 열 개 국가·언어 쌍에 5,500개 테스트 케이스를 담았다. 국가마다 원어민 주석자 두 명이 독립적으로 주석했고, 부록이 일치도를 인쇄한다. 이진 검증 필터 아홉 개의 평균 일치율이 92.7%에서 98.1%이고, 순서형 기준은 이차가중 카파로 국가 민감성 0.50, 국가 특수성 0.49다. 국가별·과제별 일치도 세부 분해를 벤치마크와 함께 공개한다고도 밝혔다. 감사 논문의 권고 가운데 언어별 보고를 기본값으로 삼으라는 것과 슬라이스 단위 일치도를 보고하라는 것을 그대로 이행한 사례다.

그 결과에서 이 글의 주제와 가장 닮은 발견은 안전 지표의 착시에 관한 것이다. 프런티어 모델 열 종에서는 미국 프롬프트가 가장 안전했고 탈옥 취약성은 아랍에미리트와 한국에서 가장 높았다. 저자들의 해석은 영어 중심 정렬이 미국 중심 맥락에 불균형하게 이롭다는 것이다. 그런데 국가별 로컬 모델에서는 공격 성공률과 무의미 응답률이 거의 선형의 트레이드오프를 이룬다. 상관계수가 -0.81이다. 공격 성공률이 낮은 로컬 모델의 안전이 원칙 있는 거절이 아니라 질문을 이해하지 못해 나온 결과였다는 뜻이고, 저자들은 이것을 "이해 실패가 만든 안전의 착시"라고 부른다. 지표 하나만 보면 안전해 보이는 것이 실은 측정 대상을 잘못 잡은 결과라는 구조는 이 글이 처음부터 따라온 구조와 같다. 다만 이 벤치마크의 열 개 국가·언어 쌍에도 아프리카 언어는 없고, 저자들도 국가 선택이 서유럽에 편중됐다고 한계에 적었다. 한국어에는 이런 자료가 생겼고 두 아프리카 언어에는 아직 없다는 대비는 우열의 문제가 아니라, 누가 만들 수 있었는지가 무엇이 만들어지는지를 정한다는 앞 섹션의 논지가 다시 확인된 것이다.

같은 구조가 지역과 도메인을 넘어 반복된다는 기록도 최근에 나왔다. 2026년 8월 공개된 벵골어 연구는 교육용 AI 인프라를 다루었고 안전 벤치마크는 대상이 아니지만, 결손의 모양이 겹친다. 웹 콘텐츠 점유율이 0.5% 미만인데 화자 인구 비중은 약 4%이고, 영어와 벵골어의 학습 토큰 비가 67대 1이다. 안전 데이터의 공백과 인프라의 공백은 같은 자리에서 만들어진다.

데이터 품질 진단에서 첫 작업은 지표를 고르는 일이 아니라 단위를 정하는 일이다. 완전성을 테이블 단위로 재면 적재 완료가 되고, 컬럼과 세그먼트 단위로 재면 특정 구간이 비어 있음이 드러난다. 이 감사가 컬렉션에서 언어 슬라이스로 단위를 옮긴 것은 안전 데이터라는 다른 도메인에서 같은 설계 결정을 독립적으로 내린 사례다. 우리가 고객 데이터에서 완전성과 정확성, 일관성을 슬라이스 단위로 분해해 보고하는 이유가 여기서 제3자 증거를 얻는다. 카탈로그에 있는 것과 실측한 것이 다르다는 문제는 공공 AI 학습데이터 감사에서도 같은 모양으로 나타났다.

1데이터의 형식과 출처가 모델의 상한을 정한다

5절의 구조적 대응은 데이터 결핍이 모델 거동의 결핍으로 이어지는 경로를 형식 단위로 보여 준다. 단일턴 데이터가 있던 공격면은 잠겼고, 원어 멀티턴 데이터가 없던 공격면은 남았다. 데이터의 형식과 출처가 모델이 어디까지 강건해질 수 있는지의 천장을 정한다는 말이 여기서는 추상적인 주장이 아니다. 합성과 번역 파이프라인이 부피는 채우지만 커버리지의 최전선에서 원어 수집을 대체하지 못한다는 것은 감사팀의 권고에 직접 적혀 있고, 같은 파이프라인의 66.37이 그 저자들 자신의 기준으로 그것을 보여 준다. 저자원 언어의 사전학습 데이터 비중을 다룬 지난 글이 같은 문제의 학습 데이터 쪽 배경을 다룬다.

2데이터 공급자에게 되물을 여섯 가지

감사팀의 권고 가운데 데이터를 사서 쓰는 쪽이 그대로 쓸 수 있는 것들을 질문 형태로 옮기면 다음 여섯 개가 된다. 특징이 하나 있다. 여섯 모두 컬렉션 단위 문서로는 답이 나오지 않는다.

이 여섯 항목은 규제가 증거로 요구하는 것과 상당 부분 겹친다. EU AI법 10조는 데이터 준비 작업을 주석, 라벨링, 정제, 갱신, 보강, 집계 여섯 동사로 열거하고, 학습·검증·시험 데이터가 관련성 있고 충분히 대표성 있으며 가능한 한 오류 없고 완전할 것을 요구하며, 편향 조사와 완화, 데이터 공백의 식별을 문서로 남기라고 못 박는다. 적용은 유예되어 2027년 12월 2일부터다. 감사가 25개 슬라이스 중 여섯에서만 일치도를 찾았다는 사실은, 같은 종류의 자료를 증거로 제출해야 할 때 어느 칸이 빈칸으로 남는지를 미리 보여 준다. 라벨링 작업을 감사 증거로 남기는 문제는 별도 리포트에서 더 다뤘다.

3이 감사를 읽는 방식에 관하여

저자들이 스스로 적어 둔 한계를 함께 옮기지 않으면 이 글은 아프리카 언어 자료를 깎는 글로 읽힌다. 심각도 여섯 범주 중 다섯은 서열 판단이고 측정에 기반한 것은 하나다. 슬라이스마다 심각도를 판정한 것은 주석자 한 명이었고 감사팀 자신의 신뢰도는 측정되지 않았는데, 저자들은 이것이 자기가 비판하는 것과 같은 긴장이라고 직접 적었다. 코퍼스 발굴은 사전 등록된 체계적 문헌 조사가 아니라 인용 추적과 표적 검색이었고, 발굴되지 않은 하우사어·스와힐리어 안전 자료가 존재할 가능성이 "가능한 정도가 아니라 유력하다"고 밝혔다. 그리고 가장 자세히 감사된 자료들이 나쁜 자료가 아니다. 자기 한계를 유별나게 투명하게 적어 둔 덕에 격차가 보인 자료들이며, 덜 투명한 대안보다 나쁘다는 증거는 어디에도 없다. 저자들이 가장 걱정하는 오용도 명시돼 있다. 이 결과가 투자 철수의 근거로 쓰이는 것이다. 통제된 비교가 보여 준 것은 하우사어 안전 데이터 수집이 본질적으로 더 어렵다는 증거가 아니라, 충분한 원어 검증 노력이 주어지면 기존 방법으로도 메울 수 있는 격차라는 증거라고 못 박는다.

주 출처

• 1.Onuoha, C. P.-M., Sunu, B. E., Sikiru, R. (2026). Language-Specific Gaps in AI Safety Training Datasets. arXiv:2608.13695 [cs.CY], 2026-08-13, CC BY 4.0. (Black in AI Safety & Ethics 소속으로 독립 수행. 이 글의 본문 수치와 인용은 대부분 이 논문의 §4~§8, Table 3·5·6, Limitations, Ethics Statement에서 왔다)
• 2.Onuoha, C. (2026). safety-slice-audit (dataset). HuggingFace, CC BY 4.0. (26행 × 31필드의 감사 대장 전체. HOC 하우사어 행의 오역 기록은 이 파일에서 확인)

감사가 인용한 원 자료

• 3.Abdullahi et al. (2026). UbuntuGuard. arXiv:2601.12696. (11개 아프리카 언어를 같은 파이프라인으로 처리한 번역 품질 표. 하우사 66.37·스와힐리 93.30·이그보 42.62·냔자 48.61·루간다 62.08, 임계값 70)
• 4.Akinode et al. (2026). TukaBench. arXiv:2606.01322. (하우사어 986건 기술 대 300건 공개)
• 5.Deng, Y. et al. (2023). Multilingual Jailbreak Challenges in Large Language Models. arXiv:2310.06474. (MultiJail. Table 1의 언어별 안전하지 않은 응답률, 스와힐리 83.49%·한국어 80.00%·영어 72.06%, 언어당 315건)
• 6.Marx, D., Dunaiski, M. (2026). 2026년 재실험. arXiv:2605.18239. (멀티턴 유해 응답률 키스와힐리 41.8~70.9%, 영어 52.7~83.6%, 아프리칸스어 60.0~78.2%)
• 7.PolyGuard (2025). PolyGuard: A Multilingual Safety Moderation Tool. arXiv:2504.04377. (17개 언어 191만 건. Table 10의 언어별 번역 품질과 안전 라벨 일치도, 한국어 81.55·프랑스어 82.12)
• 8.Lai, V. D. et al. (2023). ChatGPT Beyond English. arXiv:2304.05613. (0.1% CommonCrawl 점유율을 저자원 기준으로 쓰는 조작적 정의의 출처)
• 9.Joshi, P. et al. (2020). The State and Fate of Linguistic Diversity and Inclusion in the NLP World. arXiv:2004.09095. (자원 티어 분류. 한국어 Class 4, 프랑스어 Class 5, 스와힐리어 Class 2)
• 10.Roy, A., Roy, P. (2026). Structural Silence: When AI Infrastructure Fails Speakers of Underrepresented Languages. arXiv:2608.12278, 2026-08-12. (벵골어. 웹 점유율 0.5% 미만, 학습 토큰 67대 1, 농촌 36.5% 대 도시 71.4%)

한국어·산업·정책

• 11.Choi, D. et al. (2026). XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity. arXiv:2605.05662, 2026-05-07, CC BY 4.0. (AIM Intelligence·Microsoft·한국 AI안전연구소·KT·서울대 등. 10개 국가·언어 쌍, 5,500개 케이스, 원어민 2인 주석, 부록 C.3의 일치도, 공격 성공률과 무의미 응답률의 상관 -0.81)
• 12.Seah, E. W. et al. (2026). Improving Methodologies for Agentic Evaluations Across Domains. arXiv:2601.15679, 2026-01-22. (국제 AI 안전연구소 네트워크 3차 공동시험. 케냐·한국 등 참여, 키스와힐리어 심층 시험 언어당 156과제)
• 13.OpenAI (2024). GPT-4o System Card. arXiv:2410.21276. (레드팀 45개 언어·29개국 진술, §5.4 과소대표 언어 평가 세 종류)
• 14.European Union. Regulation (EU) 2024/1689 (AI Act), Article 10. (데이터 준비 작업 여섯 동사, 대표성 요건, 편향과 데이터 공백의 문서화. Digital Omnibus로 적용 2027-12-02)
• 15.디지털데일리 (2026). 제2회 인공지능안전 서울포럼 발표 보도. 2026-07-07. (반말 10.1% / 존댓말 3.0% / 영어 23.2%. 2차 출처를 경유해 인용했고 시험 모델은 보도에 나오지 않는다)
• 16.Common Crawl. cc-crawl-statistics, languages (CC-MAIN-2026-30). (프랑스어 4.8032% · 한국어 0.8429% · 스와힐리어 0.0117% · 하우사어 0.0026%)

페블러스 선행 리포트

• 17.페블러스 (2026). 정부가 만든 AI 학습데이터를 지자체가 다시 만들었다. 2026-08-17.
• 18.페블러스 (2026). 라벨링을 감사 증거로 남기기 — EU AI법 10조.
• 19.페블러스 (2026). 저자원 언어의 사전학습 데이터 비중.