Executive Summary

주요 수치

출처: 엔비디아·AI4Bharat 허깅페이스 발표문(2026년 10월 16일).

AI4Bharat는 IIT 마드라스에 있는 인도 언어 연구소다. 인도 언어로 된 공개 코퍼스를 몇 해째 모아 온 곳이고, 그 일을 하는 이유를 연구소의 미테시 카프라가 한 문장으로 말했다. 인도 언어에는 쓸 데이터가 충분하지 않다는 것이다. 이번 발표는 그 부족을 메우는 방법에 관한 것인데, 방법이 수집이 아니다.

10월 16일 엔비디아와 AI4Bharat가 허깅페이스에 올린 글에 따르면, 새 사전학습 데이터는 인도 헌법이 공용어로 올린 22개 언어를 모두 덮는다. 2011년 인구조사 기준으로 인도 사람 97%가 제1언어로 쓰는 말들이고, 사람 수로는 약 12억 명이다. 규모는 Gemma-4 토크나이저 기준 2.8조 토큰이다.

2.8조 토큰은 두 덩어리로 나뉜다. 각 언어 고유의 문자로 적힌 글이 2,601.0B 토큰이고 22개 언어 전부에 있다. 로마자로 적힌 글이 224.6B 토큰인데, 이쪽은 22개가 아니라 12개 언어에만 있다. 둘을 합쳐 세면 22개 언어에 34개의 언어-표기 조합이 된다. 여기서 로마자란 영어로 번역한 글이 아니라, 인도말을 라틴 문자로 적은 글이다. 사람들이 휴대폰 자판으로 힌디어를 칠 때 쓰는 그 표기를 떠올리면 된다. 고유문자라는 말도 표기 체계를 가리킬 뿐이어서, 그쪽 글 역시 영어에서 옮겨 온 것이라고 발표문은 따로 적어 두었다.

이 수를 셀 때 무엇을 한 건으로 셌는지도 발표문에 적혀 있다. 문서 기록 안에는 같은 원본에서 갈라져 나온 번역본과 표기 변형이 함께 들어 있다. 서로 다른 영어 문서를 몇 편 썼는지를 센 수가 아니라는 뜻이다. 영어 원문 하나가 여러 언어와 두 표기로 불어나 토큰 총량을 채운 구조다.

이 데이터가 어디서 왔는지가 이 발표의 핵심이다. 원천은 Nemotron-CC-v2의 15개 하위집합이다. 엔비디아가 정제해 둔 영어 웹 코퍼스로, 웹 문서와 질의응답, 수학, 코드, 특화 콘텐츠가 들어 있다. 인도 언어 토큰 2.8조는 그 영어 문서들을 번역 모델이 문서 단위로 옮겨 적어 생긴 결과물이다. 발표문도 이 점을 감추지 않는다. 모든 기록이 원본 문서 하나로 되짚어지기 때문에 감사가 가능하다는 것이 저자들이 내세운 장점이다.

시점에 관해 한 가지 분명히 할 것이 있다. 데이터셋 이름은 Nemotron-pretraining-Indic-v1이고, 허깅페이스에 곧 공개한다고 적혀 있다. 10월 18일 현재 내려받을 수 있는 상태는 아니다. 지금 공개된 것은 방법을 적은 발표문과, 번역·평가·재작성 프롬프트가 들어 있는 깃허브 플러그인이다.

22개 언어를 한 가지 방법으로 처리하지는 않았다. 번역 자원이 어느 정도 쌓인 12개 언어와 그렇지 않은 10개 언어를 갈라 공정을 따로 돌렸다. 어느 쪽이든 문장이 아니라 문서를 통째로 옮긴다는 점은 같다. 앞뒤 맥락을 보존하기 위해서다.

두 공정의 차이가 가장 크게 벌어지는 칸은 합격선 아래를 어떻게 다루느냐다. 고쳐 쓰기 한 바퀴는 12개 언어 공정에만 있다. 10개 언어 공정은 같은 75점 기준을 쓰되 미달분을 그냥 떨구고, 로마자도 만들지 않는다. 쓸 수 있는 번역 자원이 적은 언어일수록 공정이 단순해진 셈이다. 10개 언어 쪽에 원어민 검증이 더 필요하다고 발표문이 적어 둔 것도 같은 자리를 가리킨다.

로마자 표기를 만드는 순서에도 선택이 있었다. 영어에서 곧바로 로마자 인도말을 생성하게 할 수도 있었는데, 고유문자로 먼저 옮긴 다음 문자만 바꾸는 두 단계 쪽이 결과가 나았다고 적혀 있다. 지어낸 내용이 덜 섞이고, 번역이 덜 된 영어 찌꺼기도 적게 남았다는 것이다.

번역 프롬프트는 옮길 것과 건드리지 말 것을 구분하도록 짜여 있다. 산문은 옮기고 코드와 수식, URL, 서식은 그대로 둔다. 공정 전체는 엔비디아의 합성 데이터 생성 프레임워크 NeMo Data Designer 위에서 단계별로 돌아가며, 여기에 쓰인 플러그인은 번역과 평가 프롬프트, 재작성, 긴 문서 분할, 문자 변환을 담아 깃허브에 공개돼 있다.

데이터 품질 실무자가 이 발표에서 가장 오래 들여다볼 대목은 여기다. 번역이 끝난 문서는 곧바로 코퍼스에 들어가지 않고 채점을 받는다. 채점표는 번역 품질 평가에 쓰는 MQM 방식을 본떠 만들었고, 의미와 유창성, 용어, 문체, 형식을 보아 100점 만점으로 매긴다. 합격선은 75점이다. 이 75점이 정확도 백분율이 아니라 루브릭 점수라는 단서도 발표문에 달려 있다. 번역문의 75%가 맞았다는 뜻이 아니라, 다섯 항목을 나눠 본 채점표의 합이 75점이라는 뜻이다.

보통의 코퍼스 구축에서 합격선 아래는 버린다. 이 공정은 다르게 처리했다. 75점에 못 미친 문서는 어디가 왜 깎였는지를 피드백으로 받아 다시 쓰이고, 같은 기준으로 다시 채점받는다. 앞 절에서 본 대로 이 되돌림이 놓인 자리는 12개 언어 공정이다. 되돌림 한 바퀴로 살아난 분량이 고유문자와 로마자를 합쳐 4,384억 토큰이다. 전체 2.8조에 이미 포함된 몫이라, 수선 덕분에 코퍼스가 그만큼 커졌다고 읽으면 안 된다. 수선이 없었다면 2.8조가 2.4조쯤에서 멈췄으리라고 읽는 쪽이 맞다.

채점하는 쪽이 기계라는 점은 저자들도 알고 있다. 그래서 사람이 표본을 뽑아 검수했고, 일부러 오류를 심은 문서를 흘려 보내 채점 프롬프트가 그것을 잡아내는지 확인했다. 거기서 나온 결과로 프롬프트와 점검 항목을 다시 손봤다고 한다.

한계도 발표문에 직접 적혀 있다. 품질 판정은 기본적으로 자동이고 사람 검수의 범위는 언어마다 다르다. 12개 언어 공정에서는 번역한 모델이 채점까지 맡는다는 사실도 저자들이 한계 항목으로 적었다. 자기가 옮긴 글을 자기가 매기는 구조다. 10개 언어 공정은 원어민 검증을 더 받아야 한다는 말도 나란히 있다. 남긴 글에도 오류가 섞여 있을 수 있다. 중복 제거는 같은 원본에서 나온 것을 걷어 내는 방식이라, 내용이 비슷한 글을 의미로 묶어 내지는 않는다. 데이터 품질 문서가 자기 공정의 구멍을 이 정도로 적어 두는 경우는 흔치 않다.

만든 데이터가 쓸 만한지는 모델에 넣어 봐야 안다. 엔비디아는 Nemotron 3.5 Super VL에 1,000억 토큰 예산으로 이어학습을 돌리면서 그중 10%인 100억 토큰을 인도어로 채웠다. 다만 이 100억이 전부 이번 코퍼스는 아니다. 코퍼스의 12개 언어 몫에 인도 언어로 쓰인 자연 글을 섞은 혼합물이고, 나머지 90%는 그 앞 단계 학습 배합의 비율을 그대로 뒀다.

결과는 올랐다. 인도어 지식·추론 벤치마크 다섯 종인 MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K가 모두 상승했고 폭은 4.98%p에서 9.82%p 사이다. 여기에 저자들이 달아 둔 단서가 둘이다. 이 수치는 이어학습 단계의 앞뒤 체크포인트를 견준 것이어서 합성 코퍼스만의 기여를 떼어 낸 값이 아니다. 그리고 벤치마크마다 다루는 언어가 다르다. GSM8K는 오디아어를 빼고 쟀다. 그 평가가 서비스 문맥 한도를 넘겼기 때문이다.

이와 별개로 발표문은 완성된 Nemotron 3.5 Super VL을 이전 세대인 Nemotron 3 Super와도 견준다. 한 단계의 앞뒤가 아니라 후처리까지 끝낸 모델끼리의 비교다. 여기서는 지식과 추론, 수학, 코드, 번역을 보는 여섯 과제 중 다섯이 올랐다. 번역 과제 WMT24++만 퍼센트포인트가 아니라 chrF 점수로 잰다. 언어 품질을 보는 IndiVibe의 네 축인 유용함, 유창함, 언어와 표기의 충실도, 적절한 길이도 모두 나아졌다. IndiVibe는 사르밤 AI가 공개한 인도어 대화 프롬프트 벤치마크이고, 발표문이 실은 값은 맞대결 승률이 아니라 예비 단계의 조건부 선호 점수다.

내려간 축은 그 여섯 중 남은 하나다. 지시 따르기 평가 IFEval 1.5에서 2.04점 떨어졌다. 사용자가 시킨 형식과 조건을 그대로 지키는 능력을 보는 자리다. 왜 떨어졌는지 발표문은 설명하지 않는다.

성적을 재는 잣대도 데이터를 만든 쪽에서 나온다. 평가의 나머지 절반인 벤치마크 모음 Indic-LLM-Eval-Suite를 AI4Bharat가 엔비디아의 지원을 받아 만들고 있고, 발표문은 그것을 나란히 소개한다. 공개된 도구라 바깥에서도 같은 잣대를 쓸 수 있지만, 그 사정은 성적을 읽을 때 빼놓을 수 없다. 그 점에서 IndiVibe가 바깥 기관이 만든 잣대라는 사실은 반대쪽 무게추가 된다.

다섯 종 가운데 넷은 지식과 추론을 묻는 객관식이고 하나는 수학 문제다. 영어 원문에 들어 있던 지식이 인도말 문장으로 옮겨져 모델에 들어갔으니, 그 지식을 인도말로 묻는 시험의 점수가 오르는 것은 공정이 설계대로 작동했다는 증거다. 그 지식이 인도 사람의 생활과 지역의 맥락을 얼마나 담고 있는지는 다른 질문이고, 이 다섯 점수로는 답하지 못한다.

인도말 코퍼스 소식으로 읽고 넘기기에는 한국어 사정이 비슷하다. 한국어로 된 공개 학습 데이터는 영어에 견주면 턱없이 적고, 그 부족을 메우는 가장 빠른 길도 같다. 영어 데이터를 번역기에 넣어 양을 채우는 방식이다. 이번 발표가 다른 점은 그 길을 숨기지 않고 공정으로 적어 공개했다는 데 있다. 덕분에 실무자가 따질 거리가 생겼다.

가장 배울 만한 것은 합격선을 숫자 하나로 못 박고 미달분의 처리를 미리 정해 둔 설계다. 75점이라는 선이 있으니 아래로 떨어진 글의 양을 셀 수 있고, 고쳐서 되살린 분량도 4,384억 토큰이라고 따로 적을 수 있다. 선이 없는 공정에서는 어느 쪽도 셀 수 없다. 현장에서 자주 보는 모습은 그 반대다. 품질 기준이 사람 머릿속에만 있고, 그래서 버린 데이터와 고친 데이터가 기록에 남지 않는다.

번역으로 데이터를 채우는 팀이라면 적어도 다음 네 가지는 문서에 적혀 있어야 한다.

• • 합격선이 몇 점이고 그 점수가 무엇을 재는가. 75점이라는 수 자체는 빌려 쓸 것이 못 된다. 중요한 것은 그 점수를 의미·유창성·용어·문체·형식처럼 나눠 보는 채점표가 있다는 점이고, 채점을 모델이 한다면 사람이 표본으로 그 채점을 다시 검수하는 절차가 있느냐는 점이다
• • 미달분을 버리는가 고치는가, 고친 분량을 따로 세는가. 고쳐 쓴 데이터는 처음부터 합격한 데이터와 성질이 다르다. 섞어 두면 나중에 모델이 이상하게 굴 때 어느 쪽을 의심할지 가릴 수 없다
• • 번역문에서 원본 문서로 되짚어 갈 수 있는가. 이번 공정이 감사 가능성을 내세울 수 있는 이유가 여기 있다. 원본으로 가는 길이 끊긴 합성 데이터는 문제가 생겨도 어디서 비롯됐는지 찾을 방법이 없다
• • 같은 원본에서 갈라진 기록이 학습과 평가 양쪽에 걸치지 않는가. 원문 하나가 여러 언어와 두 표기로 불어나는 공정에서는, 평가용으로 떼어 둔 글의 형제가 학습 쪽에 남기 쉽다. 발표문도 평가 분할을 만들 때 언어와 표기를 가로지르는 같은 출처 기록을 함께 묶으라고 짚었다

저자들은 이 코퍼스를 어떻게 쓰라고 권했나. 이 코퍼스만으로 학습하지 말고 인도 언어로 처음부터 쓰인 글을 적절히 구해 섞은 다음, 그 배합을 쓰려는 용도에 맞춰 평가해 보라는 것이다. 생성과 채택을 갈라 두라는 말도 덧붙였다. 공개한 플러그인은 후보와 점수를 돌려줄 뿐이고, 그중 무엇을 학습 코퍼스에 넣을지는 쓰는 쪽의 필터 정책이 정한다. 점수를 매기는 일과 받아들이는 일이 같은 단계가 아니라는 이 구분은, 번역이 아닌 데이터를 다루는 자리에도 그대로 통한다.

남는 질문은 점수로 풀리지 않는다. 12억 명이 쓰게 될 모델의 인도말이 영어에서 옮겨진 말이라면, 그 말에는 영어 웹에 적힌 세계가 함께 실려 온다. 벤치마크 점수는 그 사실을 잡아내지 못한다. 옮겨 온 지식을 옮겨 온 언어로 물었으니 맞히는 것이 당연하다. 한국어 모델을 평가하는 자리에서도 같은 종류의 착시가 생긴다. 번역 데이터를 넣고 번역으로 만든 평가 문항에서 점수가 올랐다면, 그 상승은 한국어가 늘었다는 증거가 아니라 공정이 작동했다는 증거다.

여기까지 읽어 주셔서 감사하다. 이 글의 사실관계는 엔비디아와 AI4Bharat가 10월 16일 허깅페이스에 올린 발표문에서 확인했고, 아직 공개되지 않은 데이터셋 자체는 보지 못한 상태에서 쓴 것이다. 실제 파일이 올라오면 언어별 분량과 표기 구성을 다시 확인할 생각이다. 사내에서 번역으로 학습 데이터를 채우면서 품질 합격선을 어떻게 정해 두셨는지 사례가 있으시다면 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 18일

• 1.NVIDIA · AI4Bharat (IIT Madras). (2026). "Scaling Indic Pretraining." Hugging Face Blog, 2026년 10월 16일. (1~4절 1차 출처 — 토큰 수, 언어 구성, 번역·채점·재작성 공정, 평가 결과와 저자들이 적은 한계)
• 2.NVIDIA NeMo. (2026). "DataDesignerPlugins — Nemotron Bharat translation plugin." GitHub. (2절 — 번역·평가 프롬프트, 재작성, 긴 문서 분할, 문자 변환이 담긴 공개 플러그인)
• 3.Unite.AI. (2026). "NVIDIA unveils 2.8T-token Indic pretraining corpus and open pipeline." (발표 내용을 전한 보도. 수치는 1차 출처로 대조했다)