Executive Summary

연산과 메모리를 아끼려고 4비트 숫자 형식으로 모델을 처음부터 학습하면, 평균 성적은 거의 그대로인데 드물게 등장하는 사실만 더 늦게 외운다는 실험이 arXiv에 올라왔다. 소속 기관 없이 연구하는 두 사람(Chang Lu, Mengjiao Zhang)이 2026년 11월 9일 제출한 논문이다. 엔비디아의 4비트 형식 NVFP4와 널리 쓰이는 기준 형식 BF16으로 같은 트랜스포머를 각각 처음부터 학습한 뒤, 가상의 인물 전기문에 적힌 생일·출생도시·직업 같은 속성을 얼마나 꺼내 맞히는지 견줬다.

검증 손실은 거의 같았다. 합성 전기문만 쓴 조건에서 0.1~0.9%, 웹 텍스트를 섞은 조건에서도 2% 안팎이다. 그런데 같은 수준으로 꺼내 맞히게 하려면 NVFP4 쪽에 그 인물을 1.32배(웹 텍스트를 섞으면 1.52배) 더 많이 보여 줘야 했다. 학습률을 올려 걸음을 크게 떼어 봐도 이 손해의 약 3분의 2는 그대로 남는다.

1절부터 5절까지의 수치와 인용은 이 논문의 본문과 표에서 가져왔다. 논문이 스스로 밝힌 한계는 5절 끝에 함께 옮겼다. 이 결과를 데이터 준비 쪽 문제로 묶어 읽은 6절은 페블러스의 해석이다.

주요 수치

앞의 둘은 같은 학습에서 나온 두 성적표다. 하나는 평균을 보고, 하나는 드문 사실을 따로 센다. 뒤의 둘은 그 간격을 줄이려는 두 가지 처방이 각각 얼마나 되돌렸는지를 나타낸다.

출처: arXiv:2611.12832 본문 및 표.

0.1~0.9%

NVFP4와 BF16의 검증 손실 차이

합성 전기문 조건, 모든 시드에서 1% 미만

1.32배

같은 수준으로 외우는 데 필요한 노출 배수

웹 텍스트를 섞으면 1.52배까지 벌어진다

약 3분의 2

학습률을 올려도 사라지지 않는 비용의 몫

그래디언트의 신호 대 잡음비가 낮아진 쪽

60% 대 42%

교정 레시피가 메운 손실 격차와 노출 비용 격차

손실로 측정한 회복이 사실 습득의 회복보다 크다

1

모델은 그대로 두고 숫자 형식만 바꿨다

NVFP4는 엔비디아가 블랙웰 세대 가속기에 맞춰 내놓은 4비트 부동소수점 형식이다. 숫자 열여섯 개를 한 묶음으로 두고 각 숫자는 4비트로 적되, 묶음마다 배율을 따로 저장해 값의 폭을 되살린다. 같은 메모리에 네 배 많은 숫자가 들어가고 행렬곱도 그만큼 빨라진다. 저정밀 학습이라는 말이 요즘 자주 들리는 이유가 여기에 있다.

학습을 마친 모델의 가중치를 나중에 4비트로 줄여 돌리는 추론 쪽 양자화와는 다른 이야기다. 추론에서 NVFP4는 이미 블랙웰의 기본값에 가깝다. 이 실험이 다루는 것은 첫 글자부터 마지막 글자까지 4비트 연산으로 학습하는 쪽이고, 그쪽은 업계에서도 아직 열린 문제다.

논문은 모델 구조도 데이터도 건드리지 않고 숫자 형식만 바꿔 같은 학습을 두 번 돌렸다. 트랜스포머는 RMSNorm과 RoPE, SwiGLU를 쓰는 평범한 구성이고 크기는 1,200만·4,000만·1억 파라미터 세 종류다. 주력 실험은 4,000만 쪽에서 돌았다. 기준은 BF16이고, 보조 비교로 FP8과 MXFP4도 같은 자리에 세웠다.

4비트로 내렸다고 해서 오차를 그냥 둔 것은 아니다. 논문이 쓴 NVFP4 설정에는 반올림 방향을 확률로 고르는 확률적 반올림과, 가중치 그래디언트 연산에 무작위 아다마르 변환을 끼우는 처리가 들어가 있다. 저정밀 학습에서 오차를 깎으려고 흔히 쓰는 장치다. 이어지는 수치는 그 장치를 모두 켠 상태에서 측정한 값이다.

학습 데이터는 두 벌이다. 한 벌은 가상의 인물 전기문이다. 모델에 지식이 얼마나 담기는지 측정하려고 쓰이던 선행 연구의 설계를 그대로 가져왔다. 인물마다 생일·출생도시·대학·전공·직업·근무지 여섯 속성이 붙는다. 어떤 인물은 학습 내내 한 번만 등장하고 어떤 인물은 256번 등장한다. 노출 횟수를 1회부터 256회까지 2의 거듭제곱으로 아홉 구간에 나눠 심은 것이 이 실험의 핵심 장치다. 모델 크기에 따라 인물은 9,100명에서 68,000명까지 들어간다. 다른 한 벌은 그 전기문 2만 명분을 FineWeb-Edu 웹 텍스트에 흩어 넣은 것으로, 10억 토큰 가운데 전기문은 7.2%인 7,200만 토큰이다.

학습량도 모델 크기에 맞춰 잡았다. 합성 전기문 조건은 파라미터 하나당 0.7토큰에서 5.1토큰까지 돌렸고, 웹 텍스트를 섞은 조건은 파라미터당 24토큰 안팎이다. 파라미터당 몇 토큰을 돌렸는가도 저정밀 비용이 달라지는 축 가운데 하나다.

측정은 구간마다 200명을 뽑아 속성을 물어보고 첫 정답 토큰을 맞히는지 보는 방식이다. 논문은 이 비율을 회상이라 부른다. 노출 횟수를 사람이 직접 정해 둔 덕분에 "몇 번 본 사실이 얼마나 남았는가"를 구간별로 따로 셀 수 있고, 평균 손실 하나로는 보이지 않던 자리가 여기서 드러난다.

2

같은 수준으로 외우려면 더 여러 번 봐야 한다

이 논문이 내놓는 중심 수치는 하나다. 같은 회상 수준에 닿으려면 NVFP4 쪽에 그 사실을 몇 배 더 보여 줘야 하는가. 논문은 이것을 노출 배수(exposure multiplier)라 부르고, 회상 20%에서 80%까지 아홉 수준에서 각각 구해 기하평균을 냈다.

무엇을 맞춰 놓고 비교했나 합성 전기문 웹 텍스트에 섞은 전기문
검증 손실 차이 0.1~0.9% 1.9~2.1%
학습 토큰 수를 맞춘 노출 배수 1.32배 (1.16~1.50) 1.52배 (1.35~1.71)
검증 손실을 맞춘 노출 배수 1.25배 (1.13~1.38) 1.22배 (1.10~1.36)
평가를 양쪽 다 BF16으로 읽은 노출 배수 1.26배 1.30배

▲ 괄호 안은 95% 구간. | 출처: arXiv:2611.12832 본문

표의 셋째 줄이 반론 하나를 먼저 막는다. 학습 예산을 토큰 수로 맞추면 저정밀 쪽이 손해라는 지적이 나올 수 있어, 검증 손실이 같아지는 지점끼리 다시 견줬다. 그래도 1.25배와 1.22배가 남는다. 평균을 같게 맞춘 두 모델이 드문 사실에서는 여전히 갈린다는 뜻이다.

넷째 줄은 평가 쪽 의심에 답한다. 평가할 때 숫자를 깎아서 생긴 착시일 수 있으니, 양쪽 모델을 모두 BF16 행렬곱으로 읽어 다시 측정했다. 배수는 1.26배와 1.30배로 거의 줄지 않았다. 손해는 답을 읽는 순간이 아니라 학습이 진행되는 동안 이미 생겨 있었다.

간격은 회상 수준에 따라 고르게 벌어지지 않는다. 절반 가까운 설정에서 회상 30% 수준의 배수가 70% 수준보다 1.25배가량 컸다. 아직 잘 외우지 못한 구간, 그러니까 드물게 등장한 사실일수록 저정밀의 손해가 크다는 말이다. 논문 제목이 "드문 사실"을 지목한 근거가 이 비교에 있다.

3

평균 손실은 왜 드문 사실을 놓치나

손실이 0.5%도 안 벌어지는데 회상에서는 30%씩 갈리는 상황은 언뜻 모순처럼 보인다. 논문은 이것을 정리 하나로 증명한다. 검증 집합은 노출 빈도에 비례해 인물을 뽑으므로, 자주 등장한 인물이 토큰 가중의 대부분을 가져간다. 256번 등장한 사실들이 검증 손실의 절반을 차지하고, 상위 두 구간을 합치면 4분의 3이다.

그런데 자주 등장한 사실은 두 형식 모두 이미 다 외운 상태다. 빈도별로 손실을 쪼개 보면 1회에서 4회 사이에 등장한 사실에서는 두 형식의 차이가 0.67~0.85 nats로 크고, 32회 이상 등장한 사실에서는 최대 0.07 nats로 사실상 0이다. 무게를 쥔 구간에는 차이가 없고, 차이가 있는 구간에는 무게가 없다.

검증 손실에서 차지하는 무게 4분의 3 가장 자주 등장한 두 구간(256회·128회) 4분의 1 나머지 일곱 구간(1회~64회) 평균은 자주 등장한 사실의 성적을 주로 읽는다. 두 형식의 손실 차이 0.67~0.85 1회~4회 등장한 사실 (nats) 0.07 이하 32회 이상 등장한 사실 (nats) 간격은 거의 등장하지 않은 사실 쪽에만 쌓여 있다.

▲ 페블러스 원본 도식. 막대 길이는 비율을 나타내는 모식이고, 네 수치는 모두 논문 본문의 값이다.

평균 손실은 틀린 값을 적지 않는다. 다만 무엇을 많이 세고 무엇을 적게 세는지가 데이터의 빈도 분포에 그대로 묶여 있다. 드문 사실의 큰 손해가 흔한 사실의 0에 가까운 손해에 수적으로 희석되면, 똑같은 손실 곡선 아래에 다른 모델 두 개가 놓인다.

4

보폭을 키워도 되돌아오지 않는 몫

저정밀 학습의 손해를 설명하는 익숙한 이야기가 하나 있다. 그래디언트에 오차가 섞이면 Adam 옵티마이저의 분모, 그러니까 2차 모멘트 추정치가 부풀고, 그만큼 유효 학습률이 줄어든다는 것이다. 맞는 설명이라면 처방은 간단하다. 학습률을 그 비율만큼 올려 주면 된다.

논문은 배율을 1.356배와 1.199배로 미리 정해 두고 실제로 올려 봤다. 줄어든 보폭은 그만큼 돌아왔지만 노출 비용은 사라지지 않았다. 저자들은 저정밀의 비용이 두 갈래라고 적는다. 하나는 한 걸음이 짧아지는 스텝 크기 비용으로, 학습이 진행되면서 점차 옅어진다. 다른 하나는 노이즈가 업데이트 방향 자체에 섞여 신호 대 잡음비를 낮추는 비용이고, 이쪽은 학습이 끝날 때까지 남으면서 전체의 약 3분의 2를 차지한다. 학습률을 올리면 앞의 것만 되돌아온다.

저정밀 학습 비용의 두 갈래 보폭(스텝 크기) 비용 학습률을 올리면 되돌아온다 신호 대 잡음비 비용 — 약 3분의 2 학습률을 올려도 남는다

▲ 페블러스 원본 도식. 막대 길이는 비율을 나타내는 모식이고, "약 3분의 2"는 논문 본문의 값이다.

4.1비트 형식이 아니라 노이즈의 양이 변수였다

설명이 맞는지 확인하려고 저자들은 양자화를 쪼개 걸었다. 순전파만 4비트로 내리면 손실은 0.1%밖에 움직이지 않는데 노출 비용은 1.18배가 된다. 역전파만 내리면 1.13배다. 둘을 곱하면 1.33이고, NVFP4 전체를 쓴 실측값 1.32배와 거의 겹친다. 곱셈이 맞아떨어진다는 것은 순전파 쪽 오차와 역전파 쪽 오차가 서로 겹치지 않고 따로 비용을 보탠다는 뜻이다.

더 직접적인 확인도 있다. BF16으로 학습하면서 그래디언트에 NVFP4의 오차와 같은 크기의 평균 0 가우시안 노이즈만 인위적으로 더했더니 거의 같은 비용이 재현됐다. 4비트라는 형식 자체가 아니라 그래디언트에 실리는 노이즈의 양이 변수라는 뜻이다. 체크포인트에서 뽑은 그래디언트 분산 비율 하나만으로 17개 설정의 비용 순위를 예측해 보니, 별도의 적합 없이 스피어만 상관계수가 0.96으로 나왔다.

5

교정 레시피는 손실부터 메운다

엔비디아는 트랜스포머에 Mamba 계열 블록을 섞은 120억 파라미터 모델을 NVFP4로 10조 토큰까지 학습한 결과를 공개하면서, 손실 곡선이 FP8 기준과 거의 겹친다는 레시피를 함께 내놨다. 역전파 행렬곱은 FP8로 돌리고, 가중치 배율을 2차원으로 잡고, 학습 마지막 20%는 BF16으로 되돌리는 쿨다운을 두는 방식이다. 이번 논문은 그 레시피를 자기 모델 크기에 맞게 변형해 적용하고 같은 잣대를 다시 댔다. 엔비디아 발표가 동등함의 근거로 삼은 것은 그 곡선이고, 이번 논문이 집은 것은 빈도 구간별 회상이다.

검증 손실 격차는 60%가 메워졌다. 같은 설정에서 로그 노출 비용 격차는 42%만 회복됐다. 웹 텍스트를 섞은 조건에서는 8분의 1 수준이었고, 그 추정의 폭도 넓었다. 손실로 측정한 교정 효과가 실제 사실 습득의 회복을 과대평가한다는 것이 저자들이 내놓은 실천적 결론이다.

쿨다운 단계를 쪼개 보면 이유가 보인다. 마지막 20%를 BF16으로 되돌리기 전에 이미 노출이 끝난 사실들의 회상 결손은 −0.003, 사실상 그대로였다. 반면 쿨다운이 도는 동안 등장한 사실은 결손의 54%를 회복했다. 저정밀로 학습한 이력이 쌓이면 나중에 정밀도를 되돌려도 지나간 사실은 거의 돌아오지 않는다. 저자들은 회상을 떠받치는 공유 회로가 더 늦게 자리 잡는 훈련 이력 효과로 읽는다.

5.1다른 설정에서도 방향은 같다

정밀도를 낮출수록 비용이 커지는 순서도 확인됐다. FP8은 1.11배로 95% 구간이 1을 품기도 하고, NVFP4는 1.32배, 블록을 32개로 묶는 MXFP4는 합성 조건에서 1.61배다. 1억 파라미터 모델에서는 파라미터당 토큰이 늘수록 손실을 맞춘 비용이 커져, 0.67토큰에서 1.05배였던 값이 2.3토큰에서 1.22배가 됐다. 형식마다 최적 학습률을 따로 고르게 허용해도 1.20~1.37배가 남았고, 스케줄을 선형 감쇠로 바꿔도 1.26배와 1.42배가 유지됐다.

논문이 스스로 적은 한계는 네 가지다. 모델이 최대 9,660만 파라미터, 학습량이 최대 10억 토큰이라 수천억에서 수조 토큰을 쓰는 실제 사전학습으로 그대로 늘려 읽을 수 없다. 4비트 행렬곱은 하드웨어가 아니라 소프트웨어 에뮬레이션으로 돌렸다. 외운 대상은 가상의 전기문이라 현실의 롱테일 지식과 성질이 다를 수 있다. 드문 사실을 늦게 배우는 모델이 실제 서비스에서 어떤 문제를 일으키는지는 이번에 직접 시험하지 않았다.

시험하지 않았다고 적으면서도 저자들은 우려를 한 대목 남겼다. 학습 데이터에 자주 등장하지 않는 개체와 주제, 언어를 두고 지식의 신뢰도가 떨어질 수 있다는 것이다.

6

페블러스가 이 실험을 주목하는 이유

이 논문은 하드웨어 소식으로 읽히기 쉽다. 데이터를 다루는 쪽에서 보면 다른 대목이 남는다. 숫자 형식을 바꾸는 결정이 "같은 사실을 몇 번 보여 줘야 하는가"를 바꿔 놓았다는 사실이다. 그 횟수는 모델 설정이 아니라 데이터 쪽 설계에 속한다. 어떤 사실을 몇 번 심을지, 중복을 얼마나 허용할지, 희귀한 항목을 몇 에폭 더 돌릴지는 데이터 준비 단계에서 정해진다.

손해가 몰린 자리도 공교롭다. 한두 번만 등장하는 사실은 품질 관리가 가장 어려운 구간이다. 표본이 적어 오류를 찾기 어렵고, 평가 집합에 들어가도 가중이 거의 없어 성적표에 흔적을 남기지 않는다. 이번 실험이 보여 준 것은 그 구간이 정밀도 선택에 가장 민감하게 반응한다는 점이다. 평균 지표가 멀쩡해 보이는 동안 비용은 거기서만 발생했다.

저정밀 학습 도입을 검토하는 쪽이라면 세 가지를 더 물어볼 수 있다. 아래 셋은 모델 구조나 파라미터 수를 묻지 않는다.

  • 평가 집합은 빈도에 비례해 뽑혔는가. 그렇다면 그 평균은 대부분 자주 등장한 쪽에서 온 수치다.
  • 빈도 구간을 쪼개 따로 측정한 결과가 있는가. 한 번만 등장한 항목과 백 번 등장한 항목을 같은 칸에 넣어 평균 내면 간격이 사라진다.
  • 정밀도를 바꾸면서 노출 횟수는 그대로 뒀는가. 손실을 맞춘 기준으로도 1.2배 넘는 간격이 남았으므로, 형식을 바꾸는 일은 데이터 예산을 다시 잡는 일이기도 하다.

페블러스는 데이터를 AI가 쓸 수 있는 상태로 만든다. 값의 정확성만큼 값에 붙은 맥락도 품질 항목으로 둔다. 어떤 사실이 학습 데이터에 몇 번 등장하는지, 어느 출처에서 몇 벌 중복되는지가 값에 붙어 있어야 빈도 구간별 평가를 설계할 수 있다. 이번 실험에서 구간별 회상을 셀 수 있었던 것도 노출 횟수를 사람이 미리 정해 심어 두었기 때문이다. 그 표식이 없는 데이터에서는 드문 사실이 밀려도 밀린 줄 모른다.

남는 질문은 하나다. 우리가 보고 있는 손실 곡선은 드문 사실을 세고 있는가. 세지 않는다면 그 곡선이 평평하다는 사실은 아직 품질에 대한 답이 아니다.

R

참고문헌

핵심 논문

학술 배경