Executive Summary
AI가 틀린 답을 내놓으면서도 지나치게 당당한 문제를 우리는 대개 데이터 탓으로 돌립니다. 데이터가 부족했거나 지저분했다고요. 그런데 KAIST 연구진이 내놓은 답은 방향이 다릅니다. 과신의 뿌리는 데이터가 아니라, 학습을 시작하기도 전에 신경망을 세팅하는 방식 — 표준으로 굳어진 랜덤 초기화 그 자체에 있다는 것입니다. 데이터를 단 한 장도 보지 않은 신경망이 이미 특정 답에 높은 확신을 품고 있었고, 그 편향이 학습 내내 살아남아 최종 모델의 과신으로 이어졌습니다.
해법은 뜻밖에 간단합니다. 진짜 데이터를 보여 주기 전에, 아무 의미 없는 무작위 노이즈로 잠깐 준비운동을 시키는 것입니다. 이 단계에서 모델은 아무것도 배우지 못합니다. 정확도는 우연 수준에 머뭅니다. 그런데 이 헛수고처럼 보이는 준비운동을 거친 모델은 이후 실제 학습에서 캘리브레이션 오차가 통계적으로 유의하게 줄었고(P<10⁻³), 처음 보는 낯선 입력 앞에서 확신을 낮추는 능력, 즉 '모르는 것은 모른다'고 말하는 메타인지를 얻었습니다.
페블러스가 이 연구에서 주목하는 것은 관점의 전환입니다. 신뢰할 수 있는 AI는 더 깨끗한 데이터만의 문제일까요, 아니면 학습 레시피의 문제일까요. 캘리브레이션을 데이터가 아니라 훈련 순서로 바라보는 이 발상은, 데이터 품질과 학습 설계가 사실은 한 몸이라는 사실을 다시 일깨웁니다.
주요 수치
이 발견을 네 개의 숫자로 압축하면 이렇습니다. 데이터를 보기 전부터 존재한 과신의 통계적 증거, 노이즈 준비운동 뒤 그 편향이 사라진 정도, 준비운동의 역설을 드러내는 정확도, 그리고 실제 학습에서 확인된 캘리브레이션 개선입니다.
출처: Nature Machine Intelligence (2026), arXiv:2412.17411
P<10⁻³
학습 전 과신
데이터를 하나도 안 본 신경망의 클래스 편향 (일원분산분석)
P=0.429
편향 소멸
노이즈 준비운동 뒤 클래스 편향이 통계적으로 사라짐
우연 수준
준비운동의 역설
노이즈 학습에서 손실은 내려가도 정확도는 우연에 머문다
P<10⁻³
ECE·OOD 개선
캘리브레이션 오차 감소와 낯선 입력 감지 향상 모두 유의
틀리면서도 당당한 AI
AI를 실제로 다뤄 본 사람이라면 익숙한 장면이 있습니다. 모델이 명백히 틀린 답을 내놓는데, 그 답에 붙은 확신 점수는 99%입니다. 의료 영상을 오판하면서도 확신하고, 자율주행이 처음 보는 도로 상황을 익숙한 것으로 착각하면서도 확신하고, 금융 모델이 낯선 패턴을 아는 것처럼 확신합니다. 문제는 틀렸다는 사실 자체가 아니라, 틀렸으면서도 낮은 확신을 보이지 못한다는 데 있습니다. 우리가 정말 원하는 것은 틀리지 않는 AI가 아니라, 자기가 모를 때는 모른다고 말해 주는 AI입니다.
이 어긋남을 재는 지표가 캘리브레이션(calibration), 우리말로는 확신 보정입니다. 잘 보정된 모델이라면 확신 80%라고 말한 예측들을 모아 봤을 때 실제로 그중 80% 정도가 맞아야 합니다. 이 약속이 얼마나 깨졌는지를 하나의 숫자로 요약한 것이 ECE(Expected Calibration Error), 기대 캘리브레이션 오차입니다. ECE가 크다는 것은 모델이 말하는 확신과 실제 적중률 사이가 벌어져 있다는 뜻이고, 그 벌어짐이 대개 과신 쪽으로 기웁니다.
정확도와 캘리브레이션은 다른 능력입니다. 정확도는 얼마나 자주 맞히느냐를, 캘리브레이션은 자기 확신이 얼마나 정직하냐를 잽니다. 아무리 정확한 모델이라도 확신이 정직하지 않으면, 그 확신을 믿고 내리는 결정은 위험해집니다. 신뢰할 수 있는 AI란 결국 자기 무지를 아는 AI입니다.
범인은 데이터가 아니라 초기화였다
그렇다면 과신은 어디서 올까요. 흔한 답은 데이터입니다. 편향된 데이터, 부족한 데이터, 지저분한 데이터가 모델을 잘못 가르쳤다는 것입니다. 그런데 이 논문의 저자들은 데이터를 의심하기 전에 더 앞 단계를 들여다봤습니다. 학습이 시작되기도 전, 신경망의 가중치를 무작위 숫자로 채우는 랜덤 초기화 단계입니다. 오늘날 거의 모든 딥러닝 모델이 여기서 출발하며, 우리는 이 관행을 너무 당연하게 여겨 의심조차 하지 않았습니다.
연구진이 관찰한 것은 뜻밖이었습니다. 데이터를 단 한 장도 보지 않은, 갓 초기화된 신경망의 출력을 살펴봤더니 이미 특정 클래스로 확신이 쏠려 있었습니다. 배운 것이 전혀 없는데도 어떤 답을 다른 답보다 자신 있게 내놓은 것입니다. 연구진이 이 출력 분포를 일원분산분석(one-way ANOVA)으로 검정하자 클래스 사이의 편향은 통계적으로 뚜렷했습니다(P<10⁻³). 지식이 0비트인 상태에서 이미 확신이 존재한 것입니다. 이것이 과신의 씨앗이었습니다.
더 중요한 것은 이 씨앗이 그냥 사라지지 않는다는 점입니다. 학습이 진행되며 모델은 데이터를 배우지만, 출발점에 새겨진 확신의 기울기는 좀처럼 교정되지 않고 최종 모델까지 살아남습니다. 그래서 잘 훈련된 모델조차 근거 없이 당당한 것입니다. 과신을 데이터의 문제로만 보면 이 출발선의 편향은 계속 보이지 않고, 우리는 엉뚱한 곳을 청소하게 됩니다.
학습 전에 시키는 노이즈 준비운동
출발선이 문제라면 해법도 출발선에 있어야 합니다. 연구진의 처방은 진짜 데이터로 학습을 시작하기 전에, 아무 의미 없는 무작위 노이즈로 신경망을 한 번 훑는 것입니다. 이 준비운동은 다섯 단계로 단순합니다. 입력은 가우시안 노이즈(평균 0, 표준편차 1)로 만든 무작위 이미지이고, 정답은 그때그때 무작위로 뽑은 라벨이며, 입력과 정답 사이에는 아무런 규칙도 없습니다. 매 반복마다 노이즈와 라벨을 새로 뽑아, 모델이 외울 수 있는 패턴 자체가 존재하지 않게 만듭니다. 그 위에서 평소처럼 교차 엔트로피 손실을 줄여 나갈 뿐입니다.
여기에 이 방법의 역설이 있습니다. 노이즈 단계에서 손실은 꾸준히 내려가지만, 정확도는 끝까지 우연 수준에 머뭅니다. 당연합니다. 애초에 배울 규칙이 없으니까요. 모델은 아무것도 학습하지 못합니다. 그런데 바로 그 헛수고가 초기화에 새겨져 있던 확신의 쏠림을 흩어 놓습니다. 준비운동을 마친 뒤 다시 클래스 편향을 검정하면 P=0.429 — 편향이 통계적으로 사라진 상태에서 진짜 학습을 시작하게 됩니다.
이 접근이 기존 캘리브레이션 방법들과 근본적으로 다른 지점이 여기입니다. 널리 쓰이는 방법들은 대부분 학습이 끝난 뒤나 추론하는 순간에 확신을 사후 보정합니다. 출발선에 남은 편향은 그대로 둔 채 결과만 손보는 셈입니다. 반면 노이즈 준비운동은 학습이 시작되기 전, 원인이 생기는 바로 그 자리에서 편향을 지웁니다.
| 방법 | 개입 시점 | 특징과 대가 |
|---|---|---|
| 온도 스케일링 | 학습 후 (사후) | 로짓을 온도 값으로 나눠 확신을 눅인다. 별도 검증셋과 하이퍼파라미터가 필요하다. |
| 라벨 스무딩 | 학습 중 | 정답 라벨을 부드럽게 만든다. 강도를 잘못 잡으면 이번엔 과소확신으로 기운다. |
| MC 드롭아웃 | 추론 시 | 여러 번 추론해 불확실성을 추정한다. 추론 비용이 여러 배로 늘어난다. |
| 노이즈 사전학습 | 초기화 단계 | 학습 시작 전 단 한 번. 사후 처리가 필요 없고, 학습 루틴에 한 단계를 더할 뿐이다. |
수치가 확인해 준 것
발상이 아무리 그럴듯해도 숫자가 받쳐 주지 않으면 이야기에 그칩니다. 연구진은 CIFAR-10 데이터의 일부(4,000장)와 6개 층 신경망으로 실험했습니다. 노이즈 준비운동을 거친 모델은 캘리브레이션 오차(ECE)가 통계적으로 유의하게 줄었고(윌콕슨 순위합 검정, P<10⁻³), 이 효과는 2개 층부터 6개 층까지 모든 깊이와 여러 데이터 크기에서 일관되게 나타났습니다. 특정 세팅에서 우연히 잘된 결과가 아니라는 뜻입니다.
메타인지가 가장 선명하게 드러난 곳은 낯선 입력을 만났을 때였습니다. CIFAR-10으로 학습한 모델에게 전혀 다른 SVHN 이미지를 보여 주는 분포 밖(OOD) 테스트에서, 준비운동을 하지 않은 모델은 처음 보는 입력에도 높은 확신을 유지했습니다. 반면 준비운동을 거친 모델은 그런 낯선 입력 앞에서 확신을 우연 수준으로 낮췄습니다(P<10⁻³). 아는 것과 모르는 것을 구분하는 능력을 정량으로 재는 AUROC 역시 유의하게 올랐습니다. 2차원 장난감 모델에서 확신 지도를 그려 보면 차이가 눈에 보입니다. 준비운동 전에는 특정 영역에 확신이 뭉쳐 있던 것이, 준비운동 뒤에는 입력 공간 전체에 고르게 낮은 확신으로 펼쳐졌습니다 — 모르는 곳에서는 겸손해진 것입니다.
실무자가 가장 먼저 던지는 질문은 대개 이것입니다. 그 대가로 정확도를 잃는 것 아니냐고요. 결과는 그렇지 않았습니다. 준비운동을 거친 모델은 더 낮은 손실에서 학습을 시작했고, 최종 정확도는 같거나 오히려 더 높았습니다. 캘리브레이션과 정확도를 맞바꾸는 흔한 딜레마가 여기서는 나타나지 않은 것입니다. 확신을 정직하게 만드는 일이 성능을 깎아먹지 않았다는 점이, 이 방법을 매력적으로 만듭니다.
물론 경계도 분명합니다. 실험은 비교적 단순한 이미지 분류와 작은 신경망에 한정되어 있고, 거대 언어 모델처럼 큰 시스템에서 같은 효과가 나는지는 계산 비용 탓에 아직 직접 검증되지 않았습니다. 저자들은 확률 분포를 출력하는 모델이라면 원리가 일반화될 것이라 기대하지만, 그것은 아직 검증되지 않은 가설입니다. 발견의 크기만큼 남은 검증도 큽니다.
뇌가 태어나기 전에 하던 일
이 아이디어는 어디서 왔을까요. 연구진이 영감을 얻은 곳은 뜻밖에도 태아의 뇌입니다. 생물학적 뇌는 눈을 뜨고 세상을 보기 훨씬 전, 아직 어떤 감각 경험도 하지 못한 태아기부터 이미 스스로 활동을 시작합니다. 시각피질과 청각피질에서 관찰되는 이 태아기 자발적 신경 활동은 통계적으로 무작위 노이즈와 닮아 있습니다. 아무 의미 없어 보이는 이 자발적 발화가, 실은 감각이 들어오기 전에 신경 회로를 미리 다듬어 두는 준비운동이었던 것입니다.
인공신경망의 노이즈 사전학습은 바로 이 태아기 준비운동을 흉내 낸 것입니다. 저자들은 이 닮음이 단순한 은유를 넘어, 생물학적 뇌가 아는 것과 모르는 것을 구분하는 능력, 곧 메타인지를 어떻게 발달시키는지에 대한 하나의 설명이 될 수 있다고 봅니다. 뇌는 세상을 보기 전에 먼저 자기 자신과 노는 법으로, 모른다는 감각을 위한 자리를 마련해 두는지도 모릅니다.
Editor's Note. 페블러스가 이 연구에서 오래 눈을 두는 지점은 관점의 전환입니다. AI의 과신을 이야기할 때 우리는 대개 데이터를 더 깨끗이, 더 많이 모으는 쪽을 먼저 떠올립니다. 그런데 이 연구는 같은 데이터라도 학습의 순서를 바꾸는 것만으로 모델의 정직함이 달라진다는 것을 보여 줍니다. 데이터 품질과 학습 레시피는 대립하는 선택지가 아니라 함께 가는 한 쌍입니다. 신뢰할 수 있는 AI를 만들려면, 무엇을 먹이느냐만큼이나 어떤 순서로 먹이느냐를 물어야 합니다.
틀리면서도 당당한 AI를 우리는 오래 데이터의 잘못으로만 읽어 왔습니다. 이 연구는 그 시선을 학습이 시작되기 전, 아무도 들여다보지 않던 출발선으로 옮겨 놓습니다. 다음에 어떤 모델이 스스로 확신에 차 답을 내놓을 때, 그 확신이 정말 배움에서 온 것인지 아니면 태어날 때부터 지니고 있던 버릇인지 한 번쯤 되물어 볼 만합니다. 끝까지 읽어 주셔서 고맙습니다.
(주)페블러스 데이터 커뮤니케이션팀
2026년 7월 8일
참고문헌
R.1학술 논문
- 1.Cheon, J., & Paik, S.-B. (2026). "Brain-inspired warm-up training with random noise for uncertainty calibration." Nature Machine Intelligence.
- 2.Cheon, J., & Paik, S.-B. (2024). "Pretraining with random noise for uncertainty calibration." arXiv:2412.17411.
- 3.Cheon, J., Lee, S. W., & Paik, S.-B. (2024). "Pretraining with random noise for fast and robust learning without weight transport." Advances in Neural Information Processing Systems 37 (NeurIPS 2024), 13748–13768.
R.2배경 문헌
- 4.Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). "On calibration of modern neural networks." ICML. [온도 스케일링의 원조 논문]