Executive Summary

주요 수치

출처: Wessel 외, arXiv:2610.20519(2026-10-14).

무엇을 어떻게 쟀는지부터 보자. 분석 대상은 2022년 한 해의 운영 예보이고, 공간은 전 지구 육지를 0.25도 격자로 나눈 것이다. 예보 변수는 지상 2m 기온 하나다. 선행 시간은 12시간부터 120시간까지 12시간 간격으로 열 개를 뒀다. 사흘 전, 닷새 전에 내놓은 예보가 각각 어땠는지를 따로 매긴 셈이다.

무엇을 극값으로 볼지도 미리 못 박았다. 기준은 1979년부터 2017년까지의 ERA5 기후값에서 뽑은 분위수인데, 격자마다 다르고 달마다 다르고 예보 시각마다 다르다. 서울의 7월 오후와 사하라의 1월 새벽에 같은 온도를 들이댈 수는 없기 때문이다. 기록은 그 기준 기간의 최고값을 넘어선 경우를 가리킨다. 임계값을 사건이 일어난 뒤에 고르면 결론을 원하는 쪽으로 끌고 갈 수 있으므로, 저자들은 임계값을 먼저 고정해 두고 채점에 들어갔다.

결과는 한쪽으로 기울었다. 72시간 앞선 예보에서 WeatherNext2는 기록적 사건에 대해 IFS 앙상블 대비 브라이어 기술점수 24%를 얻었다. 90% 신뢰구간은 23~26%로 좁다. 90번째 백분위수 수준의 더위로 기준을 낮추면 23%다. 확률형 예보 전반을 재는 CRPS로 바꿔 봐도 방향은 같아서, 같은 72시간에서 25%(90% 구간 24~25%) 개선이 나왔다. 격차는 선행 시간이 짧을수록 크다. 확률형 AI 모델들의 기술점수는 12시간에서 30% 안팎이던 것이 120시간에서는 14~18%로 내려앉는다.

점수보다 직관적인 수치가 하나 더 있다. 관측된 기록 가운데 예보 앙상블 멤버 전원보다 높았던 비율이다. 앙상블을 몇 개 돌리든 그중 가장 더운 시나리오조차 실제보다 낮았다는 뜻이니, 사실상 경보를 놓친 경우에 해당한다. IFS는 그 비율이 39~45%였다. 기록적 더위 열 번 가운데 네 번은 예보 가능 범위 바깥에서 일어난 셈이다. 같은 수치가 WeatherNext2는 9~17%, WeatherGen은 11~21%였고, IFS 앙상블을 통계적으로 다시 보정한 EMOS는 9~16%였다.

꼬리 쪽 확률이 제대로 맞춰져 있는지도 따로 확인했다. 과소예보와 과대예보를 재는 발생 비율은 WeatherNext2가 모든 임계값에서 1에 가깝게 머물렀고, 기록 구간에서도 0.97 수준이었다. WeatherGen은 0.94~0.96으로 1을 조금 밑돈다. IFS는 90번째 백분위수에서 1.14이던 이 값이 기록 구간에서는 1.48까지 올라간다. 드문 사건일수록 발생 확률을 낮게 잡는 경향이 그만큼 뚜렷해진다.

IFS 앙상블이 기록을 그렇게 자주 놓친 이유는 앙상블의 폭에서 드러난다. 앙상블이 벌려 놓은 폭과 실제 오차의 비율을 재면 IFS는 짧은 선행 시간에서 0.65~0.7에 머물다가 120시간에 가서야 0.88까지 올라간다. 지상 기온 예보에서 수치 모델이 으레 보이는 과소분산이다. 앙상블이 실제 불확실성보다 좁게 펼쳐져 있으면, 그 안에서 가장 더운 멤버조차 실제 기록에 못 미치는 일이 잦아진다. 확률형 AI 모델과 후처리를 거친 예보는 같은 비율이 1 근처에 머물렀고, 앙상블 폭을 구간별로 나눠 봐도 폭이 넓은 쪽까지 보정이 유지됐다. 불확실한 상황에서도 확률을 믿을 만하다는 뜻이다. 예외는 WeatherGen으로, 폭을 크게 잡을 때 약간의 과소분산이 남았다.

비교 대상이 WeatherNext2 하나만은 아니다. 구글의 확산 기반 확률 모델 WeatherGen이 같은 조건에서 21%(20~22%)를 얻었고, EMOS도 14%(13~15%)로 IFS를 앞섰다. 확률형 쪽이면 종류를 가리지 않고 앞섰다는 뜻이라, 특정 모델 하나의 운으로 설명되지 않는다. 임계값을 어디에 두든 WeatherNext2의 우위가 22~24%로 거의 일정하다는 점도 같은 방향을 가리킨다.

EMOS는 새로 만든 모델이 아니다. IFS 앙상블 자체를 통계적으로 다시 보정한 것이다. 저자들은 2018년과 2019년 IFS 앙상블 예보로 격자마다, 선행 시간마다 가우시안 EMOS를 적합한 뒤 그것을 2022년 예보에 적용했다. 실제 기상 기관은 원본 앙상블을 그대로 내보내지 않고 후처리를 거치므로, 운영 현실에 더 가까운 상대를 세워 두자는 취지였다. 그래서 14%라는 숫자는 읽는 법이 조금 다르다. 원본 IFS를 기준으로 놓았을 때 후처리만으로 14%가 올라가고, 거기서 WeatherNext2까지 10%포인트가 더 남는다.

기록을 놓친 비율에서는 이 대목이 더 또렷하다. 후처리를 거친 IFS는 39~45%에서 9~16%로 내려가, 확률형 AI 모델과 거의 같은 자리에 선다. 물리 모델이 만든 앙상블 안에 기록적 더위의 가능성이 아예 없었던 것이 아니라는 뜻이다. 격차의 상당 부분은 그 앙상블이 내놓는 확률을 다듬지 않은 채로 쟀기 때문에 생겼다.

이 분야에는 이미 반대 방향의 유력한 보고가 있다. 학술지 사이언스 어드밴시스에 실린 연구는 물리 기반 모델이 기록 경신 사건에서 AI 예보를 앞선다고 결론 냈다. 그때 도마에 오른 모델은 GraphCast와 판구 웨더, 푸시 같은 결정론 모델이었고, 상대는 유럽중기예보센터의 고해상도 단일 예보 HRES였다. AI가 훈련 데이터에서 본 적 없는 값을 외삽하지 못한다는 설명이 뒤따랐다.

Wessel 등이 문제 삼는 지점은 결론이 아니라 비교의 설계다. 평균제곱오차로 학습한 결정론 AI 모델이 내놓는 값은 예측 분포의 조건부 평균이다. 가능한 미래 수천 개의 무게중심을 찍는 일이라, 애초에 극단으로 가지 않도록 훈련된 값이다. 반면 HRES는 물리 방정식을 한 번 끝까지 적분한 결과, 그러니까 실현 가능한 시나리오 하나다. 저자들의 표현을 빌리면 이 둘을 맞대는 비교는 예보의 종류와 예보의 품질을 뒤섞는다.

평균을 찍으라고 훈련받은 쪽에 "가장 더운 날을 맞혀 보라"고 하면 당연히 못 맞힌다. 그것은 모델이 모자란 것이 아니라 과녁이 다른 것이다. 그래서 이번 연구는 과녁을 맞춰 놓고 다시 쟀다. 분포 전체를 내놓는 확률형 모델을 쓰고, 채점도 확률 예보용 지표로 바꿨다.

이번에 채점대에 오른 WeatherNext2는 구글이 2025년 11월에 공개한 모델이다. 한 번의 순전파로 64개 멤버짜리 앙상블을 통째로 만들어 내는 기능적 생성 신경망 구조를 쓴다. 확산 방식을 쓰던 직전 세대보다 추론이 여덟 배 빠르다는 것이 공개 당시 구글의 설명이었다. 하나의 값을 찍는 모델이 아니라 분포를 내놓는 모델이라는 점이 이 연구에서는 결정적이다.

채점에는 잣대만 필요한 것이 아니라 정답지도 필요하다. 어제 서울이 실제로 몇 도였는지조차 관측 자료를 어떻게 엮느냐에 따라 조금씩 달라지기 때문이다. 이 논문이 주 결과의 정답지로 쓴 것은 HRES-fc0, 그러니까 자료동화를 거친 초기 상태값이다. AI 예보 평가의 표준 관행을 따랐다는 설명과 함께, ERA5를 쓰지 않은 이유도 적어 뒀다. ERA5로 학습한 AI 모델을 ERA5로 채점하면 그 모델에 부당하게 유리해진다는 것이다.

그 걱정이 괜한 것이 아니라는 증거를 저자들은 같은 논문 안에 넣어 뒀다. 정답지를 ERA5로 바꿔서 다시 재면 운영 AI 모델의 우위가 지표마다 들쭉날쭉해진다. CRPS에서는 여전히 IFS를 앞서지만, 임계값을 높이면 그 개선이 사라진다. 반대로 ERA5로 학습한 GenCast는 ERA5 기준에서 모든 임계값에 걸쳐 IFS를 크게 앞서고, HRES-fc0 기준으로 돌아오면 밀린다. 저자들이 내리는 진단은 분명하다. AI 예보 모델은 자기가 학습한 자료의 편향을 물려받고, 어느 모델이 IFS를 이기는지는 그 학습 자료에 달려 있다.

앙상블 폭으로 봐도 같은 일이 벌어진다. 정답지를 ERA5로 놓으면 운영 AI 모델 두 개가 모두 강하게 과소분산으로 나타나, 앙상블 폭과 오차의 비율이 IFS 수준까지 내려앉는다. HRES-fc0 기준에서는 1 근처에 머물며 잘 보정됐다고 읽히던 바로 그 값이다. 모델도 예보도 그대로인데 정답지만 바꾸면 "잘 보정됐다"와 "너무 좁다"가 같은 숫자에서 갈린다.

두 정답지가 얼마나 다른지도 숫자로 나와 있다. ERA5가 기록이라고 판정한 사건 가운데 HRES-fc0에서도 기록으로 잡히는 것은 51%뿐이고, 반대로 HRES-fc0 기록 중 ERA5에서도 기록인 것은 40%다. 2022년 한 해에 ERA5는 기록 사건 62만 2,799건을, HRES-fc0은 79만 5,818건을 셌는데 겹치는 것은 31만 7,268건이다. 같은 해, 같은 지구를 놓고 "기록이 깨졌다"고 판정한 목록이 절반쯤만 겹친다는 뜻이다. HRES-fc0 쪽이 기록을 더 많이 잡는 곳은 산악 지대와 해안선이다.

그래서 논문은 정답지를 셋 놓고 같은 질문을 세 번 던진다. HRES-fc0, ERA5, 그리고 어느 모델도 거치지 않은 지상 관측소 실측이다. 셋이 내놓는 답은 이렇게 갈린다.

세 정답지 가운데 가장 무거운 것은 세 번째다. HadISD 지상 관측소 5,778곳의 실측은 재분석 모델을 한 번도 거치지 않은 자료라, 어느 쪽 학습 데이터에도 유리할 이유가 없다. 거기서도 운영 AI 모델이 극값에서 IFS를 앞섰다는 사실이 이번 결론을 떠받친다. 초록이 관측소 자료가 이 결과를 확인한다고 한 줄로 적은 대목이 실은 이 논문에서 가장 단단한 근거다.

그 답은 저자들이 먼저 적어 뒀다. 검증을 다룬 논문답게, 자기 결론이 닿지 않는 자리를 스스로 촘촘히 그어 놓았다.

• • 지역 영향 평가는 아니다 — 0.25도 격자 위에서 분석 자료와 맞댄 전 지구 결과다. 폭염의 피해는 대개 훨씬 좁은 범위에서 갈린다
• • EMOS는 대리 기준선일 뿐이다 — 실제 기상청의 후처리 과정은 훨씬 복잡하고 예보관의 판단이 섞인다
• • IFS는 2022년 설정으로 평가했다 — 그 뒤 운영 시스템은 계속 갱신됐다. 다른 물리 모델·AI 모델 조합으로 같은 결과가 나올지는 이 논문이 답하지 않는다
• • 한 해, 한 변수다 — 2022년 운영 예보와 지상 2m 기온 하나. 격자점 하나하나의 결과는 그해에 실제로 일어난 사건에 크게 좌우된다
• • 기록 바깥은 여전히 열린 질문이다 — 열대 저기압이나 극단적 강수처럼 더 드문 고위험 사건은 표본이 적어 통계적 평가 자체가 흔들린다. AI 예보 모델이 과거 기록을 넘어서는 사건까지 예보할 수 있는지는 미해결로 남겨 뒀다

마지막 항목은 따로 읽을 만하다. 2절에서 본 "AI는 훈련 데이터 밖을 외삽하지 못한다"는 반론이 이번 논문으로 닫힌 것은 아니라는 뜻이기 때문이다. 이 연구가 보인 것은 과거 기후값이 정해 둔 기록선을 넘는 사건에서 확률형 AI 모델이 IFS보다 잘 맞혔다는 사실이다. 관측 기록이 아예 닿은 적 없는 영역에서 사건이 일어날 때도 그러할지는 저자들 스스로 답하지 않았다.

논문이 그 좁은 범위 안에서 무엇을 봤는지는 사례 하나에 또렷하게 남아 있다. 2022년 7월 19일 정오를 기준으로 런던과 파리, 브뤼셀의 예보를 펼쳐 놓은 대목이다.

런던에서는 108시간 전까지만 해도 모든 모델의 예보가 서로 비슷했다. 갈리기 시작한 것은 사건이 가까워지면서다. 선행 시간이 짧아질수록 IFS 앙상블은 관측값 아래쪽으로 모여들어, 36시간 전에도 12시간 전에도 멤버 전원이 실제 기온보다 낮았다. 같은 시점에 AI 모델들, 특히 WeatherGen은 실제 값 근처에 상당한 확률을 남겨 두고 있었다. 파리에서는 모든 모델이 사건 자체는 잡아냈지만 AI 모델 쪽이 더 이른 시점에 실제 값으로 수렴했고, WeatherNext2의 분포는 짧은 선행 시간에서 눈에 띄게 뾰족했다. 브뤼셀에서는 AI 모델이 처음엔 높게 잡았다가 바로잡은 반면 IFS와 EMOS는 제시된 모든 선행 시간에서 낮게 잡았다.

우리가 이 논문에서 가져가는 것은 날씨가 아니다. 성능이 나쁜 것인가, 측정이 나쁜 것인가. 이 질문을 이렇게 깔끔하게 보여 주는 사례가 흔치 않다.

몇 년 동안 "AI 예보는 극값에 약하다"는 명제가 돌아다녔다. 근거가 없던 것도 아니다. 실험은 재현됐고, 수치는 맞았고, 설명도 그럴듯했다. 훈련 데이터 밖의 값을 외삽하지 못한다는 이야기는 머신러닝 하는 사람이라면 누구나 고개를 끄덕일 만하다. 그런데 그 명제가 무너지는 데 필요한 것은 더 좋은 모델이 아니라 다른 채점표였다.

데이터 품질 쪽에서 일하다 보면 같은 구도를 자주 만난다. 어떤 모델이 현장에서 성적이 나쁘다는 보고가 올라오면 모델부터 손보려는 충동이 먼저 생긴다. 라벨 기준이 과제와 어긋나 있었다거나, 평가 집합이 실제 분포와 다르다거나, 지표가 재고 싶은 것과 다른 것을 재고 있었다는 사실은 한참 뒤에야 드러난다. 그사이 쓴 돈과 시간은 돌아오지 않는다.

AI 성능 논쟁을 읽을 때 먼저 물을 것은 세 가지다.

• • 두 모델이 같은 것을 겨냥하고 있나 — 평균을 내놓는 모델과 하나의 시나리오를 내놓는 모델을 한 줄에 세우면, 나온 숫자가 무엇을 뜻하는지 알 수 없다
• • 정답지는 어디서 왔나 — 채점에 쓰는 자료가 한쪽 모델의 학습 자료와 겹치면 그 모델이 유리해진다. 이 논문에서 정답지를 바꾸자 순위가 흔들린 것이 그 실물이다
• • 가장 독립적인 자료로도 확인했나 — 이 연구에서 그 자리를 맡은 것이 관측소 5,778곳의 실측이다. 중간 가공을 거치지 않은 자료가 있는지부터 찾는 편이 빠르다

덧붙일 것이 하나 있다. 이 논문의 결론도 결국 하나의 채점 설계 위에 서 있다. 저자들이 한계를 앞세운 이유가 거기에 있을 것이다. 다음에 누군가 다른 해, 다른 변수, 다른 정답지로 같은 질문을 던지면 또 다른 답이 나올 수 있다. 그렇다고 이번 결과가 덜 중요해지지는 않는다. 채점 방식 하나가 결론을 통째로 뒤집을 수 있다는 사실 자체가 이 논문이 남기는 교훈이다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2610.20519에서 볼 수 있고, 이 글의 수치와 인용은 그 논문 본문에서 직접 확인했다. 사내 모델 평가에서 지표나 정답지를 바꿨더니 결론이 달라진 경험이 있으시다면, 무엇을 어떻게 바꿨는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 18일

학술 논문

• 1.Wessel, J. B., Spuler, F., Ferro, C. A. T., Kretschmer, M., & Sippel, S. (2026). "Probabilistic AI models outperform numerical weather prediction models on record breaking heat extremes." arXiv:2610.20519.
• 2.Zhang, Z., Fischer, E., Zscheischler, J., & Engelke, S. (2026). "Physics-based models outperform AI weather forecasts of record-breaking extremes." Science Advances, 12(18).

업계·공식 문서

• 3.Li, A. (2025). "WeatherNext 2 is Google's most accurate forecasting model, now used by Pixel Weather & Search." 9to5Google.
• 4.Google DeepMind and Google Research. "WeatherNext 2." Google for Developers.