Executive Summary

지난 몇 해 동안 AI 기후·기상 모델은 놀라운 속도로 쏟아졌다. 구글 딥마인드의 GraphCast, 엔비디아의 FourCastNet, 구글 리서치의 NeuralGCM, ECMWF의 AIFS까지, 저마다 "물리 모델을 이겼다"는 성적표를 들고 나왔다. 그런데 이 성적표들은 서로 다른 데이터, 서로 다른 평가 구간, 서로 다른 지표 위에서 매겨졌다. 각자의 리그에서 우승한 선수들만 있고, 이들을 한 트랙에 세워 나란히 뛰게 한 적은 없었다.

2026년 5월, Allen Institute for AI(Ai2)가 그 트랙을 처음 깔았다. AIMIP(AI weather and climate Model Intercomparison Project) Phase 1은 여섯 연구그룹이 제출한 여덟 개의 AI 시뮬레이션을 NOAA의 물리 기반 결합모델 GFDL-CM4라는 단일 기준선 위에 올려, 같은 데이터·같은 프로토콜·같은 잣대로 비교했다. AI 기후모델을 서로 나란히 세운 최초의 다자간 상호비교(intercomparison)다.

여기서 "상호비교"라는 단어가 중요하다. 이것은 개별 모델이 왜 틀리는지를 파고드는 작업이 아니라, 애초에 이 모델들을 공정하게 나란히 놓을 수 있는가를 묻는 작업이다. 기존 벤치마크의 층위와 선명하게 갈리는 지점이기도 하다. 아래 표는 AIMIP이 선행 인프라와 어떻게 다른지를 정리한 것이다.

벤치마크의 성숙도 자체가 이 이야기의 훅이다. AIMIP의 코드 저장소는 논문과 동시에 공개된 신생 인프라로, GitHub 스타가 수십 개 수준이다. 3년 넘게 운영된 WeatherBench2는 600개대, 개별 모델 저장소인 GraphCast는 수천 개대에 이른다. 이 격차는 AIMIP이 열등해서가 아니라, "여러 AI 기후모델을 나란히 세운다"는 문제가 단기 예보보다 훨씬 늦게, 이제야 시작됐기 때문이다. 다시 말해 우리는 지금까지 AI 기후모델을 공정하게 비교할 공통 잣대 자체가 없었다.

벤치마크의 신뢰는 화려한 결과가 아니라 설계에서 나온다. AIMIP이 세운 잣대의 뼈대는 세 가지다. 무엇을 비교했는가(참가 모델), 어떻게 나눴는가(학습·검증 구간), 무엇을 쟀는가(다섯 평가축).

2.1 무엇을 비교했나 — 여덟 모델과 하나의 기준선

참가한 것은 여섯 연구그룹의 여덟 개 시뮬레이션이다. 아키텍처도 해상도도 제각각이다. 여기에 NOAA GFDL의 물리 기반 결합모델 GFDL-CM4가 기준선으로 함께 올랐다. AI가 물리를 "이겼다"고 말하려면 같은 조건에서 그 물리 모델과 겨뤄야 하기 때문이다.

모델별 파라미터 수는 논문에 공개되지 않았다. "6개 연구그룹"은 모델을 제출한 그룹 기준이며, 논문의 공저 기관을 전부 세면 그보다 많다.

2.2 어떻게 나눴나 — 배운 시간과 배우지 않은 시간

설계의 핵심은 시간을 자른 방식에 있다. 모든 모델은 위성 관측 시대에 해당하는 1979–2014년 재분석 데이터로 학습하고, 그 뒤 2015–2024년으로 검증했다. 검증 구간은 모델이 학습 때 한 번도 보지 못한 held-out 구간이다. 미래를 흉내 낸 진짜 미래인 셈이다. 데이터는 NetCDF·CF 표준을 따르고 CC-BY 4.0으로 공개돼, 누구든 같은 조건에서 다시 채점할 수 있다. 재현 가능성이 곧 벤치마크의 자격이다.

한 가지 비대칭은 각주로 남길 만하다. DLESyM만 다른 모델들과 달리 1983–2016년으로, 변수도 하위집합만 학습했다. 공정한 비교를 위해서라면 이런 차이 자체가 기록되고 드러나야 한다. 그것이 이 보고서의 메타 논점이기도 하다.

2.3 무엇을 쟀나 — 다섯 개의 평가축

AIMIP은 성능을 하나의 점수로 뭉뚱그리지 않고 다섯 축으로 갈라 봤다. 평균만 보면 사라지는 꼬리를 잡아내기 위해서다. 이 다섯 축은 뒤에 나올 이야기의 지도이자, 기업이 어떤 AI 모델을 검수할 때도 그대로 쓸 수 있는 체크리스트다.

잣대를 세우자 첫 번째 결과가 선명하게 나왔다. 편향(E1) 축에서, 그러니까 학습 구간의 평균 기후를 재현하는 능력에서 최상위 AI 모델은 물리 모델을 이겼다. 그것도 근소하게가 아니다.

평균 기후만 잘한 게 아니다. 엘니뇨·라니냐를 다루는 ENSO 반응(E3)에서도 대부분의 AI 모델은 GFDL-CM4보다 오히려 소폭 더 작은 오차를 냈다. 대규모 기후 변동이라는 어려운 문제에서조차 AI가 평균적으로 물리 모델을 살짝 앞선 것이다. 여기까지만 보면 이야기는 "AI가 기후를 정복했다"로 끝날 것 같다.

그러나 평균이라는 지표에는 함정이 있다. 평균을 잘 맞힌다는 것은 "대개 그런 상태"를 잘 그린다는 뜻이지, "변해 가는 방향"이나 "드물지만 결정적인 값"을 잘 잡는다는 뜻이 아니다. 실제로 같은 데이터에서 이미 균열의 씨앗이 보였다. 강수 편향은 모델마다 부호와 위치가 크게 갈렸고, 특히 물리 모델조차 어려워하는 적도 부근에서 변동이 컸다. 그리고 날마다의 기온 변동성(E4)에서는 거의 모든 AI 모델이 관측(ERA5)보다 변동 폭을 과소평가하는 경향을 보였다. 다섯 축 가운데 이 대목만 논문이 실제 % 수치를 남겼는데, ERA5 변동성 이상치 크기의 약 2~10% 수준이다. 세상을 실제보다 조금 더 잔잔하게 그리는 버릇 — 이 버릇이 다음 장에서 훨씬 큰 문제로 자란다.

검증 구간(2015–2024)으로 넘어가자 그림이 달라졌다. 추세(E2) 축에서 여덟 모델은 두 갈래로 갈렸다. 어떤 모델은 지난 10년의 승온을 거의 그대로 따라갔고, 어떤 모델은 유의하게 과소평가했다. 학습 구간에서 나란히 잘하던 모델들이, 배우지 않은 미래 앞에서 처음으로 서로 다른 얼굴을 드러낸 것이다. 아래 도식은 그 갈림을 개념적으로 보여준다.

여기서 두 가지를 분명히 짚어야 한다. 첫째, 이것은 "AI 전반의 실패"가 아니다. 추세를 잘 따라간 모델(NeuralGCM, ArchesWeather 계열, DLESyM)의 추세-패턴 오차는 GFDL-CM4와 비슷한 수준이었다. 최상위 AI는 추세에서도 물리 모델과 대등했다는 뜻이다. 문제는 여덟 중 일부, 약 절반에 국한된다. 둘째, 이 실패는 미학습 구간에서 갑자기 튀어나온 게 아니다. 다수 모델은 학습 구간(1979–2014)에서부터 이미 추세를 조금씩 과소평가하고 있었고, 검증 구간에서 그 틈이 벌어졌을 뿐이다. 앞 장에서 본 "세상을 조금 더 잔잔하게 그리는 버릇"이 시간이 갈수록 누적된 것이다.

4.1 물리적으로 불가능한 시나리오를 던지다

추세를 놓친 모델이 정말로 물리를 이해했는지 확인하려면, 학습 데이터에 없는 극단을 던져 봐야 한다. AIMIP은 해수면 온도를 순간적으로 +2°C, +4°C 끌어올리는 물리적으로 불가능한 충격 테스트(E5)를 실시했다. 자연에는 없는 자극이므로, 모델이 배운 통계가 아니라 배운 물리로 반응하는지가 여기서 드러난다.

확인된 모델들의 반응은 두 갈래였다. NeuralGCM-HRD와 DLESyM은 물리적으로 기대되는 일반화된 승온 패턴을 보였다. 반면 ACE2.1-ERA5, cBottle-1.3, MD-1.5 v0.9는 바다가 뜨거워지는 강제 앞에서 육지를 냉각시키는, 방향 자체가 물리 법칙과 모순되는 반응을 냈다. 단순히 값이 틀린 게 아니라 부호가 틀린 것이다. 앞서 추세를 과소평가한 세 모델과 여기서 물리를 어긴 세 모델이 그대로 겹친다는 점도 우연이 아니다.

충격 테스트의 방향 판정은 논문이 명시적으로 서술한 다섯 모델에 한정된다. 여덟 모델 전부에 대한 판정으로 일반화하지 않는다.

4.2 하필 가장 더운 10년

검증 구간이 2015–2024라는 사실이 이 이야기의 클라이맥스다. 이 10년은 관측 사상 가장 더웠던 10년이다. 역대 최고기온 상위 10개 연도가 전부 이 구간에 들어간다. ERA5 기준 지구 승온률은 1979–2025년에 걸쳐 10년당 약 0.21°C인데, 관측 창을 최근으로 좁힐수록 이 값은 더 가팔라진다. 다시 말해 2015–2024는 추세 자체가 위로 휘어지는 변곡 구간이었다.

그렇다면 이 모델들은 왜 이렇게 빠르게 쏟아졌을까. 답은 속도와 비용이다. 이 대목에서 AI 기후·기상 모델은 물리 모델과 비교가 안 될 만큼 매력적이다. 아래 수치는 그 유혹의 크기를 보여준다.

1분 대 수 시간, 에너지 1,000배 절감. 이 숫자 앞에서 "AI로 갈아타지 않을 이유"를 찾기는 어렵다. 그리고 실제로 단기 날씨 예보 영역에서는 그렇게 하는 것이 옳다. 태풍 경로처럼 며칠 단위의 예보에서 AI 모델은 이미 물리 모델과 겨루거나 앞선다.

문제는 "빠르고 싸다"가 "믿을 수 있다"를 자동으로 보장하지 않는다는 데 있다. AIMIP이 드러낸 것이 바로 이 공백이다. 평균과 단기 예보라는 몸통에서는 AI가 강하지만, 장기 추세·극단·미지의 강제라는 꼬리에서는 절반이 흔들린다. 이 한계는 개발자들 스스로도 알고 있다. NeuralGCM 논문은 수십 년 규모 기후 예측에서 전통 GCM 대비 연산을 여러 자릿수 아낀다고 자랑하면서도, 같은 문서에서 "미래 기후 급변 시나리오로의 외삽은 안 된다"고 못 박는다. AIMIP의 미학습 실패와 같은 결의 한계를, 모델 자신이 인정하고 있는 것이다.

우리는 앞서 AI 기후모델이 왜 틀리는지를 다룬 적이 있다. AI 기후모델의 콜드 바이어스를 다룬 글에서, 개별 모델이 특정 지역·계절을 실제보다 차갑게 그리는 메커니즘을 파고들었다. 그것은 "이 모델은 어디서 틀리는가"라는 질문이었다.

AIMIP이 던지는 질문은 한 층 위에 있다. "이 모델이 어디서 틀리는가"가 아니라, "여러 모델의 틀림을 공정하게 비교할 수 있는가". 앞의 글이 메커니즘 편이라면, 이 글은 방법론 편이다. 개별 모델의 오차를 아무리 정밀하게 진단해도, 그 진단들을 같은 잣대 위에 올리지 못하면 "어느 모델이 더 나은가"라는 실무의 질문에는 답할 수 없다. AIMIP의 기여는 새로운 모델을 만든 것이 아니라, 흩어진 모델들을 처음으로 같은 저울에 올린 것이다.

그리고 저울에 올리는 순간, 평균이라는 표면 아래 숨어 있던 꼬리가 드러났다. 추세를 놓친 절반의 모델, 물리를 어긴 충격 반응, 날마다의 변동을 잔잔하게 눌러 버리는 버릇. 이 모든 것은 개별 성적표만 봐서는 보이지 않고, 공통 프로토콜로 나란히 세웠을 때 비로소 보인다. 벤치마크가 어리다는 사실(스타 수십 개의 신생 저장소)조차 이야기의 일부다. 우리는 이제 막, AI 기후모델을 공정하게 비교하는 법을 배우기 시작했다.

페블러스가 이 연구를 눈여겨보는 이유는 기후 그 자체가 아니다. AIMIP이 기후 도메인에서 마주친 문제가, 우리가 산업 데이터·모델 도메인에서 매일 마주치는 문제와 정확히 같은 구조이기 때문이다.

한 단계 위의 데이터 품질

지금까지 데이터 품질을 이야기할 때 우리는 주로 입력 데이터의 신선도·분포·도메인 기준을 다뤘다. AIMIP은 그 위층을 가리킨다. 바로 평가 데이터와 평가 프로토콜의 품질이다. 학습 구간과 검증 구간을 어떻게 나누는가, held-out을 어떻게 설계하는가, 어떤 강제로 분포 밖을 찌르는가. 이 설계가 부실하면 "평균 오차 절반"이라는 화려한 지표가 추세 붕괴를 가려 버린다. 학습 데이터의 분포가 모델 내부 표현을 결정하고(추세를 학습 구간부터 이미 과소평가했다), 그 한계가 미학습 구간에서 증폭되는 이 인과야말로 진단의 대상이다.

벤더의 성적표를 읽는 법

기업이 AI 모델을 도입할 때 — 그것이 기후든, 수요예측이든, 공정 시뮬레이션이든 — 벤더가 제시하는 "평균 정확도 X% 개선"을 그대로 믿어서는 안 된다는 실행 가능한 교훈이 여기서 나온다. AIMIP의 다섯 평가축은 그대로 검수 체크리스트가 된다. 반드시 물어야 할 세 가지는 이렇다.

• 1검증 구간이 진짜 미래(held-out)인가, 아니면 학습에 쓴 데이터를 살짝 바꿔 재활용한 것인가.
• 2분포 밖 스트레스 테스트를 통과했는가. 평소 데이터에만 강한 모델은 극단에서 부호가 뒤집힌다.
• 3평균이 아니라 꼬리(추세·극단값)에서의 성능은 어떤가. 우리가 궁금한 건 대개 몸통이 아니라 꼬리다.

비교 가능한 상태를 먼저 만든다

AIMIP이 기후 도메인에서 한 일 — 흩어진 모델들을 공통 잣대로 진단 가능하게 만든 것 — 은 페블러스가 산업 데이터·모델 도메인에서 하려는 일과 결이 같다. 성능을 논하기 전에 비교 가능한 상태를 먼저 만드는 것. 물리 세계를 학습한 모델이 학습 분포 밖에서 물리 법칙과 모순되는 반응을 낸다는 AIMIP의 관찰은, 실세계 일반화를 검증하는 설계가 왜 중요한지를 Physical AI의 언어로 그대로 보여준다. 표준을 세우는 일은 화려하지 않지만, 그것 없이는 그 뒤의 모든 성능 주장이 검증 불가능한 채로 남는다.

AIMIP은 이제 막 시작한 인프라다. 여덟 모델을 한 번 세워 봤을 뿐이고, 다음 Phase가 무엇을 더 드러낼지는 아직 모른다. 그러나 잣대를 세우는 것과 세우지 않는 것 사이의 차이는 이미 분명하다. 잣대를 세우자, 평균이라는 표면 아래 있던 이야기가 처음으로 눈에 보였다. 그것만으로도 이 벤치마크는 제 몫을 했다.

학술 논문

• 1.Henn, B. et al. (2026). AIMIP Phase 1: Systematic Evaluations of AI Weather and Climate Models. arXiv:2605.06944. (여덟 AI 모델·GFDL-CM4 기준선·다섯 평가축 — 주 논문)

벤치마크·모델·업계

• 2.Allen Institute for AI (2026). Introducing AIMIP: The AI Weather and Climate Model Intercomparison Project. (평균 기후 오차 factor of 2 우위 인용 출처)
• 3.ai2cm/AIMIP GitHub repository (2026). 프로토콜·SUBMISSIONS.md·NetCDF/CF 스펙·CC-BY 4.0. (학습 1979–2014 / 검증 2015–2024 구간 구분)
• 4.ECMWF (2025–2026). ECMWF's AI Forecasts Become Operational (2025-02) 및 AIFS v2 발표(2026-05). (물리모델 대비 최대 20% 개선·에너지 약 1,000배 절감)
• 5.google-research/weatherbench2 GitHub repository. (선행 단기 예보 벤치마크 대조)
• 6.google-deepmind/graphcast GitHub repository. (개별 모델 생태계 규모 대조; 10일 예보 1분 이내)
• 7.duncanwp/ClimateBench GitHub repository. (단일 물리모델 에뮬레이션 — AIMIP 상호비교와의 층위 대조)

관측·기후 지표

• 8.Copernicus Climate Change Service. Climate Indicators — Temperature 및 Global Climate Highlights 2024. (ERA5 승온률 약 0.21°C/10년, 1979–2025)
• 9.NOAA National Centers for Environmental Information (2025). 2024 Annual Climate Report. (승온률 0.20°C/10년, 2024 +1.35°C; 역대 최고기온 10년 = 2015–2024)
• 10.NASA GISS (2025). 2024 Temperature Analysis. (산업화 이전 대비 +1.47°C)