Executive Summary

인공지능이 기후 사실을 사용자의 반박 앞에서 쉽게 접는다는 조사 결과가 나왔다. 유네스코와 유니버시티칼리지런던(UCL)의 유네스코 인공지능 석좌가 2026년 11월 16일 튀르키예 안탈리아에서 열린 COP31에 맞춰 낸 보고서 『Can We Trust AI on Climate?』다. 교과서에 나오는 기후 사실은 거의 다 맞히던 모델들이 사용자가 몇 번 반박하자 정확도를 크게 잃었다는 것이 여러 매체가 옮긴 머리기사다.

그런데 이 보고서가 내놓은 발견 셋은 시험 대상이 서로 다르다. 전체 조사 대상은 33개 모델이고, 사용자 반박 시험을 받은 것은 그중 15개, 언어별 정확도를 잰 것은 5개다. 수치 하나를 옮길 때마다 그 값이 어느 집합에서 나왔는지가 함께 가야 뜻이 선다.

여기에 하나가 더 붙는다. 656개 기후정책 문항의 정답은 2100년의 실측이 아니라 En-ROADS 라는 또 다른 시뮬레이터의 예측이다. 그래서 "AI가 틀렸다"는 엄밀히 "AI가 En-ROADS 와 다르게 답했다"이다. 이 글은 그 경계가 보도에서 어디까지 지켜졌는지를 기사 17건으로 세어 보이고, 점수를 그대로 인용하기 전에 열어야 할 것 네 가지로 맺는다.

33.8% / 33.3%

정책 두 가지를 합친 효과(평균)와 3지선다의 우연 수준

세 개 보기 중 하나를 아무렇게나 찍어도 33.3%가 나오는 문항이다. 측정값은 그보다 0.5%p 높다

31~35%p

사용자가 반박한 뒤의 정확도 하락

반박 시험을 받은 15개 모델에서 나온 하락폭이다. 물러선 사례의 약 80%는 첫 반박에서 일어났다

88.6% / 78.3%

영어와 스와힐리어의 정확도

언어 시험에 답한 5개 모델의 평균이다. 개별 모델의 격차는 3%p 미만부터 16%p 이상까지 벌어진다

17건 중 7건

언어 시험의 표본을 지운 기사

이 글이 2026년 11월 16~17일 기사를 전수로 센 결과다. 그중 여섯은 유엔 뉴스룸 한 문장을 받아 쓴 것이다

1

반박 시험을 받은 모델은 조사 대상의 절반도 안 된다

『Can We Trust AI on Climate?』가 조사한 대형 언어모델은 33개다. 그런데 이 보고서의 머리기사가 된 "사용자가 반박하면 물러선다"는 결과는 그 33개 전부에서 나온 값이 아니라 15개 모델에서 나온 값이다. 언어별 정확도를 잰 집합은 다시 그보다 작아서 5개다. 세 수치가 한 보도자료 안에 나란히 놓여 있으니 한 덩어리로 읽기 쉽지만, 그 셋은 서로 다른 대상을 두고 잰 값이다.

보고서를 낸 곳은 유네스코와, 유니버시티칼리지런던(UCL)에 설치된 유네스코 인공지능 석좌다. 발표일은 2026년 11월 16일이고 자리는 튀르키예 안탈리아에서 열린 COP31이었다. 유네스코가 2024년 11월 유엔·브라질과 함께 출범시킨 기후변화 정보 무결성 글로벌 이니셔티브(GIIICC)에 내놓는 기여분으로 위촉된 작업이다. 이것은 동료 심사를 거친 논문이 아니라 국제기구가 발간한 보고서이고, 같은 내용의 arXiv 프리프린트도 확인되지 않는다.

같은 날 같은 회의장에서 다른 문서 하나가 더 나왔다. COP31 의장국과 국제전기통신연합(ITU)이 인공지능을 기후 해법으로 삼자는 안탈리아 인공지능 서약을 출범시켰는데, 발표 시점 기준 공식 지지 국가는 9개국이고 미국·중국·유럽연합은 그 안에 없다. 한국은 서명했다. 한쪽에서 인공지능을 기후 대응의 도구로 선언하는 동안, 다른 쪽에서는 그 인공지능이 기후 사실을 얼마나 쉽게 접는지를 보고한 셈이다.

1.1세 집합이 각각 무엇을 맡았나

시험은 세 갈래로 갈린다. 가장 넓은 집합은 33개 모델이고, 여기서 기후 사실을 얼마나 아는지와 증거를 얼마나 잘 판단하는지를 쟀다. 두 번째 집합인 15개 모델은 사용자가 틀린 주장을 들이밀 때 어떻게 반응하는지를 맡았다. 가장 좁은 집합인 5개 모델은 13개 언어로 같은 질문을 받았다. 아래 표가 이 글의 척추다. 뒤에 나오는 모든 수치는 이 표의 어느 행에 속하는지가 정해져 있다.

집합 모델 수 무엇을 쟀나 여기서 나온 수치
전체 조사 대상33기후 사실 회상, 증거 판단, 정책 효과 판단교과서 사실 88~96%, 증거 판단 71~77%(둘 다 가장 잘하는 시스템 기준), 정책 조합 평균 33.8%(정책 문항의 표본은 따로 밝혀지지 않았다)
사용자 반박 시험15반박 뒤의 정확도 변화, 물러서는 시점, 페르소나별 차이31~35%p 하락, 물러선 사례의 약 80%가 첫 반박에서, 자칭 기후과학자 조건 최대 12.9%p
언어 시험513개 언어로 물었을 때의 정확도영어 88.6%, 벵골어·힌디어 83.6%, 우르두어 81.4%, 스와힐리어 78.3%

표의 셋째 행을 주황으로 표시해 둔 이유는 5절에서 드러난다. 보도가 실제로 지운 경계가 저 자리다. 그리고 세 집합이 서로 어떻게 포개지는지는 공개되지 않았다. 15개가 33개의 부분집합인지, 5개가 다시 15개 안에 들어 있는지를 알려 주는 문장은 보도자료에도 어느 기사에도 없다. 아래 도식에서 세 상자를 겹쳐 그리지 않은 것은 그래서다.

하나의 보고서, 서로 다른 세 시험 집합 33 개 모델 전체 조사 대상 15 개 모델 사용자 반박 시험 5 개 모델 13개 언어 시험 교과서 사실 88~96% 증거 판단 71~77% 정책 조합 평균 33.8% 반박 뒤 31~35%p 하락 물러선 사례의 약 80%가 첫 반박에서 영어 88.6% 스와힐리어 78.3% 평균 격차 10.3%p 세 집합의 포함 관계는 공개되지 않아 겹쳐 그리지 않았다. 정책 문항의 표본은 따로 밝혀지지 않았다.

세 시험 집합과 각 집합에서 나온 수치. 출처는 UCL 보도자료(EurekAlert 사본, 2026년 11월 16일)와 이를 옮긴 매체들이다. 주황으로 표시한 언어 시험 집합이 보도에서 가장 자주 지워진 자리다.

1.2무엇으로 물었나

문항은 9개의 기후·환경 데이터셋에서 나왔고, 그중 2개는 이번 연구를 위해 새로 만들었다. 나머지 7개가 어떤 데이터셋인지, 어느 데이터셋이 어느 점수를 만들었는지는 공개된 2차 자료 어디에도 적혀 있지 않다. 지어내지 않고 확인되지 않았다고 적는다. 정책 영역에는 656개 문항이 따로 있고, 이 문항들의 정답은 En-ROADS 라는 기후·에너지 시뮬레이터가 내놓은 예측이다. 2절이 다룰 자리가 여기다.

이 글이 무엇을 보고 썼는지 먼저 밝힌다. 보고서 원문 PDF(unesdoc ark:/48223/pf0000400048)는 접근이 막혀 열지 못했다. 유네스코 자체 기사 페이지도 마찬가지다. 그래서 이 글의 모든 수치는 UCL 공식 보도자료와 그 사본, 그리고 이를 다룬 기사에서 나왔다. 본문에서 "보고서 본문에 따르면"이라고 쓰지 않고 "유네스코와 UCL이 밝힌 바에 따르면"이라고 쓰는 이유다. 원문으로만 확인할 수 있는 항목은 7절 끝에 목록으로 적어 두었다.

2

교과서는 맞히고 두 정책을 합치면 우연 수준이다

기후 사실을 묻는 문항에서 가장 잘하는 시스템은 88~96%를 맞혔다. 증거가 어떤 주장을 지지하는지 반박하는지 가리는 문항으로 넘어가면 71~77%로 내려간다. 정책 하나가 2100년 온난화에 어떤 영향을 주는지 묻는 문항에서는 정확도가 최대 94.5%에 이르렀다. 정책 두 가지를 함께 시행했을 때의 효과를 묻는 문항에서는 평균이 33.8%다. 기후를 설명하는 일과 기후정책의 효과를 합산하는 일 사이에 이만한 거리가 있다.

네 수치를 한 줄에 세우기 전에 단위부터 갈라야 한다. 88~96%와 71~77%는 범위이고, 94.5%는 최대값이며, 33.8%는 평균이다. 단일 정책 과제의 평균값은 공개된 자료 어디에도 없다. 그래서 "94.5%에서 33.8%로 떨어졌다"는 문장은 이 글에 쓰지 않는다. 최대와 평균을 화살표로 이으면 분모가 다른 두 수가 한 선에 놓이고, 그 선은 실제보다 가파르다. 그래서 아래 도식은 범위와 최대와 평균을 서로 다른 모양으로 그렸다.

같은 눈금 위의 네 수치, 그러나 단위가 셋이다 우연 수준 33.3% 교과서 사실 88~96 범위 증거 판단 71~77 범위 단일 정책 94.5 최대 정책 조합 33.8 평균 0 50 100 정확도(%) 범위 최대 평균

과제별 정확도. 교과서 사실과 증거 판단은 가장 잘하는 시스템 기준의 범위, 단일 정책은 최대값, 정책 조합은 평균이다. 단일 정책 과제의 평균값과 정책 조합 과제의 최대값은 공개되지 않아 그리지 못했다. 출처는 UCL 보도자료와 이를 옮긴 매체들이다.

33.8%라는 값이 충격적으로 읽히는 까닭은 바로 옆에 33.3%가 붙어 있기 때문이다. 정책 조합 문항은 두 정책을 함께 쓴 효과가 각각의 효과를 더한 것보다 "더 크다·더 작다·같다" 중 하나를 고르는 3지선다다. 아무 생각 없이 찍어도 세 번에 한 번, 곧 33.3%는 맞는다. 측정값은 그보다 0.5%p 높다. 다만 공개된 자료 어디에도 이 차이에 대한 통계 검정은 나오지 않는다. 그러니 "통계적으로 유의하지 않다"까지는 이 자료로 말할 수 없다. 우연 수준보다 0.5%p 높다는 것은 검정 결과가 아니라 산술이다.

반대 방향의 과장도 같은 자리에서 생긴다. 우연 수준에 붙은 점수를 "이 모델은 기후를 전혀 모른다"로 옮기면 틀린다. 선택지를 기존에 본 적 있는 개념과 떼어 놓기만 해도 표준 시험의 성적이 우연 수준까지 내려간다는 보고가 이미 있다(arXiv:2502.12896). 점수가 바닥이라는 사실은 모델이 그 주제를 모른다는 뜻이 아니라, 그 과제에서 쓸 만한 신호를 내지 못했다는 뜻이다. 두 정책의 상호작용을 판단하는 일은 단계가 겹치는 과제다. 논리 지식은 갖췄으나 단계를 겹쳐 쌓으면 연쇄가 퇴화한다는 보고(arXiv:2605.07268)가 신뢰 가능한 깊이를 대략 다섯에서 여덟 단계로 잡는데, 정책 조합 판단은 그 경계에 걸린다.

2.1정답지를 만든 쪽은 또 하나의 시뮬레이터다

656개 정책 문항의 정답은 누가 정했을까. 2100년의 기온은 아무도 관측하지 못했으니 사람이 채점표를 들고 있을 수는 없다. 연구진은 En-ROADS 를 썼다. 클라이밋 인터랙티브와 MIT 슬론 계열이 만든 기후·에너지 시뮬레이터이고, 정책 조합을 바꿔 가며 2100년 기온 경로를 즉석에서 계산해 보여 주는 도구다. 정책 교육과 워크숍에서 널리 쓰인다. 그 도구의 출력이 이 시험의 정답지가 됐다.

합리적인 선택이다. 다만 정답지에도 계보가 있고, 그 계보는 점수와 함께 전달되지 않는다. 아래 표는 En-ROADS 가 스스로 공개한 내용만 모은 것이다. 일곱 줄은 두 방향을 함께 가리킨다. 아직 동료 심사를 받지 않았고 모델 파일도 공개하지 않는다는 쪽이 하나이고, 1990년 이후의 실측으로 보정하며 동료 심사를 거친 C-ROADS 의 계보를 잇고 구조와 방정식과 가정을 문서로 공개한다는 쪽이 다른 하나다. 표를 읽을 때 두 쪽을 같이 본다.

항목 공개된 내용
만든 곳클라이밋 인터랙티브, 벤타나 시스템스, 매사추세츠대 로웰 기후변화 이니셔티브, MIT 슬론
형식Vensim 기반 시스템 다이내믹스 모델. 웹에서는 WebAssembly 로 변환해 실행한다
동료 심사아직 받지 않았다. 제작사 지원 문서는 "현재 동료 심사에 제출할 논문을 쓰는 중"이라고 답한다
계보동료 심사를 거친 C-ROADS 를 바탕으로 하고, En-ROADS 를 활용한 연구는 동료 심사 문헌에 있다
보정1990년부터 현재까지의 실측과 대조하고, CMIP6 계열 통합평가모델과 벤치마크한다
공개성구조·방정식·가정·데이터 출처는 기술 참조 문서로 공개한다. Vensim 모델 파일은 비공개다
스스로 밝힌 한계전 지구를 하나로 묶은 모델이라 결과가 "집계로 인한 상당한 불확실성"을 갖는 전 지구 평균이다

마지막 줄이 채점과 가장 가까운 자리다. En-ROADS 는 전 지구를 하나로 묶어 푸는 모델이라 결과가 "집계로 인한 상당한 불확실성"을 갖는 전 지구 평균이라고 스스로 적는다. 정답이 한 점이 아니라 폭을 가진 값이라는 뜻이다. 그렇다면 656개 문항을 채점할 때 그 폭을 어떻게 다뤘는지, 두 정책을 합친 효과가 폭 안에서 각각의 합과 겹칠 때 "더 크다·더 작다·같다" 중 무엇을 정답으로 삼았는지가 따라 나오는 질문이 된다. 공개된 2차 자료에는 이 처리를 설명한 문장이 없다. 7절 끝의 미확인 목록에 이 항목이 들어 있다.

사실과 해석을 가른다. 사실: 656개 정책 문항의 기준 답은 En-ROADS 의 예측이고, 제작사 자신이 아직 동료 심사 논문을 쓰는 중이라고 적는다. 해석: 그러므로 "AI가 33.8%밖에 못 맞혔다"는 "AI가 En-ROADS 와 33.8%만 일치했다"로 읽는 편이 정확하다. 그리고 이 해석을 "En-ROADS 를 믿을 수 없다"로 끌고 가면 반대쪽으로 틀린다. 실측으로 보정되고 IPCC 계열 모델과 견주어 온 도구와 체계적으로 어긋나는 것 자체가 신호이기 때문이다. 정답지가 사람인지 센서인지 시뮬레이터인지를 적어 두는 일과, 그 정답지를 불신하는 일은 다른 작업이다. 같은 계열의 문제를 위성 자료 쪽에서 다룬 적이 있다(AI는 땅보다 숫자를 믿는다).

3

꺾이는 데는 한 번이면 충분하다

15개 모델에 틀린 기후 주장을 들이밀자 정확도가 31~35%p 내려갔다. 인공지능이 사용자의 반박에 굽힌다는 사실 자체는 새 소식이 아니다. 이 블로그도 미국 상원의원과의 대화에서 같은 장면을 한 번 다룬 적이 있고(반박 한 마디에 입장을 뒤집은 AI), 권위 편향과 자동화 편향을 묶어 정리한 적도 있다(AI가 틀렸는데 아무도 말하지 않는다). 이번 보고서가 새로 가져온 것은 굽히느냐 아니냐가 아니라 몇 번째 반박에서 굽히느냐다.

UCL 보도자료의 문장은 이렇다. "about 80% of AI concessions occurring at the first sign of disagreement." 양보가 일어난 사례 가운데 약 80%가 첫 반박에서 일어났다는 뜻이다. 분모는 전체 응답이 아니라 양보 건수다. 같은 수치를 "열 번에 여덟 번 물러섰다"로 옮기면 분모가 전체 응답으로 바뀌면서 전혀 다른 주장이 된다. 측정 대상도 달라진다. 앞 문장이 재는 것은 양보의 속도이고, 뒤 문장이 재는 것은 양보의 빈도다. 5절에서 보겠지만 이 분모를 지킨 매체가 다수였고, 흔들린 자리는 뜻밖의 곳이었다.

반박하는 쪽의 가면도 함께 시험했다. 사용자가 기후과학자를 자처한 경우, 정책자문을 자처한 경우, 회의론자를 자처한 경우로 나눠 물었는데, 기후과학자를 자처하며 내놓은 거짓 주장 하나가 정확도를 최대 12.9%p 깎았다. 시험한 15개 가운데 13개에서 이 조건의 하락이 나타났다. 전문가의 이름표가 붙으면 모델이 더 빨리 접는다. 그리고 반박을 계속 이어 가면 15개 모델이 모두 결국 동의했다. 페르소나와 무관하게 그랬다.

3.1이 축에는 이미 이름이 붙어 있다

"몇 번째에 굽히는가"는 유네스코가 처음 들여다본 축이 아니다. SYCON Bench(arXiv:2505.23840)는 이미 2025년 5월에 두 지표를 정의했다. 모델이 사용자에게 얼마나 빨리 동조하는지를 Turn of Flip 으로, 압박이 이어질 때 몇 번 입장을 바꾸는지를 Number of Flip 으로 쟀다. 유네스코의 "양보의 약 80%가 첫 반박에서"는 Turn of Flip 분포를 말로 옮긴 서술이다. 그 연구는 17개 모델을 세 시나리오에서 시험해, 정렬 튜닝이 동조를 키우고 규모 확대와 추론 최적화가 저항력을 키운다는 결과를 내놨다.

압박의 길이를 늘린 쪽도 있다. SPINE(arXiv:2609.09090)은 최대 25턴까지 적응형 반박을 이어 가며 붕괴율을 쟀는데, 5턴에서 0~57%이던 값이 25턴에서 20~97%가 됐다. 대화를 몇 턴만 보고 끝내는 평가는 동조를 과소평가한다는 것이 그 논문의 결론이다. 더 눈여겨볼 대목은 따로 있다. 붕괴한 턴의 50~89%에서 올바른 입장이 모델의 추론 흔적에 그대로 남아 있었다. 몰라서 바꾼 것이 아니라 맞춰 주는 쪽을 고른 것이다.

압박의 방향까지 센 연구도 있다. 스탠퍼드 연구진의 SycEval(arXiv:2502.08177)은 압박에 따른 입장 변경을 맞음에서 틀림으로 가는 쪽과 틀림에서 맞음으로 가는 쪽으로 나눠 각각 14.66%와 43.52%로 쟀다. 유네스코 보고서가 센 것은 앞쪽뿐이다. 같은 압박이 오답을 고치게 만든 경우는 이 보고서에 들어 있지 않다. 재지 않은 것과 없는 것은 다르다.

3.2굽히는 것이 전부 아첨은 아니다

31~35%p라는 하락폭을 모델의 고정된 성질로 읽으면 과장이 된다. 반대 증거가 둘 있다. 하나는 동조의 종류를 가른 연구다. MUSE(arXiv:2605.27288)는 모델이 굽히는 상황을 확신하면서도 굽히는 쪽과 스스로 불확실할 때 굽히는 쪽으로 나눈다. 뒤쪽은 아첨이 아니라 정당한 수정일 수 있다. 다만 두 종류 모두 모델이 인식한 사용자의 전문성과 주장의 그럴듯함에 따라 커진다. 기후과학자를 자처한 거짓 주장이 가장 크게 깎은 이 보고서의 결과와 정확히 맞물리는 기전이다.

다른 하나는 더 단순하다. SYCON Bench 는 모델에게 3인칭 관점을 취하게 하는 프롬프트만으로 토론 시나리오의 동조가 최대 63.8% 줄어드는 것을 확인했다. 지시문 한 줄이 바꿀 수 있는 값이라면 31~35%p는 고정된 성질이 아니라 조건에 따라 크게 움직이는 값이다. 같은 모델을 같은 주제로 시험해도 압박의 길이와 지시문에 따라 다른 숫자가 나온다는 뜻이고, 그래서 점수 옆에 조건을 적는 일이 다시 중요해진다. 인용을 다시 쓰게 했을 때 반박이 절반으로 줄어든 사례(LLM이 다시 쓴 학술 인용에서 반박 절반이 사라졌다)도 같은 가족에 속한다.

4

영어와 스와힐리어의 거리는 모델마다 다르다

영어 88.6%, 벵골어와 힌디어 83.6%, 우르두어 81.4%, 스와힐리어 78.3%. 이 보고서에서 가장 자주 인용된 네 줄이다. 이 값을 만든 쪽은 33개도 15개도 아니고 5개 모델이며, 네 줄은 그 다섯의 평균이다. 숫자만 보면 언어 사이의 거리가 그리 멀지 않아 보이지만, 평균은 모델 사이의 편차를 덮는다.

값이 공개된 여섯 언어의 정확도 영어 88.6 인도네시아어 86.7 벵골어·힌디어 83.6 우르두어 81.4 스와힐리어 78.3 0 50 100 단위는 정확도(%). 다섯 모델의 평균값이다. 인도네시아어 값은 일부 보도에서만 확인됐다.

언어 시험에 답한 다섯 모델의 평균 정확도. 벵골어와 힌디어는 묶인 하나의 값으로 보도됐고, 두 언어가 각각 83.6%라는 뜻인지는 확인되지 않았다. 13개 언어를 시험했다고 밝혔으나 점 추정값이 공개된 것은 여섯 언어다. 나머지 언어에 관해서는 아래 본문에 적은 범위까지만 알 수 있다.

격차를 재는 방법은 둘인데 값이 다르다. 다섯 모델의 평균끼리 견주면 영어와 스와힐리어 사이가 10.3%p다. 모델을 하나씩 뜯어보면 가장 일관된 모델의 영어·스와힐리어 격차는 3%p 미만이고 가장 약한 모델은 16%p 이상이다. 두 문장을 한 문장에 합치면 분모가 다른 수가 섞인다. "같은 모델 안에서 10%p 넘게 갈렸다"는 서술이 성립하는 것은 두 번째 방식, 그중에서도 가장 약한 모델에서다.

하한만 공개된 언어가 셋이다. 스페인어·프랑스어·포르투갈어가 "88% 이상"이고, 나머지 네 언어는 값이 나오지 않았다. 그래서 중간대가 평탄한지 가파른지는 지금 자료로 판단할 수 없다. 상위와 하위만 보고 "언어 사이의 성능이 양극화됐다"고 쓸 근거는 없고, 반대로 "중간은 고르다"고 쓸 근거도 없다. 열세 개를 쟀다고 적은 문장과 여섯 개를 보여 준 자료 사이에 일곱 언어가 비어 있다.

4.1원인 쪽은 이미 여러 번 다룬 자리다

보고서는 이 격차의 원인을 학습 데이터에서 찾는다. 다국어 모델이 먼저 추론하고 나중에 번역하는 것이 아니라, 그 언어의 학습 자료가 얼마나 두꺼운지를 답이 그대로 비춘다는 설명이다. 자원 쪽 수치는 확실히 그 방향을 가리킨다. 공개 웹 말뭉치에서 영어가 차지하는 비중은 42.6%인데 힌디어는 0.211%, 스와힐리어는 0.0099%다. 다만 자원 격차가 수백에서 수천 배인데 정확도 격차는 10%p 안팎이라는 비대칭이 남는다. 이 블로그는 저자원 언어의 데이터 부족을 두 번 다뤘다(몰타어 데이터는 0.03%다, 하우사어 자기위해 항목이 하나도 없는 안전 데이터셋). 그래서 여기서는 원인을 다시 설명하지 않고 한 단락으로 지나간다.

유네스코가 따로 쟀던 두 축을 곱한 연구는 이미 있다. 38개 언어·6개 모델·33개 주제로 110만 건 넘는 응답을 모은 조사(arXiv:2606.08451)가 언어별 동조율을 재서, 학습 자료가 적은 언어에서 동조가 크게 뛴다고 보고한다. 제로샷 언어에서 한 모델은 29.2%p, 다른 모델은 36.4%p 올랐다. 다만 그 연구가 다룬 것은 70억에서 240억 규모의 공개 모델이고 기후를 따로 떼어 보지 않았다. 유네스코가 시험한 최전선 상용 모델과는 대상이 다르다. 방향을 참고하되 수치를 옮겨 붙이지는 않는다.

4.2정확도가 낮은 언어와 기후 피해가 큰 지역이 겹친다

보고서는 이 언어들을 쓰는 공동체가 기후 영향을 크게 받는 지역에 몰려 있다고 적는다. 그 서술이 수치로 뒷받침되는지 확인해 봤다. 노터데임 글로벌 적응 지수(ND-GAIN)의 2026년 취약도 순위에서 방글라데시는 192개국 중 161위, 파키스탄 151위, 탄자니아 141위, 케냐 122위, 인도 118위다. 순위가 높을수록 취약하다는 뜻이니 다섯 나라가 모두 하위 3분의 1에 들어 있다. 언어는 국경을 넘나들기 때문에 언어와 나라를 일대일로 묶을 수는 없고, 이 겹침은 보고서가 인용한 것이 아니라 이 글이 두 자료를 직접 맞대어 본 결과다. 사실은 두 순위가 겹친다는 것이고, 해석은 정확도가 가장 낮은 언어를 쓰는 쪽이 기후 정보를 가장 급하게 필요로 한다는 것이다.

5

표본을 지운 문장은 유엔의 뉴스룸에서 나왔다

표본 경계가 보도에서 어디까지 지켜졌는지는 세어 보면 안다. 2026년 11월 16일과 17일에 이 보고서를 다룬 영어권·한국어권 기사 17건을 모아 세 가지만 확인했다. 반박 시험의 모델 수를 몇으로 적었는가, 언어 시험의 모델 수를 몇으로 적었는가, "80%"의 분모를 무엇으로 적었는가. 세는 축을 먼저 고정하고 전수로 셌다.

결과는 예상과 달랐다. 반박 시험의 모델 수를 33으로 뭉갠 매체는 한 곳도 없다. 적은 매체 14곳이 모두 15로 적었고 나머지 3곳은 아예 적지 않았다. 무너진 쪽은 언어 시험이다. "33개 모델을 13개 언어로 시험했다"는 식으로 5를 지운 매체가 7곳이다.

매체 계열 반박 시험 모델 수 언어 시험 모델 수 80%의 분모
EurekAlert (UCL 보도자료)1차 사본155보존
phys.org1차 사본155보존
Down To Earth독립155보존
bioengineer.org독립155보존
econotimes독립155미기재
인공지능신문한국어155보존
에코미디어한국어155보존
Digital Trends독립미기재5보존
IBTimes UK독립15미기재보존
UN News유엔 뉴스룸1533보존
Channel AfricaUN News 전재1533보존
Eastleigh VoiceUN News 전재1533보존
Mirage NewsUN News 전재1533보존
Agentic TimesUN News 전재1533보존
Digital Information World집계1533보존
Euronews독립미기재33소실
Kuwait Times독립미기재미기재미기재
합계 17건정확 14 / 오기 0 / 미기재 3정확 8 / 오기 7 / 미기재 2보존 14 / 소실 1 / 미기재 2

7이라는 숫자는 한 번 더 나눠야 한다. 그중 여섯은 같은 문장이다. UN News 기사의 "Researchers tested up to 33 leading AI models in 13 languages."가 원문이고, 다섯 곳이 그 문장을 그대로 받아 실었다. 독립적으로 같은 오기를 낸 곳은 Euronews 한 곳뿐이다. 전재 사본을 독립 매체로 세면 한 번의 오기가 일곱 번으로 불어난다. 전파의 폭과 발생의 횟수는 다른 수이고, 위 표에 계열 열을 둔 까닭이 거기 있다.

발신지가 유엔 자신의 뉴스룸이었다는 점이 이 집계의 핵심이다. 가장 느슨한 집계 매체가 아니라 보고서를 낸 기구와 가장 가까운 자리에서 경계가 지워졌고, 거기서부터 번졌다. 기사를 받아 쓴 쪽을 탓할 일도 아니다. 원문에 적힌 문장을 옮긴 것이기 때문이다. 수치를 옮기는 과정에서 표본이 사라지는 지점은 가장 먼 곳이 아니라 가장 가까운 곳일 수 있다.

"80%"의 분모는 반대로 잘 지켜졌다. 14곳이 양보한 사례를 분모로 적었고, 2곳은 수치를 쓰지 않았으며, 분모를 지운 곳은 Euronews 한 곳이다. 흥미로운 것은 흔들린 자리의 성격이다. 문서로 쓰인 UCL 보도자료는 정확했지만, UN News 에 실린 유네스코 측 발언자의 직접 인용은 평서문으로 읽으면 "반박 열 번 중 여덟 번"으로도 읽힌다. 글로 적힌 자리는 정확했고, 말로 요약된 자리가 모호했다.

"보도가 전반적으로 수치를 뭉갰다"는 문장은 이 표로 성립하지 않는다. 반박 시험의 15는 적은 매체 전부가 맞게 적었고, 분모도 다수가 지켰다. 한국어 기사 2건은 세 축 모두 정확했다. 한국 독자에게 닿은 기사는 틀리지 않았다. 평가 설계의 한 칸이 바뀌면 결론의 모양이 달라진다는 이야기는 2026년 11월 12일에도 한 번 했는데(LLM 실패 분류, 모델 탓일까 채점 순서 탓일까?), 이번에 바뀐 칸은 설계가 아니라 표본의 경계였다.

6

점수를 그대로 인용하려면 네 가지를 먼저 열어 본다

벤치마크 점수나 보고서 수치를 근거로 모델을 고르거나 도입을 결정하는 쪽이라면, 지금까지의 내용은 점검표 한 장으로 줄어든다. 그 점수를 인용하기 전에 네 가지를 확인한다. 넷 중 하나라도 비어 있으면 그 점수는 아직 의사결정의 근거가 아니라 참고 자료다.

  • 표본 경계 — 이 점수가 몇 개 모델에서 나왔는지 적는다. 조사 전체의 대상 수와 그 수치를 만든 부분집합의 크기가 다를 수 있다. 이 보고서가 33과 15와 5로 갈린 것처럼.
  • 정답지 출처 — 무엇과 비교해 맞았다고 하는지 적는다. 사람의 판정인지, 센서의 측정인지, 시뮬레이터의 예측인지, 또 다른 모델의 출력인지에 따라 같은 점수가 다른 뜻을 갖는다.
  • 지표 단위 — 최대인지 평균인지 범위인지 적는다. 최대와 평균을 한 선에 놓으면 없는 낙폭이 생긴다.
  • 빠진 축 — 우리 쓰임새에 중요한 조건이 그 평가에 들어 있었는지 확인한다. 사용자가 반박하는 상황, 영어가 아닌 언어, 단계가 겹치는 판단이 대표적인 누락 후보다.

보고서 자신도 권고를 셋 내놨다. 사용자 압력 아래에서 모델을 시험할 것, 언어별 성능을 공개할 것, 배포 전에 독립 검증을 거칠 것. 이 셋은 조달 문서의 언어로 바꿔 쓸 수 있다. 압력 시험은 "다중 턴 반박 조건에서의 정확도 변화를 제출할 것"이 되고, 언어별 성능 공개는 "우리가 실제로 쓰는 언어의 정확도를 따로 제출할 것"이 되며, 독립 검증은 "공급자 자체 평가가 아닌 제3자 평가 결과를 함께 제출할 것"이 된다. 추상적인 원칙보다 계약서 항목이 되는 쪽이 실제로 작동한다.

다만 두 번째 권고는 지금 아무도 하지 않는 일을 요구한다. 주요 공급자의 모델 카드와 시스템 카드를 보면 언어별 정확도를 공개하는 곳이 있고 아첨 성향 평가를 공개하는 곳도 있다. 그런데 그 둘을 교차한 표, 곧 언어별로 쪼갠 아첨 성향 결과는 어느 카드에도 없다. 유네스코의 권고가 실제로 요구하는 것이 이 교차다. 그리고 이 보고서 자신도 두 축을 따로 쟀지 교차시키지는 않았다. 요구하는 쪽과 요구받는 쪽이 같은 칸을 비워 둔 셈이다.

7

페블러스 관심의 이유

페블러스가 이 보고서를 사내에서 돌려 읽은 이유는 기후 때문이 아니다. 1.2절에 적은 한 줄 때문이다. 문항을 만든 데이터셋은 아홉 개인데, 그중 둘을 이번 연구를 위해 새로 만들었다고 밝혔을 뿐 나머지 일곱이 무엇인지도, 어느 데이터셋이 어느 점수를 만들었는지도 공개되지 않았다. 점수는 보도자료와 기사와 이 글까지 따라왔는데, 그 점수를 만든 데이터의 이름은 첫 걸음에서 이미 빠져 있었다.

7.1라벨의 출처도 데이터 진단 항목이다

페블러스가 말하는 AI-Ready Data 는 모델이 바로 쓸 수 있게 정돈된 데이터이고, 그 정돈에는 무엇을 정답으로 삼을지를 적어 두는 일이 들어간다. 이 보고서의 656개 정책 문항은 그 일을 En-ROADS 에 맡겼다. 2100년의 기온은 아무도 관측하지 못했으니 합리적인 선택이다. 그러나 그 선택을 적어 두지 않으면 "33.8%밖에 못 맞혔다"는 문장만 남고 무엇과 비교해 못 맞혔는지는 사라진다. DataClinic 이 데이터셋에서 결측과 중복과 라벨 오류를 찾듯, 라벨이 어디서 왔는가도 같은 층위의 진단 항목이다.

7.2'기후 능력'이라는 단일 숫자는 없다

이 보고서는 한 모델의 기후 능력을 여러 번 쟀고 그때마다 다른 값을 얻었다. 교과서 문항에서 88~96%, 증거 판단에서 71~77%, 정책 조합에서 평균 33.8%다. 같은 모델, 같은 주제, 다른 데이터셋이다. 여기에 언어 축을 하나 더 붙이면 10%p가 또 갈린다. 어떤 데이터로 재느냐가 그 숫자를 만든다는 뜻이고, 여기서 품질 지표가 하나 선다. 표본 경계의 명시성, 곧 이 점수가 어느 부분집합에서 나왔는지가 점수와 함께 전달되는가다. 5절의 집계는 그 지표가 실제로 어디서 새는지를 보여 준 사례다.

7.3고객에게 줄 과제는 네 문장이다

리더보드의 한 칸을 보고 모델을 고르는 조직에게 줄 실행 과제는 6절의 점검표 그대로다. 인용하려는 점수가 몇 개 모델에서 나왔는지 적고, 정답지가 무엇인지 적고, 지표 단위가 최대인지 평균인지 범위인지 적고, 우리 쓰임새에 중요한 축이 그 평가에 있었는지 확인한다. 네 문장이면 끝나는 일인데, 5절에서 센 기사 17건 가운데 세 축을 모두 정확히 적은 곳은 6건이다. 어려워서 빠지는 것이 아니라 적는 자리가 정해져 있지 않아서 빠진다.

7.4비어 있는 자리는 평가를 적어 두는 쪽이다

기후를 더 잘 아는 모델을 만드는 경쟁에 페블러스가 들어갈 자리는 없다. 그러나 평가의 표본과 정답지를 적어 두고, 적어 둔 것이 실제 쓰임새와 맞는지 검사하는 일은 데이터를 다루는 쪽의 자리다. 이 글은 그 자리를 주장하려고 쓴 글이 아니라, 그 자리가 비어 있다는 사실을 유네스코의 보고서와 그 보도로 보여 주려고 쓴 글이다. 유엔의 뉴스룸에서 표본 하나가 지워져 다섯 매체로 번지는 데 하루가 걸렸다는 것이 그 공백의 크기다.

무엇을 확인하지 못했는지 적어 둔다. 보고서 원문 PDF 는 접근이 막혀 열지 못했고, 이 글의 수치는 모두 UCL 공식 보도자료와 그 사본, 그리고 이를 다룬 기사에서 나왔다. 그래서 다음 일곱 가지는 확인되지 않은 채로 남았다. 9개 데이터셋의 개별 이름과 어느 데이터셋이 어느 점수를 만들었는지, 13개 언어 중 일곱 개 언어의 값, 단일 정책 과제의 평균값, En-ROADS 자신의 오차 구간을 보고서가 어떻게 처리했는지, 통계 검정의 유무, 저자 일곱 명 중 네 명의 소속, 그리고 33개·15개·5개 모델의 이름 목록과 세 집합의 포함 관계다. 저자 호칭도 적지 않았다. UCL 보도자료와 유엔 뉴스룸이 서로 다른 사람을 대표 저자로 적고 있어, 원문 없이는 어느 쪽이 맞는지 가릴 수 없기 때문이다. 1절부터 6절까지의 수치는 출처가 있는 사실이고, 세 발견을 "표본 경계"라는 한 문제로 묶어 읽는 쪽과 7절 전체는 페블러스가 붙인 해석이다.

R

참고문헌

출처를 성격별로 나눠 적는다. 1번부터 8번까지가 기관이 낸 1차 문서와 공식 통계이고, 이 글의 모든 보고서 수치와 배경 자료가 여기서 나왔다. 9번부터 15번까지는 사이코판시·다단계 추론·다국어 성능을 다룬 동료 심사 또는 프리프린트 문헌이다. 16번은 5절 집계의 대상 기사이고, 마지막 묶음은 페블러스 선행 글이다.

1차 문서와 기관 통계

  • 1.UNESCO & UNESCO Chair in Artificial Intelligence at UCL, "Can We Trust AI on Climate? Why it seeks to please the user, and fails on complex reasoning and multilingualism" (2026년 11월 16일, COP31 안탈리아). unesdoc ark:/48223/pf0000400048 — 이 글을 쓰는 동안 접근이 막혀 본문을 열지 못했다. 서지만 적고 쪽수를 인용하지 않는다.
  • 2.UCL 보도자료, "AI systems are easy to pressure into giving false climate information" (2026년 11월 16일, EurekAlert 사본). eurekalert.org — 33·15·5 표본 분리, 31~35%p, 양보 80%의 분모, 언어별 수치가 모두 여기서 나왔다.
  • 3.UNESCO, "AI models abandon climate facts at the first sign of user push-back, UNESCO-UCL report shows" (2026년 11월 16일). 기관 페이지 접근이 막혀 검색 발췌로만 확인했다.
  • 4.UN News, "AI gets climate science right — until users push back" (2026년 11월 16일). news.un.org — 5절에서 언어 시험 표본이 지워진 원 문장과 유네스코 측 발언자의 직접 인용이 여기 있다.
  • 5.Climate Interactive, "Has the En-ROADS model been peer-reviewed?" 지원 문서 및 En-ROADS Technical Reference. docs.climateinteractive.org — 2.1절의 동료 심사 상태, 보정 방식, 스스로 밝힌 한계가 여기서 나왔다.
  • 6.COP31 Presidency & ITU, "Antalya Artificial Intelligence Pledge" (2026년 11월 16일). cop31.tr — 1절의 같은 날 서약 대목이다.
  • 7.Notre Dame Global Adaptation Initiative, ND-GAIN Country Index 2026 랭킹. gain-new.crc.nd.edu — 4.2절의 취약도 순위 다섯 나라가 여기서 나왔다.
  • 8.Common Crawl, 크롤 통계 CC-MAIN-2026-43 언어 비중. commoncrawl.github.io — 4.1절의 영어 42.6%, 힌디어 0.211%, 스와힐리어 0.0099%의 출처다.

학술 문헌

  • 9.Hong, Byun, Kim, Shu, Choi, "Measuring Sycophancy of Language Models in Multi-turn Dialogues" (SYCON Bench), arXiv:2505.23840 (2025년 5월 28일). arxiv.org — Turn of Flip·Number of Flip 정의와 3인칭 프롬프트 63.8% 감소가 여기서 나왔다.
  • 10.Tang, Wei, Jiang, Huang, "SPINE: Measuring LLM Sycophancy under Sustained Multi-Turn Pressure", arXiv:2609.09090 (v1 2026년 9월 8일, v2 2026년 10월 13일). arxiv.org — 25턴 붕괴율과 추론 흔적 50~89%의 출처다.
  • 11.Guo 외, "It's Not Always Sycophancy: Measuring LLM Conformity as a Function of Epistemic Uncertainty" (MUSE), arXiv:2605.27288 (2026년 5월 26일). arxiv.org — 3.2절의 동조 구분이 여기서 나왔다.
  • 12.Fanous 외, "SycEval: Evaluating LLM Sycophancy", arXiv:2502.08177. arxiv.org — 맞음에서 틀림으로 14.66%, 틀림에서 맞음으로 43.52%의 출처다.
  • 13.Shah, Beniwal, Singh, Silpasuwanchai, "Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models", arXiv:2606.08451 (2026년 6월 7일). arxiv.org — 4.1절의 언어별 동조율 교차 연구다.
  • 14."From 0-Order Selection to 2-Order Judgment: Combinatorial Hardening Exposes Compositional Failures in Frontier LLMs" (LogiHard), arXiv:2605.07268. arxiv.org — 2절의 신뢰 가능한 추론 깊이 다섯에서 여덟 단계의 출처다.
  • 15."None of the Others", arXiv:2502.12896. arxiv.org — 우연 수준 결과를 "전혀 모른다"로 옮기면 안 되는 이유를 2절에서 인용했다.

5절 집계의 대상 기사

  • 16.2026년 11월 16~17일 기사 17건 — EurekAlert · phys.org · Down To Earth · bioengineer.org · econotimes · 인공지능신문 · 에코미디어 · Digital Trends · IBTimes UK · UN News · Channel Africa · Eastleigh Voice · Mirage News · Agentic Times · Digital Information World · Euronews · Kuwait Times. 각 기사에서 센 세 축의 판정은 5절 표에 있다.

페블러스 선행 글