Executive Summary

위성 자료는 보통 손질을 거쳐 사용자에게 온다. 센서가 내놓은 정수값에 스케일 인자와 오프셋을 곱하고 더해 물리량으로 바꿔 두고, 구름이 낀 화소에는 품질 레이어라는 딱지를 붙여 둔다. EarthRecord 는 그 손질을 하지 않았다. 논문 §2.1 의 문장이 설계를 그대로 적는다. "Apart from the regional boundary mask and the instrument pairs, pixel values are unmodified: scale factors, offsets, and quality layers are not applied, and a README gives the conversions." 지역 경계 마스크와 치환 쌍을 빼면 픽셀 값이 손대지 않은 그대로이고, 변환법은 README 한 장으로 대신한다는 뜻이다.

그래서 에이전트가 떠맡는 일이 길어진다. 논문 서론은 셋을 든다. 구름 마스킹, 지도화(mapping), 크로스센서 정합이다. 구름 낀 장면을 걸러 내는 일, 영상에서 변화의 경계를 그려 내는 일, 1984년에 뜬 위성과 2019년에 뜬 위성의 값을 같은 잣대로 맞추는 일을 전부 에이전트가 한다. 영상을 보는 일조차 공짜로 주어지지 않는다. §2.4 는 에이전트가 "must select bands, apply a stretch, and render an image before it can inspect it" 이라고 적는다. 밴드를 고르고 명암을 편 뒤 그림으로 그려 내야 비로소 들여다볼 수 있다.

1.1아카이브에 원래 있던 흠까지 그대로 둔다

손대지 않은 것은 변환에서 끝나지 않는다. 중복 장면과 90% 이상 가려진 장면만 걷어 내고, 배포본에 원래 들어 있던 결함은 그대로 남겼다. 핵심 구역을 덮는 랜드샛 장면 57,157장 가운데 4,485장이 품질 등급 2이고, 그중에는 기하 위치가 최대 15.7 km 어긋난 장면도 있다. 한 변이 10~30 km 인 구역을 다루는 시험에서 15.7 km 는 구역 하나를 통째로 옮겨 놓는 거리다. 그리고 품질 레이어 자신도 틀린다. 맑다고 표시한 장면 200장을 표본으로 확인했더니 5장에서 구름을 놓쳤다.

1.2열 가지 분석 과제로 238문항을 묻는다

시험의 규모는 이렇다. 지역은 56곳인데 종류가 둘로 갈린다. 한 변 10~30 km 짜리 핵심 구역 48곳과 행정구역 8곳으로 나뉘고, 48곳은 이름난 지역 8곳, 변화가 거의 없어 일부러 고른 안정 지역 7곳, 무명 지역 33곳으로 다시 갈린다. 기간은 1984년부터 2026년까지이고 스냅샷 기준일은 2026년 9월 30일이다. 네 개 센서가 시차를 두고 이 기간을 덮는다.

문항은 238개다. 변수로 바로 계산할 수 있는 계산형 153문항, 영상을 판독해야 하는 판독형 73문항, 그리고 애초에 자료로 답할 수 없어 기권이 정답인 증거부족형 12문항으로 나뉜다. 헤드라인 성적은 앞의 둘을 합친 226문항 위에서 계산된다. 채점은 가혹하다. 같은 질문을 세 번 돌려 결론이 세 번 다 맞아야 1점이고, 한 번이라도 틀리면 0점이다.

이런 설계가 앞선 시험들과 어디서 갈리는지는 저자들이 논문 5절에 직접 적었다. 원격탐사 질의응답 벤치마크가 손질된 장면 한 장을 놓고 묻는 데 비해 이쪽은 한 지역의 수십 년치 원본 기록을 놓고 묻고("decades of raw record at one site instead of a scene"), 도구를 불러 관측을 모으게 하는 지구관측 에이전트 시험이 선행지식과 센서 변화를 통제하지 않는 데 비해 이쪽은 다중 센서 아카이브를 배포된 그대로 건네고 기준 답을 감춘 채 질문마다 세 번 돌린다. 기존의 반사실 시험이나 센서 변화 시험과 갈리는 자리도 적어 뒀다. "alter the data the agent itself processes while the ground stays as it is", 곧 땅은 그대로 둔 채 에이전트가 손수 처리하는 자료 쪽을 바꾼다는 것이다. 세 문장 모두 저자의 자기 서술이다.

본지는 3주 전 이 생태계의 반대쪽 끝을 다뤘다. OlmoEarth 는 지구 전체의 위성 자료를 미리 처리해 숫자 벡터로 바꿔 둔 쪽이다. 사용자는 그 숫자를 받아 쓰기만 하면 된다. EarthRecord 는 그 선을 정반대로 긋는다. 한쪽이 준비를 끝까지 한 자료의 쓸모를 보여 준다면, 다른 쪽은 준비를 하나도 하지 않았을 때 청구되는 비용을 숫자로 보여 준다.

이런 설계를 보면 먼저 떠오르는 결말이 있다. 전처리를 안 해 주면 에이전트가 자료 앞에서 주저앉으리라는 것이다. 그런 일은 일어나지 않았다. 스케일 인자가 안 곱해진 정수 래스터를 받아 README 를 읽고 변환식을 찾아 넣고, 구름 낀 장면을 걸러 내고, 센서가 다른 시계열을 이어 붙이는 일을 상위 모델들은 대체로 해냈다.

열두 개 모델의 성적은 넓게 벌어진다. 위쪽 넷과 아래쪽 둘, 그리고 베이스라인 둘만 옮기면 이렇다. 단위는 세 패스를 모두 맞힌 문항의 비율이고 분모는 226문항이다.

눈여겨볼 자리는 아래쪽이다. 하위 두 모델은 다수 클래스 베이스라인보다 낮다. 가장 흔한 답을 기계적으로 찍는 쪽이 이 둘보다 많이 맞혔다는 뜻이다. 원본을 다룰 힘이 없으면 자료를 받는 것이 도움이 되는 정도가 아니라 해가 된다. 논문은 이 폭을 "The spread across models—even within the same family—is wide." 라고 적는다. 같은 가문 안에서도 벌어진다는 단서가 붙어 있다.

2.1실패 일흔두 건 가운데 앞쪽 단계는 일곱 건

논문은 실패한 run 을 열어 "첫 번째로 틀린 단계"를 손으로 분류했다. 선도 여섯 모델의 실패 72건과 나머지 여섯 모델의 실패 72건을 같은 잣대로 갈랐다. 아래가 그 표다.

첫 줄과 여섯째 줄만 보면 된다. 선도 여섯 모델에서 자료를 잘못 쓴 경우가 5건, 분석을 끝내지 못한 경우가 2건으로 합쳐서 일흔둘 중 일곱이다. 논문의 문장은 이렇다. "Such failures are rare for the leading six (7 of 72); instead, their errors arise later, in an analytic judgment: how to map a change, how to sample time, or how to define the quantity the question asks for." 앞쪽 단계에서 난 실패는 드물고, 오류는 그보다 뒤인 분석 판단에서 생긴다는 것이다.

하위 여섯 모델은 정반대다. 자료 18건과 미완 19건을 합치면 37건으로 실패의 절반이 앞쪽 단계에서 난다. 두 집단을 가르는 것은 "자료를 다룰 줄 아느냐"이고, 그 문턱을 넘은 쪽에서는 자료 처리가 더는 쟁점이 아니다. 그러니 이 글이 묻는 자리는 전처리를 끝낸 다음이다.

그 자리가 어디인지도 논문이 세어 뒀다. 두 집단의 실패를 합친 144건 가운데 지도화에서 난 것이 31건으로 가장 많다. "Among these judgments, mapping fails most often, in 31 of the 144 failures" 라는 문장이 그것이다. 위 표의 분석 42건(선도 27건, 나머지 15건)을 더 쪼갠 수치이고, 다음 절이 들여다보는 것이 이 31건이다.

성적을 가르는 것은 과제 이름이 아니다. 질문의 유형이다. 기록에 들어 있는 변수를 꺼내 계산하면 답이 나오는 질문이 있고, 영상을 그림으로 띄워 놓고 변화의 경계를 눈으로 그려 내야 하는 질문이 있다. 선도 여섯 모델은 앞쪽을 92.0% 맞히고 뒤쪽을 61.1% 맞힌다.

이 정도 격차를 보면 "지도화 질문이 몰린 과제가 원래 어려운 과제였을 뿐"이라는 반론이 나올 법하다. 논문은 그 반론을 미리 막아 뒀다. "The gap holds within tasks: for the same model and task, the odds of a right answer on a mapping question are 0.31 times those on a computed one (95% interval 0.14–0.66)." 같은 모델이 같은 과제를 풀 때도 지도화 질문이 맞을 오즈가 계산형의 0.31배라는 것이다. 어느 모델도 맞히지 못한 18문항 중 15개가 지도가 필요한 문항이었다는 수치도 같은 방향을 가리킨다.

답이 흔들리는 정도도 다르다. 선도 여섯 모델이 세 패스 중 한두 번만 맞히는 비율은 지도화 질문에서 13.7%, 계산형에서 4.6%다. 어렵다기보다 불안정하다.

3.1그려 보기 전에 "증거 부족"으로 물러선다

지도가 필요한 판독형 41문항에서 세 모델은 자주 답을 내지 않는다. GPT-6.1 Sol 이 46.3%, GPT-6 Astra 가 58.5%, GPT-6.1 Terra 가 66.7%의 run 에서 "증거가 부족하다"고 답한다. 같은 문항에서 GPT-6 Sol 은 8.1%, Sonnet 5.5 는 8.9%만 기권한다. 그리고 기권은 계산형에서는 거의 일어나지 않는다. 지도가 필요한 계산형 37문항에서 0.9~2.7%, 계산형 전체에서 최대 2%다.

물러서는 방식이 눈에 띈다. 논문은 "Their abstaining runs make a median of two or three tool calls and mostly view no image." 라고 적는다. 기권한 run 은 도구를 두세 번 부르고 끝나며 영상을 대개 한 장도 보지 않는다. 답을 낸 run 의 중앙값은 다섯에서 열 번이다. 빨리, 그리고 그려 보지 않고 물러선다.

3.2영상 도구를 꺼도 점수가 거의 그대로다

논문은 한 걸음 더 나간 실험을 붙여 뒀다. 판독형 73문항을 그대로 두고 영상 도구만 빼앗은 뒤 다시 돌린 것이다. 비교 대상으로 자료를 통째로 빼고 좌표만 준 조건의 점수도 같이 놓았다. 아래가 세 모델의 결과다.

세 모델 모두 한 문항에서 네 문항 사이로만 움직이고, 부호 검정 p 값은 0.29와 0.69와 1.00 이다. 어느 것도 통계적으로 유의하지 않다. 논문의 표현은 "Their scores change by one to four questions, and no difference is significant by a sign test." 다. GPT-6.1 Sol 의 줄을 가로로 읽으면 더 선명하다. 영상을 보고 47, 영상 도구를 꺼도 46, 자료를 통째로 빼도 44다. 판독형 문항에서 영상 도구가 보탠 값이 한 문항이라는 뜻이다. 다만 이 비교는 세 모델과 판독형 73문항에 한정된 결과다.

2절의 실패 표에서 선도 여섯 모델이 가장 많이 걸린 두 줄은 분석(27건)과 시간 표본(16건)이었다. 그 두 줄이 무엇인지 보여 주는 사례가 논문 §3.3 에 있다. 어느 지역에서 눈 덮인 날이 줄었는지를 묻는 문항이다.

질문에는 "겨울"이라는 낱말이 들어 있다. 그 낱말을 며칠로 잡을지는 질문이 정해 주지 않았고 에이전트가 정했다. 그리고 답이 통째로 갈렸다. "The answer depends on the definition of winter: none of the 10 runs that define it as December to February finds a decrease, whereas all 13 that use October to April or a longer period find one, as the reference does." 12월에서 2월까지로 잡은 10개 run 은 하나도 감소를 찾지 못했고, 10월에서 4월까지 또는 그보다 길게 잡은 13개 run 은 전부 찾았다. 기준 답은 후자다.

같은 자료, 같은 질문, 같은 모델군인데 변수 하나의 정의로 0% 대 100% 가 된다. 같은 모델 안에서도 갈린다. GPT-6.1 Sol 은 한 패스에서 12월~2월로 잡아 틀리고, 나머지 두 패스에서는 더 긴 기간으로 잡아 맞혔다. 같은 모델이 같은 질문에 서로 다른 정의를 들고 들어간 것이다.

이런 흔들림은 한 문항에서 끝나지 않는다. 선도 여섯 모델의 틀린 run 347건 가운데 121건, 곧 35%가 같은 모델이 다른 패스에서는 맞힌 문항이다. 논문의 문장은 이렇다. "These agents are thus able to answer such questions but do not apply the right judgment consistently." 능력이 없어서가 아니라 판단을 일관되게 적용하지 못해 생기는 실패라는 것이다. 한 번만 돌려 보는 평가표는 이 35%를 통째로 못 본다.

4.1정의가 비는 자리마다 같은 일이 생긴다

정의가 비는 자리는 겨울 하나로 끝나지 않는다. 고위도 지역에는 해가 뜨지 않는 극야 구간이 있고 그동안 광학 센서는 아무것도 보지 못한다. 그 빈 구간을 어떤 run 은 눈이 덮여 있다고 채우고 어떤 run 은 눈이 없는 날로 센다. 둘 다 질문이 지시하지 않은 가정이다. 수확을 끝내 흙이 드러난 밭을 불에 탄 땅으로 분류한 사례, 홍수로 생긴 물웅덩이를 저수지로 읽은 사례도 논문 부록에 함께 실려 있다. 어느 쪽도 자료를 못 읽어서 생긴 일이 아니다. 자료를 읽은 다음 무엇을 세기로 할지 정하는 자리에서 생긴 일이다.

정답률이 높다는 것과 그 답이 자료에서 나왔다는 것은 서로 다른 주장이다. 논문은 이 둘을 가르려고 통제 조건을 두 개 설계했다. 하나는 자료를 통째로 빼는 것이고, 다른 하나는 자료만 바꾸는 것이다. 절 제목도 그 순서로 붙어 있다. "선행지식에서 픽셀로", 그리고 "픽셀까지는, 그러나 아직 땅까지는 아니다".

5.1자료를 빼고 좌표만 주면 어디까지 맞히나

첫 번째 통제는 간단하다. 같은 질문과 그 지역의 경계 상자만 주고 40년치 기록은 주지 않는다. 그 점수가 선행지식만으로 낼 수 있는 몫이고, 자료를 줬을 때와의 차이가 자료가 보탠 몫이다. 계산형 문항에서 선도 여섯 모델의 결과는 이렇다.

열두 모델 전체로 넓히면 4.6점에서 60.8점까지 오른다. 뒤집힘의 방향도 분명하다. 틀렸다가 맞은 쪽이 40.9%, 맞았다가 틀린 쪽이 5.8%다. 계산형 문항에서는 자료가 답을 선행지식에서 픽셀로 옮겼다고 말할 수 있다.

그런데 판독형에서는 사정이 다르다. 자료를 받고 점수가 내려간 모델이 넷이다. 그리고 아마존이나 아랄해처럼 이름난 지역만 추려 보면 자료 없이 답한 쪽이 55.9, 자료를 받은 쪽이 50.0 이다. 이미 아는 곳에서는 안 보고 아는 것이 보고 아는 것보다 나았다. 40년치 원본이 늘 도움이 되는 것은 아니라는 첫 번째 신호다.

5.2땅에 없던 변화를 기록에만 심는다

두 번째 통제가 이 시험의 핵심이다. 치환 쌍(instrument pair)이라 부르는 22개의 쌍에서, 한 위성의 값만 2018년부터 손본다. 스무 쌍은 최대 20%, 한 쌍은 5% 조정하고, 남은 한 쌍은 2013~2017년의 랜드샛 8 장면을 랜드샛 7 장면으로 바꿔치기한다. 질문과 기준 답은 원본과 똑같이 둔다. 땅에서는 아무 일도 일어나지 않았으니 정답도 그대로여야 한다. 22쌍은 전부 계산형 문항이다.

대조군도 함께 돌린다. 플라시보 쌍 8개는 값을 전혀 건드리지 않고 맑은 장면의 5%만 무작위로 뺀다. 여기서 답이 얼마나 흔들리는지가 바닥선이 된다. 그리고 설계에 조건이 하나 더 붙어 있다. "Every retained pair is detectable by comparison with concurrent satellites." 남겨 둔 모든 쌍은 같은 시기의 다른 위성과 대보기만 하면 드러난다는 것이다. 알아챌 길이 막혀 있지 않았다는 뜻이고, 이 한 줄이 뒤에 나올 3.5%를 아프게 만든다.

결과를 옮길 때 가장 자주 깨지는 것이 분모다. 이 절에 나오는 다섯 수치는 분모가 전부 다르니 한 번에 정리해 둔다.

원본에서 세 패스를 모두 맞혔던 200개 사례 가운데 107건이 조작 뒤 틀린 답이 됐다. 묶음별로는 Terra NDVI 에서 102건 중 74건, 랜드샛 8 에서 50건 중 20건, Terra 적설에서 48건 중 13건이다. 답이 바뀐 204개 run 중 186건은 조작한 방향 그대로 움직였다. 값을 내렸으면 "감소"라고, 올렸으면 "증가"라고 답했다는 뜻이다. 아무것도 조작하지 않은 플라시보 쌍에서는 66개 사례 중 8건만 흔들렸고, 선도 여섯 모델에서는 한 건도 흔들리지 않았다.

점수가 높다고 안전해지지도 않는다. 논문은 "Nor does a higher score protect an answer: the eight models above 75 on computable questions still lose 33% to 59% of their right answers." 라고 적는다. 계산형에서 75점을 넘긴 여덟 모델도 맞혔던 답의 3분의 1에서 5분의 3을 잃었다. 거꾸로 끝까지 버틴 답도 대부분은 조작을 알아채서 버틴 것이 아니다. 자료 없이도 이미 맞히고 있었거나 기준 답이 "변화 없음"이었던 경우를 빼면, 둘 다 넘어 버틴 사례는 200건 중 15건, 곧 7.5%다.

5.3대보기만 하면 보이는데 대보지 않는다

아픈 수치는 정답률이 아니다. 에이전트가 자기 보고서에 무엇을 적었는지다. 논문은 답이 움직인 사례에서 틀린 run 228건의 보고서를 전수로 읽고 다섯 갈래로 나눴다.

깨짐을 어떤 형태로든 보고한 것은 아래 두 줄을 합친 49건, 곧 21%다. 그 49건 안에서 원인을 장비로 지목한 것이 8건이다. 두 수치는 서로 다른 집단이 아니라 포함 관계다. 그리고 절반이 넘는 117건은 센서라는 낱말 자체를 꺼내지 않았다. 모든 쌍이 다른 위성과 대보기만 하면 드러나도록 설계돼 있었는데도 그렇다.

네 번째 줄이 특히 눈에 띈다. 한 run 은 Aqua 위성이 "diverges from Terra in recent years and does not show a significant decline on its own" 이라고 적어 놓고도 결론란에는 "감소"를 썼다. 대보기를 했고, 어긋난다는 사실을 문장으로 남겼고, 그러고도 조작된 쪽을 따라갔다.

5.4신뢰도는 떨어지지만 눈금이 너무 작다

모델은 답마다 신뢰도를 함께 낸다. 그 값으로 걸러 낼 수 있었을까. 조작 뒤 틀린 run 226건에서 평균 신뢰도는 0.86에서 0.79로 떨어졌고 126건에서 하락이 관찰됐다. 신호가 없지는 않았다는 뜻이다. 문제는 눈금의 크기다. 논문 부록은 "Every model reports lower confidence on mapping questions than on computed ones, by 0.02 to 0.23, while its accuracy falls by 6.0 to 27.8 points." 라고 적는다. 정확도가 수십 점 떨어지는 동안 신뢰도는 소수점 둘째 자리에서 움직인다.

기권도 하지 않고 신뢰도도 거의 낮추지 않는 조합이 가장 위험하다. Gemini 3 Flash 는 정확도가 25.7점 떨어지는 동안 신뢰도를 0.03 낮췄고, 답할 수 있는 질문을 한 번도 기권하지 않았다. 신뢰도로 오답을 가려내는 능력을 재는 지표에서도 0.63~0.67 에 머물러 Sonnet 5.5 의 0.84 와 벌어진다. 논문의 문장은 이렇다. "When an agent neither declines nor lowers its confidence, as with Gemini 3 Flash, its errors are the hardest for a user to notice."

5.5같은 쌍을 받은 두 run, 갈린 것은 절차다

논문 부록의 마지막 표가 이 절의 결론을 한 장면으로 보여 준다. 질문은 이집트 뉴카이로의 녹지가 2001년과 2025년 사이에 변했는지다. 기준 답은 증가이고, 조작은 Terra NDVI 값을 2018년부터 내리는 것이다. 두 run 의 기록을 나란히 놓으면 이렇다.

GPT-6 Astra 는 깨짐을 보지 못한 것이 아니다. 보고서에 연평균 값을 적어 뒀는데, 2017년 0.131 다음 줄이 2018년 −0.067 이다. 자연에서 일어날 수 없는 점프다. 그리고 "The cause of the break has not been independently verified." 라는 문장까지 스스로 남겼다. 원인이 독립적으로 확인되지 않았다고 적어 놓고 결론란에는 "감소"를 썼다.

DeepSeek Flash 가 한 일은 달랐다. "MODIS Terra (MOD13Q1) is unusable after 2017 in this dataset: the AOI-mean NDVI steps down by ∼0.20 between 2017 and 2018" 라고 쓰고, "while Aqua shows no change" 를 덧붙인 뒤, 센서별로 구간을 잘라 각각 기울기를 구했다. Aqua 2003~2020년, Terra 2001~2017년, VIIRS 2013~2019년이 모두 10년당 +0.011에서 +0.014 사이로 모였다. 그래서 조작 판본에서도 증가라고 답했다.

전체 성적은 GPT-6 Astra 가 77.0, DeepSeek Flash 가 68.1 이다. 더 약한 모델이 이겼다. 이긴 이유는 능력이 아니라 절차다. 다른 위성과 대봤고, 어긋나는 구간을 잘라 냈다. 이 한 장면이 6절의 처방을 대신한다.

여기까지의 논지는 논문 결론이 먼저 적었다. "the bottleneck lies not in executing code over the archive but in two scientific steps: mapping change from the imagery and verifying whether a change in the pixels reflects change on the ground." 병목은 아카이브 위에서 코드를 돌리는 데 있지 않고, 영상에서 변화를 지도로 그리는 일과 픽셀의 변화가 땅의 변화인지 확인하는 일에 있다는 것이다. 이 글이 보탤 수 있는 것은 두 가지뿐이다. 숫자를 분모째 정확히 옮기는 일, 그리고 이 설계를 위성 바깥으로 옮겨 심는 법을 적는 일이다.

옮겨 심기가 가능한 이유는 통제의 구조가 위성과 무관하기 때문이다. 자료를 빼고, 자료만 바꾸고, 아무것도 바꾸지 않는다. 라벨이 붙은 어떤 데이터셋에서도 같은 세 가지를 만들 수 있다. 그 셋에 채점 방식 하나를 더해 네 가지를 차례로 적고, 마지막에 다섯 번째를 덧붙인다.

6.1자료를 빼고 같은 질문을 던진다

입력 없이도 맞히는 문항이 있다면 그 점수는 입력의 몫이 아니다. 모델이 학습 과정에서 본 것, 질문 문장에 새어 들어간 단서, 라벨 분포의 치우침이 대신 답하고 있을 수 있다. EarthRecord 에서 이 통제는 아마존과 아랄해 같은 유명 지역의 점수를 뒤집었다. 평가셋에서 입력 칸을 비우고 같은 질문을 돌려 보는 데는 모델을 새로 돌리는 비용밖에 들지 않는다. 본지가 지난주 다룬 천체 사진 분류 모델 재평가도 같은 계열의 통제였다. 다만 그쪽은 입력을 지우는 제거 실험이었고, 이 글의 5.2절은 입력을 바꾸는 치환 실험이다. 지웠을 때 맞히면 안 보고 답한 것이고, 바꿨을 때 따라가면 대상이 아니라 계측기를 본 것이다.

6.2정답은 그대로 두고 계측값만 바꾼다

대상은 그대로인데 측정 장치 쪽 값만 움직였을 때 답이 따라가면, 그 답은 대상이 아니라 계측기를 본 것이다. 위성 대신 측정 장비가 바뀐 센서 로그, 집계 기준이 바뀐 매출 테이블, 어노테이터가 교체된 라벨 구간을 생각하면 된다. 중요한 것은 조건이다. 조작은 다른 계통과 대보면 반드시 드러나도록 걸어야 한다. 알아챌 길이 없는 조작은 모델의 부주의가 아니라 설계자의 부주의를 잰다.

6.3아무것도 바꾸지 않은 쌍을 같이 돌린다

12%라는 바닥선이 없으면 53.5%는 의미를 갖지 못한다. 모델의 답은 가만히 둬도 어느 정도는 흔들리기 때문이다. 플라시보 쌍은 그 자연 변동을 재는 잣대이고, 만드는 비용도 싸다. EarthRecord 는 맑은 장면의 5%를 무작위로 빼는 것으로 충분했다. 대조군 없는 반사실 실험은 수치를 만들어 내기만 할 뿐 그 수치가 큰지 작은지를 말해 주지 않는다.

6.4같은 질문을 여러 번 묻고 전부 맞아야 1점을 준다

선도 여섯 모델의 틀린 run 347건 중 121건은 같은 모델이 다른 패스에서 맞힌 문항이었다. 한 번만 돌리는 평가표는 그 35%를 보지 못하고, 운이 좋으면 점수로 가져가고 운이 나쁘면 못 가져간다. 세 번 돌려 세 번 다 맞아야 1점을 주는 채점은 점수를 낮추는 장치가 아니라 일관성을 따로 재는 장치다.

6.5다섯 번째 통제는 절차다

5.5절의 두 run 을 다시 보면 처방의 방향이 보인다. 이긴 쪽은 더 센 모델이 아니라 다른 계통과 대보는 절차를 밟은 쪽이었다. 그러니 평가 설계에 넣을 것은 "더 좋은 모델을 쓴다"가 아니라 교차 확인을 채점 항목으로 올리는 일이다. 결론이 맞았는지만 보지 말고, 보고서에 다른 계통과 대본 기록이 있는지를 따로 점수로 매긴다. EarthRecord 가 보여 준 바로는 그 칸이 비어 있는 run 이 전체의 절반이 넘었다.

자기 팀의 평가 설계를 점검하려면 다섯 가지를 물으면 된다. 입력을 지우고 같은 질문을 돌려 본 적이 있는가. 정답을 고정한 채 입력만 흔들어 본 적이 있는가. 아무것도 바꾸지 않은 대조 쌍이 평가셋에 들어 있는가. 같은 문항을 두 번 이상 돌리고 그 일치를 점수에 반영하는가. 모델이 낸 중간 보고에 교차 확인 기록이 있는지를 따로 보는가. 다섯 칸이 모두 비어 있다면, 그 평가표가 재고 있는 것은 정답률 하나뿐이다.

설계를 직접 뜯어보고 싶다면 원본을 열어 볼 수 있다. 논문 결론은 "EarthRecord and its evaluation sandbox will be released." 라고 미래형으로 적지만, 2026년 11월 14일 확인한 바로는 이미 공개돼 있다. Hugging Face 데이터셋과 GitHub 저장소가 모두 열려 있고, 라이선스는 CC BY-SA 4.0, 원본 자료는 686 GB 다. 평가 샌드박스는 오프라인 CPU 컨테이너이고 특별한 장비를 요구하지 않는다.

페블러스가 이 논문에서 가장 오래 들여다본 것은 성적표가 아니라 1절의 한 문장, 스케일 인자와 오프셋과 품질 레이어를 적용하지 않았다는 줄이다. 그 목록이 익숙했기 때문이다.

7.1원격탐사에는 이미 같은 이름의 개념이 있다

위성 자료를 쓰는 업계에는 Analysis Ready Data, 줄여서 ARD 라는 등급이 있다. 국제 지구관측위성위원회(CEOS)의 공식 정의는 "satellite data that have been processed to a minimum set of requirements and organized into a form that allows immediate analysis with a minimum of additional user effort" 이고, 요구 항목은 복사·대기 보정, 기하 보정, 일반 메타데이터, 픽셀별 메타데이터다. 사용자가 받자마자 분석에 들어갈 수 있도록 공급자가 미리 끝내 두는 목록이다.

EarthRecord 의 설계는 이 정의를 정확히 뒤집는다. 업계가 "최소한 이것만은 해 두자"고 합의한 바로 그 목록을 일부러 걷어 냈다. 그리고 그 업계 용어는 페블러스가 말하는 AI-Ready Data 와 약자까지 겹치는 이웃 개념이다. 3주 전 본지가 다룬 OlmoEarth 가 준비를 끝까지 한 쪽이라면, 이 논문은 준비를 하나도 하지 않았을 때 어디에서 비용이 청구되는지를 숫자로 보여 준다.

7.2앞의 세 자리가 모두 데이터 계보 문제다

이 글이 짚은 세 자리에는 공통점이 있다. 센서가 바뀐 줄 모르고 추세를 읽으면 장비의 변화가 땅의 변화로 보고되고, 변수 정의가 기록되지 않으면 같은 자료에서 정반대 결론이 나오며, 품질 딱지를 그대로 믿으면 구름 낀 장면이 맑은 장면으로 들어온다. 셋 다 데이터 계보를 추적하지 않으면 생기는 일이다. 데이터클리닉이 데이터셋을 받을 때 라벨 정의와 수집 조건과 계측 이력을 먼저 묻는 이유가 이것이다. 이 논문은 거기에 한 줄을 더한다. 제공자가 붙여 준 품질 메타데이터 자체가 검증 대상이라는 것이다.

7.3"통째로 주면 알아서 하지 않겠냐"는 물음에 숫자로 답한다

고객사가 그렇게 물어 올 때 이제 답을 어림으로 할 필요가 없다. 무엇이 되고 무엇이 안 되는지가 측정돼 있다. 코드를 돌려 수치를 뽑는 일은 된다. 실패 72건 중 7건이 그 증거다. 안 되는 것은 자기가 방금 만든 중간 산출물이 계측기 탓인지 대상 탓인지 가르는 일이고, 그 구분은 사람이 설계한 대조 실험에서만 드러난다. 도입 설계에 6절의 통제를 넣지 않으면 실패는 조용히 "정답률 높음"으로 보고된다.

운영에 바로 옮길 문장 하나도 5.5절에 있다. 교차 확인을 하면 좋은 것이 아니라 채점 항목으로 올리라는 것이다. 더 약한 모델이 그 절차 하나로 더 센 모델을 이겼다.

7.4우리가 설 자리는 판정이 아니라 설계다

페블러스가 설 자리는 "AI가 분석을 대신할 수 있다, 없다"를 판정하는 쪽이 아니다. 모델이 무엇을 보고 답했는지 가려낼 수 있도록 데이터와 평가를 설계하는 쪽이다. EarthRecord 가 증명한 것은 정답률 한 칸으로는 그 구분이 서지 않는다는 사실이고, 구분을 만들어 내는 것은 자료를 빼 보고 바꿔 보고 안 바꿔 보는 설계 노동이다. 그 노동이 우리 일이다.

본문 수치의 출처를 성격별로 나눠 적는다. 1번부터 4번까지가 이 글이 다룬 시험의 1차 자료이고, 모든 정답률과 분모와 영어 축자 인용이 여기서 나왔다. 5번부터 8번까지는 자료 품질 수치를 견주는 데 쓴 기관 문서와 검증 논문이다. 마지막 묶음은 페블러스 선행 글이다.

1차 — 시험 자체

• 1.Haoran Zhang, Huizhen Sun, Hanbin Wen, Jie Leng, Jiaxin Zhu, Zhaohua Sun, "EarthRecord: From Pixels to Land Change with Multimodal Agents over Four Decades of Satellite Imagery" (arXiv:2611.12934, 2026년 11월 6일 v1, 판본은 하나). arxiv.org — 설계 축자와 열두 모델 성적, 실패 분류 표, 영상 도구 제거 실험, 치환 실험의 다섯 분모, 보고서 다섯 갈래 분류, 뉴카이로 두 run 비교가 모두 여기서 나왔다.
• 2.EarthRecord 프로젝트 페이지 (2026년 11월 14일 열람). ranranrannervous.github.io/EarthRecord — 저자 소속과 리더보드, 686 GB 표기의 출처다.
• 3.EarthRecord 데이터셋, Hugging Face (2026년 11월 14일 접속 확인, CC BY-SA 4.0). huggingface.co — 논문이 "공개 예정"으로 적은 것과 달리 이미 열려 있음을 확인한 자리다.
• 4.EarthRecord 코드 저장소, GitHub (2026년 11월 14일 접속 확인). github.com — 평가 샌드박스 공개 여부를 확인했다.

표준·기관 문서와 검증 연구

• 5.CEOS, "CEOS Analysis Ready Data (CEOS-ARD)" 공식 정의 (2026년 11월 14일 열람). ceos.org/ard — 7.1절의 정의 축자와 네 가지 요구 항목이 여기서 나왔다.
• 6.USGS, "Landsat Collection 2 Level-1 Data" — 등급 1과 등급 2의 구분(위치 오차 12 m 기준)이 적혀 있다. usgs.gov
• 7.USGS EROS, LSDS-1656 Product Definition — 센서별 등급 2 비율(MSS 37%·TM 27%·ETM+ 17%·OLI/TIRS 15%). 1.1절에서 7.8%가 공표 범위 안이라고 적은 근거다.
• 8.Foga 외, "Cloud detection algorithm comparison and validation for operational Landsat data products" (Remote Sensing of Environment, 2017) 및 DLR 의 센티넬-2 구름 마스크 검증 보고 — 구름 누락률 7~14%와 16.5~37.4%의 출처로, 1.1절의 2.5%를 견주는 데 썼다.

페블러스 선행 글

• 9.OlmoEarth, 지구 전체 위성 사진을 숫자로 바꿔 둔다 (2026년 10월 23일) — 전처리를 끝까지 한 쪽의 대조군으로 1절과 7.1절에서 인용했다.
• 10.AI 날씨 모델이 못 배우는 것은 정확도가 아니라 시간을 표본하는 방식이다 (2026년 7월 9일) — 4절의 시간 표본 논의가 딛고 선 선행 글이다.
• 11.천체 사진 분류 AI, 은하를 지워도 넷 중 셋은 맞힌다 (2026년 11월 6일) — 6.1절에서 제거 실험과 치환 실험의 차이를 가르는 데 썼다.