Executive Summary

주요 수치

출처: Marinho, Object-independent evaluation of small-data astronomical image classifiers, arXiv:2611.06484(2026)

비교 대상은 셋이다. 처음부터 학습시킨 CNN·트랜스포머 혼합 모델, ImageNet으로 미리 학습한 ResNet-50, 같은 방식으로 미리 학습한 ViT-B/16. 무작위 시드 세 개를 고정했고, 시험 세트에서는 예측을 먼저 한 번 기록한 다음에야 채점 쪽이 정답을 열어 보도록 절차를 묶어 뒀다. 같은 시험지를 여러 번 풀어 가장 잘 나온 회차를 고르는 일을 설계로 막은 것이다.

성적은 균형 정확도로 적는다. 네 종류 각각의 적중률을 구해 평균한 값이라, 어느 종류의 표본이 더 많아도 한쪽으로 쏠리지 않는다. 무작위로 찍으면 0.25다. 화각을 그대로 살린 적응형 뷰에서 세 모델은 각각 0.773±0.014, 0.874±0.054, 0.866±0.023을 냈다. 처음부터 학습시킨 모델만 한 칸 아래에 있고, 미리 학습한 둘은 붙어 있다.

붙어 있는 정도가 0.007이다. 군집 부트스트랩으로 구한 95% 구간은 −0.048에서 0.062까지다. 구간이 0을 품으니 어느 쪽이 낫다고 말할 근거가 없고, 아홉 개의 무작위화 검정에 Holm 보정을 걸었을 때도 기각되는 비교는 하나도 없었다.

눈에 띄게 벌어진 자리는 따로 있다. 처음부터 학습시킨 모델이 0.773으로 아래에 처지고, 그 처짐이 가장 선명한 종류는 성운이다. 이 모델은 성운의 27.5%만 맞혔고 51.0%를 산개성단으로 보냈다. 같은 자리에서 ResNet-50은 76.5%, ViT-B/16은 80.4%를 맞혔다.

이 격차에서는 부트스트랩 구간 몇 개가 0을 비껴갔는데도 Holm 보정을 통과한 검정은 없었다. 저자는 이 어긋남을 모순으로 보지 않는다. 보정하지 않은 개별 구간과 아홉 개 검정 전체의 오류율을 잡는 Holm은 애초에 서로 다른 질문에 답한다. 그래서 이 격차도 보정을 통과한 우열의 증거로 올리지 않고 서술적인 효과 추정치로만 다룬다.

그 격차를 구조의 공으로 돌릴 수도 없다. 처음부터 학습시킨 모델만 ImageNet 가중치 없이 출발했기 때문이다. 사전학습 모델 둘이 쥔 이점에는 구조와 함께 파라미터 구성, 최적화 설정, 전이학습이 섞여 있다. 논문이 초록 마지막 줄에 적어 둔 문장이 이것이다. 이 비교는 모델 구조를 사전학습에서 떼어 내지 못한다.

사진을 모델에 넣는 방식은 둘로 나눠 뒀다. 하나는 원본 512×512 필드를 그대로 두고 면적을 정확히 맞춰 축소하는 적응형 뷰다. 천체마다 5각분에서 120각분까지 다른 화각이 그대로 남는다. 각분은 각도의 작은 단위라, 보름달 지름이 31각분쯤 된다고 보면 5각분은 보름달의 6분의 1, 120각분은 보름달 네 개를 늘어놓은 폭이다. 다른 하나는 모든 천체를 4각분 시야로 다시 샘플링해 화각 차이를 지운 공통 화각이다.

가림 대조군은 이 둘에서 각각 가운데를 지운다. 적응형 뷰에서는 중앙 128×128 화소를 0으로 채웠고, 공통 화각에서는 유효 16×16 격자의 가운데 4×4 칸을 0으로 채웠다. 밝기 대비를 맞추는 백분위 계산에도 가려지지 않은 화소만 썼다. 사진에서 주인공이 있던 자리를 도려내고 배경만 남긴 셈이다.

그렇게 도려낸 사진으로 네 종류를 가른 균형 정확도가 0.731에서 0.800이다. 무작위로 찍었을 때의 세 배에 가깝고, 온전한 사진으로 얻은 0.87과도 그리 멀지 않다. 배경과 여백만 보고도 천체의 종류가 상당 부분 읽힌다는 뜻이다.

모델별로 보면 깎인 폭이 고르지 않다. ViT-B/16은 온전한 사진의 0.866에서 0.800으로 내려앉는 데 그쳤다. 사진에서 천체를 통째로 지운 대가가 0.07에 못 미친다. 공통 화각에서 가운데를 가린 쪽은 더 떨어져 0.608에서 0.667이었다. 그래도 바닥인 0.25의 두 배가 넘는다. 화각과 천체를 한꺼번에 빼앗아야 비로소 성적이 눈에 띄게 꺾인다.

저자는 이 대조군의 한계를 함께 적어 둔다. 성운이나 산개성단처럼 퍼져 있는 천체는 가장자리가 가림 바깥으로 삐져나올 수 있다. 그래서 이것은 빈 하늘을 보장한 대조군이 아니라 맥락 대조군이다. 다만 그 단서를 붙이고도 성적의 대부분이 살아남는다는 사실은 그대로 남는다.

가장 단순한 대조군은 사진을 아예 주지 않는 쪽이다. 입력은 다섯 개로 묶었다. 화각, 픽셀 크기, 카탈로그에 적힌 천체 크기를 각각 로그로 바꾼 값 셋에, 크기 값이 비어 있는지 알려 주는 표시와 화각이 상한에 걸렸는지 알려 주는 표시를 더했다. 천체 이름과 파일 경로, 색인 번호는 뺐다. 이름을 남겨 두면 모델이 사진 대신 이름을 외울 테니, 지름길 가운데 가장 뻔한 하나를 먼저 치운 것이다.

모델도 가볍다. 종류별 가중치를 맞춘 다항 로지스틱 회귀와 깊이 3짜리 결정트리를 학습 천체에만 적합시켰다. 신경망도, 사전학습도, 사진도 없다. 이 대조군이 0.721에서 0.735를 냈다. 사진을 한 장도 보지 않고 "이 사진을 어떻게 찍었는가"만 아는 모델이, 사진을 전부 본 ResNet-50이 올린 성적의 상당 부분에 이미 도달해 있다.

이 대조군이 무엇을 측정한 것인지는 저자가 좁혀 둔다. 입력 다섯 개 가운데 화각과 픽셀 크기와 상한 표시는 사진을 어떻게 찍었는지를 말하지만, 카탈로그에 적힌 천체 크기와 그 값의 결측 여부는 천체 자신의 성질이다. 그러니 0.72는 촬영 설정만으로 얻은 점수가 아니라 둘을 합친 정보가 쥔 예측력이고, 이 수치만으로 누출의 인과가 증명되지는 않는다고 논문은 적는다.

세 조건을 한 눈금 위에 올려 보면 격차의 크기가 눈에 들어온다. 무작위 0.25에서 온전한 사진의 0.87까지가 이 과제에서 벌 수 있는 전부인데, 사진을 통째로 뺀 자리가 이미 그 구간의 4분의 3을 지나 있다.

촬영 기록이 정답을 품게 된 경위는 관측 관행에 있다. 넓게 퍼진 천체는 넓게 찍어야 화면에 다 들어오고, 작고 조밀한 천체는 좁게 찍어도 충분하다. 카탈로그에 그렇게 쌓인 사진을 종류별로 줄 세우면 화각 분포가 갈린다. 논문 표 1이 그 갈림을 숫자로 보여 준다.

네 종류 모두 최솟값은 5각분으로 같다. 갈리는 쪽은 위쪽 꼬리다. 출처: 논문 표 1.

은하와 구상성단은 중앙값이 나란히 5각분이고 위로도 거의 자라지 않는다. 성운은 중앙값이 15각분, 산개성단은 27.2각분이며 둘 다 최대 120각분까지 간다. 논문은 이 갈림을 한 숫자로 요약한다. 천체 종류가 로그 화각 분산의 0.5827을 설명한다. 사진을 들여다보지 않고 화각 하나만 알아도 종류 맞히기의 절반 이상이 이미 끝나 있다는 뜻이다.

화각 차이를 지우면 성적이 내려갈까. 앞 절에서 본 공통 화각으로 바꿨을 때 처음부터 학습시킨 모델은 0.704, ResNet-50은 0.737, ViT-B/16은 0.793을 냈다. 셋 다 적응형 뷰보다 낮다. 그런데 저자는 이 낙폭을 화각 단서를 걷어낸 비용으로 읽지 말라고 못 박는다. 공통 화각은 유효 16×16짜리 성긴 격자라 조밀한 천체를 뭉개고 퍼진 구조는 잘라 낸 다음 다시 224×224로 늘린 사진이다. 두 표현의 차이에는 각적 맥락과 배율 정규화와 정보 손실이 한데 섞여 있어서, 화각 하나만 떼어 낸 개입이 아니다.

이렇게 과제와 무관한 단서가 정답과 붙어 다니며 모델의 지름길이 되는 현상에는 이미 이름이 있다. 지름길 학습(shortcut learning)이라는 말은 2020년 『네이처 머신 인텔리전스』에 실린 Geirhos 연구진의 글에서 왔고, 종류에 따라 달라지는 촬영 선택도 지름길이 될 수 있다는 지적이 그 글에 들어 있다. 이번 논문은 그 지적을 천문 데이터에서 수치로 확인한 사례에 해당한다.

370개를 222개·75개·73개로 자를 때 저자가 지킨 규칙은 하나다. 같은 천체에서 나온 것들을 쪼개지 않는다. 한 천체를 찍은 서로 다른 밴드, 서로 다른 렌더링, 서로 다른 크롭, 서로 다른 관측은 독립된 물리적 예시가 아니라는 판단이다. 그래서 시야가 겹치는 성분들까지 묶어 나눌 수 없는 배정 단위로 만든 뒤, 그 단위째로 학습·검증·시험에 배정했다. 그렇게 둘 이상이 한 덩어리로 묶인 경우가 17개다.

묶고 나면 파일 수와 대상 수가 갈라진다. 이 수집물에는 DSS2의 파랑·빨강·근적외 밴드를 합쳐 FITS 파일이 1,110개 들어 있지만, 서로 다른 천체는 370개다. 파일을 한 건으로 세면 데이터가 세 배로 보이고, 천체를 한 건으로 세면 원래 크기가 보인다. 어느 쪽으로 세느냐가 분할의 단위를 정하고, 분할의 단위가 성적의 의미를 정한다.

이 규칙을 지키지 않으면 무슨 일이 생기는지는 거꾸로 보면 금방 보인다. 이미지 단위로 무작위 분할하면 한 천체의 파란 밴드는 학습에, 붉은 밴드는 시험에 들어간다. 모델은 시험에서 처음 보는 대상을 만나는 것이 아니라 어제 본 대상을 다시 만난다. 그렇게 나온 점수에는 일반화와 암기가 섞이고, 둘을 가를 방법은 사라진다. 데이터 누출과 잘못된 분할 단위가 머신러닝 기반 과학의 재현성을 위협한다는 정리는 2023년 Kapoor와 Narayanan이 내놓았고, 이 논문도 그 글을 근거로 든다.

그래서 저자가 맺음말에 적은 권고는 셋으로 모인다. 물리적 객체 단위로 나눌 것, 지름길을 명시적으로 통제할 것, 시험은 미리 정해 둔 절차로 한 번만 볼 것. 셋 다 한 문장에서 나온다. 보지 않은 천체에서 높은 정확도가 나왔다는 것은 이 수집물 안에서 일반화가 됐다는 증거이지, 모델이 의도한 천문학적 형태를 배웠다는 증거는 아니라는 문장이다.

여기부터는 논문 밖이다. 이 실험의 구도를 천문학에서 떼어 내면 남는 것은 익숙한 장면이다. 조직은 벤치마크 점수표를 놓고 모델을 고르고, 소수점 아래 둘째 자리의 차이로 모델 구조를 바꾼다. 그런데 이 논문이 보여 준 것은 그 자릿수의 차이가 평가 데이터를 모은 방식 앞에서 얼마나 작아지는지다. 모델을 바꿔 얻은 차이는 0.007이었고, 대상을 통째로 지우고도 0.73이 남았다.

천문 데이터에서 같은 종류의 문제를 짚은 글이 이 블로그에도 몇 편 있다. 루빈 천문대 LSST의 검출 격차는 정답표의 구성 비율이 모델의 성적을 어디서 가르는지를 봤고, 은하 막대를 찾는 AI BRAHMa는 정답표가 흔들리면 그 위의 정확도도 흔들린다는 쪽이었다. 둘 다 라벨 쪽을 봤다면, 이번 논문은 입력 쪽을 본다. 라벨이 정확해도 입력에 촬영 관행이 묻어 있으면 성적표는 그 관행을 읽는다.

벤치마크 데이터셋 자체에 정답이 새는 사례는 천문 밖에서도 나온다. 같은 행이 학습과 시험에 함께 들어가 있던 이상 탐지 벤치마크가 그랬다. 점수를 만든 것이 모델인지 데이터인지 묻는 질문은 분야를 가리지 않는다. 평가 데이터를 들고 있는 조직이라면 세 가지는 지금 당장 확인할 수 있다.

• 우리 평가 데이터는 이미지나 파일을 한 건으로 세는가, 아니면 그 뒤에 있는 실제 대상을 세는가.
• 같은 대상에서 나온 여러 벌의 데이터가 학습과 시험에 나뉘어 들어가 있지는 않은가. 촬영 각도만 다른 사진, 같은 환자의 다른 날 기록, 같은 문서의 다른 판본이 여기에 해당한다.
• 본문을 지우고 메타데이터만 남겨 돌렸을 때 성적이 얼마나 나오는가. 이 대조군은 로지스틱 회귀 한 줄이면 돌아가고, 한 번 돌려 보면 우리 점수의 바닥이 어디인지 알 수 있다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2611.06484에서, 프로토콜과 설정과 예측 기록을 담은 재현 자료는 저자의 공개 저장소에서 볼 수 있다. 사내 평가 데이터에서 분할 단위를 대상 기준으로 바꿔 본 팀이 있다면, 점수가 얼마나 내려갔는지 들려주시면 좋겠다.