Executive Summary

주요 수치

출처: Sasli, Coughlin, Anomaly-ranked confirmation slows new-class learning, arXiv:2611.03250(2026)

처음 보는 종류를 찾아내는 자리에는 대개 두 모델이 나란히 선다. 알려진 부류로 학습한 분류기가 하나 있고, 그 분류기에게 낯선 입력을 짚어 주는 이상 탐지기가 하나 있다. 탐지기가 수상한 순서로 후보를 줄 세우면 전문가가 위에서부터 확인한다. 천문대에서는 분광 관측이고, 병원에서는 판독이며, 공장에서는 육안 검사다. 확인이 끝난 사례는 새 부류의 학습 데이터로 들어가고, 분류기는 그만큼 부류를 하나 더 알게 된다.

사슬리와 코글린이 물은 것은 이 흐름의 한 칸이다. 발견에 쓰는 순위를 학습에도 그대로 써도 되는가. 두 사람은 다섯 자료에서 이미 알려진 부류 하나씩을 일부러 숨겨 새 부류처럼 다루고, 확인 건수를 늘려 가며 분류기가 그 부류를 얼마나 알아보게 되는지 측정했다. 비교 대상은 같은 건수를 무작위로 뽑아 확인한 경우다.

이 물음은 두 사람의 앞선 작업에서 나왔다. 저자들이 만든 FLARE 탐사 파이프라인도 숨긴 부류의 확인 사례를 학습에 돌려보내며 인식률을 측정했는데, 그때 확인 대상은 이상 순위와 상관없이 뽑았다. 반면 이상 탐지를 앞세운 실제 후속 관측 프로그램에서는 탐지기가 어느 사례에 라벨이 붙는지까지 함께 정한다. 이번 논문은 두 조건이 갈라지는 그 대목을 집어 들었다.

다섯 자료는 분야가 서로 겹치지 않는다. 중력파 검출기의 잡음을 22가지 형태로 나눈 Gravity Spy, 12리드 심전도 공개 자료 PTB-XL, ZTF 밝은 천체 탐사에서 모은 광도곡선, 그리고 사진 쪽의 CIFAR-100과 Food-101이다. 한 분야의 습관이 만든 결과가 아니라는 점을 보이려고 고른 구성이다.

첫 측정은 사례 하나하나를 본다. 숨긴 부류에 속한 사례를 탐지기가 짚어 낸 것과 그러지 못한 것으로 가른 뒤, 같은 분류기로 양쪽 인식률을 비교했다. 이 분류기는 무작위로 뽑은 확인으로 승격한 모델이라, 어느 집단을 학습에 썼느냐는 비교에서 빠지고 어느 집단이 더 잘 인식되느냐만 남는다. 다섯 자료 전부에서 짚어 낸 쪽이 더 적은 확인으로 인식됐다.

Gravity Spy에서는 확인 한 건 뒤 짚어 낸 사례의 인식률이 0.69였고, 그러지 못한 사례는 0.24였다. 두 값이 만나는 데 약 40건이 들었다. CIFAR-100에서는 한 건 뒤 0.86에 닿았는데, 짚어 내지 못한 쪽은 40건을 확인하고도 0.79에 머물렀다. Food-101도 0.72와 0.57로 같은 모양이다. 심전도에서는 짚어 낸 사례의 인식률이 확인 건수가 늘수록 오히려 내려갔지만, 그러지 못한 사례보다는 늘 높았다.

탐지기가 유능해서 생긴 결과로 읽기 쉽다. 논문은 반대쪽에서 읽는다. 탐지기가 고르는 영역은 그 부류에서 특징이 가장 두드러져 분류기가 이미 손쉽게 배우는 자리다. 확인 예산을 그 자리에만 반복해 쓰면 부류의 나머지 생김새를 볼 기회가 사라진다. 같은 열 건이라도 어디에서 뽑느냐에 따라 분류기가 보는 그림이 달라진다.

두 번째 측정은 선택 규칙 자체를 겨눈다. 탐지기 상위 n건, 무작위 n건, 탐지기 하위 n건으로 확인 대상을 각각 고르고 학습기와 평가 방식은 고정했다. 이 비교는 다섯 자료 가운데 Gravity Spy와 CIFAR-100과 심전도 세 곳에서만 돌았다.

열 건을 확인한 시점에서 Gravity Spy는 22개 부류 중 20개, CIFAR-100은 13개 전부, 심전도는 11개 중 10개에서 탐지기 선택이 무작위보다 낮았다. Gravity Spy의 평균 차이는 0.17이고, 학습 시드 세 개를 평균한 95% 부트스트랩 구간은 0.11에서 0.24 사이다. 이 구간이 0을 품지 않는 대목은 세 자료 모두에 있다. Gravity Spy는 확인 다섯 건부터, CIFAR-100은 측정한 모든 지점에서, 심전도는 여섯 지점 가운데 다섯에서 그랬다. 확인을 스무 건으로 늘려도 격차는 남는다. 탐지기 선택이 0.66, 무작위가 0.82다.

격차를 라벨 비용으로 환산하면 숫자가 커진다. 무작위 열 건과 같은 인식률에 닿으려면 탐지기 순위로는 Gravity Spy에서 열여덟 건, 심전도에서 열아홉 건을 확인해야 한다. CIFAR-100은 더 나쁘다. 탐지기 선택 스무 건이 무작위 다섯 건의 인식률에도 못 미쳤다.

맨 위의 극단값 몇 개가 만든 착시가 아니냐는 물음에도 논문은 답을 준비해 두었다. 상위 2n건 가운데 n건을 무작위로 뽑는 방식으로 바꿔도, Gravity Spy에서 검증한 여덟 부류 전부에서 무작위보다 여전히 낮았다. 반대로 가장 안 수상한 것부터 고르는 규칙은 무작위와 비슷하거나 조금 낮은 수준이었다. 순위의 맨 위가 특별히 나쁜 것이지, 순위를 뒤집는다고 좋아지지는 않는다는 뜻이다.

4.1분류기에게 다음 차례를 넘긴다

첫 방법은 순위의 주인을 바꾼다. 탐지기 상위 두 건만 먼저 확인해 새 부류를 세운 뒤, 그다음부터는 그 부류를 배운 분류기가 경보를 울린 후보 가운데 무작위로 뽑아 확인한다. 열 건 시점에서 Gravity Spy는 탐지기와 무작위 사이 격차의 63%를, CIFAR-100은 72%를 되돌렸다. 심전도에서는 개선이 없었다. 같은 분류기를 쓰더라도 확률이 가장 높은 후보만 집어내게 하면, 경보 안에서 무작위로 뽑을 때보다 오히려 나빴다.

현장에 가까운 조건에서도 결과는 뒤집히지 않았다. 목표 부류 후보에 또 다른 숨긴 부류와 기존 학습 데이터 일부를 섞은 스트림에서, 탐지기 상위권은 진짜 목표 부류를 더 많이 담았다. 스무 건을 확인했을 때 Gravity Spy에서는 15.6건 대 12.9건이었다. CIFAR-100도 10.8건 대 7.2건으로 같은 방향이다. 그런데 인식률은 더 낮았다. 같은 스무 건 시점에서 Gravity Spy는 0.57 대 0.66, CIFAR-100은 0.70 대 0.72로 무작위 쪽이 앞섰다. 섞이지 않은 스트림을 쓴 앞 절의 스무 건 수치와는 조건이 달라 그대로 견주지는 못한다. 두 자료 모두에서 가장 높은 인식률을 낸 것은 분류기에게 넘긴 방식이었다.

4.2이미 아는 이웃을 멀리 둔다

두 번째 방법은 새 부류가 아니라 이미 아는 부류 쪽을 건드린다. Gravity Spy의 21개 부류마다 가장 가까운 기존 세 부류로 짠 분류 체계와 가장 먼 세 부류로 짠 체계를 놓고, 나머지 조건은 고정한 채 비교했다. 멀리 둔 쪽에서 80% 인식률에 필요한 확인 건수가 21개 중 18개 부류에서 줄었고, 중앙값은 4.3건에서 1.6건으로 내려갔다. CIFAR-100에서도 의미가 가까운 형제 네 부류를 다른 상위부류의 네 부류로 바꾸자 100개 중 99개 부류에서 성적이 올랐다.

저자들은 여기에 선을 그어 두었다. 이 개입이 보인 것은 이미 아는 부류의 구성이 학습 비용을 좌우한다는 의존성이지, 거리를 얼마나 벌리면 비용이 얼마나 준다는 법칙이 아니다. 실제로 방향별 거리 증가량과 비용 감소폭의 상관계수는 −0.04로 사실상 무관했다. 멀리 두면 대체로 싸진다는 것까지가 이 실험이 보인 전부다.

여기까지가 논문이다. 범위도 저자들이 직접 적어 두었다. 사례 수준 분석은 뒤이은 실험을 촉발한 탐색적 단계이고, 선택 규칙 비교는 다섯 자료 가운데 셋에서만 돌았다. 알려진 부류를 숨겨 새 부류처럼 다루는 설정이 진짜 처음 마주치는 모집단과 같지 않을 수 있다는 단서도 본문에 있다. 사전 등록한 기준 가운데 충족되지 못한 항목은 그대로 보고했고, 라벨에 잡음이 섞인 경우와 부류마다 확인 비용이 다른 경우는 다음 과제로 남겼다.

논문 밖으로 나가면 이 구조는 천문대와 병원만의 사정이 아니다. 사람이 볼 수 있는 건수가 정해져 있고 그 건수를 무엇으로 채울지 누군가 정하는 곳이면 같은 질문이 선다. 제조 품질 검사, 사기 탐지, 의료 판독, 문서 검수 대기열이 모두 그렇다. 대부분 가장 이상한 것부터 위로 올린다. 그 순서를 무작위 표본과 나란히 놓고 비교해 본 팀은 드물다.

그렇다면 우리는 무엇부터 물어야 하나. 세 가지는 차례로 짚어 볼 만하다.

• 우리 대기열은 무엇으로 줄을 세우는가. 이상 점수 하나인가, 다른 기준이 함께 들어가는가.
• 그 순서를 무작위 표본과 비교한 기록이 있는가. 없다면 대기열의 일정 비율을 무작위로 채워 두는 일 자체가 한 번의 실험이 된다.
• 이 검수의 목적이 발견인가 학습인가. 당장 이상을 찾아내는 일과 다음 모델을 가르치는 일에 같은 순서를 쓸 이유는 없다.

마지막 물음이 특히 중요하다. 논문이 측정한 것은 새 부류를 가르치는 비용이지 이상을 빨리 찾아내는 성능이 아니다. 당장 사고를 막아야 하는 자리라면 가장 수상한 것부터 보는 순서가 여전히 옳다. 두 목적이 한 대기열에 섞여 있을 때 손해가 조용히 쌓인다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2611.03250에서 볼 수 있고, 실험 코드는 저자들이 label-cost 저장소에 공개해 두었다. 검수 대기열에 무작위 몫을 이미 섞어 두고 있는 팀이 있다면, 비율을 어떻게 정했는지 나눠 주시면 좋겠다.

• 1.Sasli, A., & Coughlin, M. (2026). "Anomaly-ranked confirmation slows new-class learning." arXiv:2611.03250 [astro-ph.IM].
• 2.Sasli, A. et al., & Coughlin, M. (2026). "Photometric classification and out-of-taxonomy detection of ZTF transients with FLARE." arXiv:2610.30656.