Executive Summary

주요 수치

네 숫자 모두 다섯 번 되풀이한 실험에서 나온 범위다. 하나의 값으로 떨어지지 않고 범위로 적힌다는 사실 자체가 하나의 결과다. 설정을 그대로 둔 채 난수만 바꿔도 결과가 아래 범위만큼 벌어진다.

출처: Selective Transfer Learning for Groundwater Level Anomaly Forecasting, arXiv 2610.37733.

논문이 맞세운 것은 네 가지 방식이다. 모두 같은 신경망 구조를 쓰고, 다른 것은 남의 데이터로 배운 것을 얼마나 들이느냐뿐이다.

• • 사전학습 없음(No TL). 네덜란드 관측정 데이터만으로 처음부터 학습한다. 비교의 바닥이 되는 기준선이다
• • 늘 전이(Always TL). 수문기후 격자 자료로 먼저 학습한 뒤 관측정 데이터로 미세조정한다. 업계에서 전이학습이라 부를 때 대개 가리키는 방식이다
• • 전체 고정 혼합(Global Convex Blend). 위 두 모델의 예측을 섞되, 섞는 비율은 실험 한 번에 하나로 고정한다. 모든 우물이 같은 비율을 쓴다
• • 맥락 인식 선택 학습(CASL). 같은 두 모델을 섞되, 섞는 비율을 우물마다 그리고 시점마다 다르게 정한다. 저자들이 제안한 방식이다

다섯 번의 반복 실험을 평균한 결과는 아래와 같다. 오차(RMSE·MAE)는 낮을수록, 설명력(R²)은 높을수록 좋다.

출처: arXiv 2610.37733 표 2. 다섯 개 시드의 평균과 표본 표준편차다.

표만 보면 넷은 거의 같은 모델이다. 가장 좋은 방식과 가장 나쁜 방식의 RMSE 차이가 0.016인데, 각 값에 붙은 흔들림 폭이 그만큼이거나 그보다 크다. 평균만 적힌 보고를 받는 자리라면 "전이학습을 적용해 오차를 소폭 개선했다"는 한 줄로 끝났을 것이다.

열을 하나씩 짚으면 앞서는 방식이 바뀐다. 오차의 크기를 그대로 평균 내는 MAE에서는 늘 전이가 0.902로 가장 낮고 선택적 방식이 0.904로 그 뒤를 따른다. 큰 오차에 벌점을 더 얹는 RMSE와 설명력 R²에서는 순서가 뒤집혀 선택적 방식이 앞선다. 연구진은 가장 좋은 모델이 무엇을 손실로 잡느냐에 따라 달라진다는 것을 이 비교에서 일관되게 나타난 패턴으로 적었다. 차이가 모두 흔들림 폭을 넘지 않아 순위를 못 박을 일은 아니지만, 열 하나만 떼어 보고 방식을 고르면 다른 열에서는 다른 답이 나온다는 사실은 표가 이미 담고 있다.

우물 단위로 나누면 그림이 달라진다. 늘 전이 방식은 다섯 번의 실험에서 18.38~51.86%의 우물을 사전학습 없는 모델보다 나쁘게 만들었다. 가장 심했던 시드 42에서는 457곳 가운데 201곳, 그러니까 43.98%가 손해를 봤다. 같은 설정에 난수 씨앗만 바꿨는데 피해 규모가 두 배 넘게 흔들렸다. 손해 본 우물이 전체의 5분의 1에 그칠지 절반에 닿을지는 미리 알 수 없다.

다만 이 흔들림이 무엇의 흔들림인지는 연구진이 선을 그어 두었다. 다섯 번의 반복은 자료와 분할을 고정한 채 학습 과정의 난수만 바꾼 것이라, 18.38~51.86%라는 범위가 말해 주는 것은 학습의 무작위성이다. 다른 시기로 옮기거나 다른 우물 집단에 걸었을 때 얼마나 더 벌어질지는 이 범위가 답하는 물음이 아니다.

대상은 네덜란드 지하수 관측정 457곳이다. 모델이 맞혀야 하는 것은 평년과 견준 지하수위의 어긋남, 즉 이상치다. 입력은 빠진 달 없이 이어진 아홉 달치 관측이고, 맞혀야 하는 것은 정확히 세 달 뒤의 값이다. 비어 있는 달을 앞뒤 값으로 채워 넣는 보간은 쓰지 않았다. 빠진 구간을 메워 억지로 창을 만들면 모델이 자기가 만든 매끄러움을 다시 맞히게 되는데, 그 지점을 먼저 닫아 둔 셈이다. 그렇게 남은 시험 구간이 1만 3718개다. 학습은 2008년 7월까지의 기록으로 하고, 시험은 2013년 6월부터 2016년 6월까지 떼어 두었다.

그 사이를 더 잘게 보면 구간은 네 토막이다. 학습에 쓴 기록은 1996년 10월부터 2008년 7월까지이고, 2008년 8월부터 2011년 6월까지가 검증, 2011년 7월부터 2013년 5월까지가 보정, 그 뒤 2016년 6월까지가 시험이다. 세 번째 토막인 보정 구간은 4절에 나오는 선택 장치를 맞추는 데만 쓰려고 따로 떼어 둔 자리다. 네 토막이 시간 순으로 이어져 있으니 앞 구간으로 학습한 모델이 뒤 구간을 미리 보는 길은 설계에서 닫혀 있다.

남의 데이터, 그러니까 소스 도메인은 TSMP-G2A·COSMO-REA6·GLEAM 세 가지 수문기후 격자 자료다. 격자 512칸에서 12만 2880개의 행이 나오는데, 연구진은 이 가운데 네 칸만 골라 썼다. 고른 기준은 겹치는 기간의 궤적이 얼마나 닮았는지를 코사인 유사도로 계산해 0.60을 넘는 칸만 남기는 방식이고, 그 뒤 시드 42에서 늘 전이 방식의 검증 오차만 보고 한 번 확정한 다음 다섯 번의 실험 내내 고정했다.

여기서 짚어 둘 것이 있다. 소스와 타깃은 같은 종류의 데이터가 아니다. 한쪽은 넓은 칸의 평균을 내놓는 기후 모델 산출물이고, 다른 쪽은 땅에 박힌 관측정 한 점의 수위다. 비슷한 신호를 담고 있지만 같은 자를 쓰지는 않는다. 연구진은 이 어긋남이 우물마다 결과가 갈리는 데 영향을 줄 수 있다고 적으면서도, 그것이 원인이라고 단정하지는 않았다.

남의 모델을 들일 때 가장 먼저 떠오르는 안전장치는 비슷한 데이터를 고르는 일이다. 우리 현장과 닮은 데이터로 배운 모델이라면 덜 어긋나리라는 기대이고, 이번 연구도 소스 칸을 고를 때 유사도 문턱을 걸었다.

그런데 유사도와 전이 성과의 관계를 따로 계산해 보면 기대가 흔들린다. 격자 512칸 전체에서 그 상관은 −0.080에서 0.054 사이였고, 문턱을 통과해 실제로 쓰인 네 칸 안에서도 −0.056에서 0.072 사이였다. 크기가 작을 뿐 아니라 부호가 뒤집힌다. 닮을수록 좋아진다고도, 닮을수록 나빠진다고도 말할 수 없는 상태다. 연구진 자신도 이 비교가 무엇이 더 중요한지를 가리거나 원인을 밝히거나 실패를 미리 잡아내는 근거는 되지 못한다고 못 박았다.

이것이 전이학습에서 네거티브 전이(negative transfer)라 부르는 현상의 실물이다. 소스에서 배운 표현이 타깃의 패턴과 어긋나면, 미리 배운 것이 출발점이 아니라 걸림돌이 된다. 정작 그 어긋남은 평균 지표에 거의 드러나지 않는다. 이득 본 우물과 손해 본 우물이 서로를 상쇄하면 전체 오차는 조용히 제자리를 지킨다.

연구진이 택한 길은 전이를 쓸지 말지를 우물마다 다시 묻는 것이다. 두 부모 모델(사전학습 없음, 늘 전이)을 먼저 학습해 얼려 두고, 그 둘의 예측을 얼마나 섞을지를 정하는 게이트를 따로 학습시킨다. 게이트가 보는 입력은 47개인데, 최근 수위 상태와 달력 정보, 계절을 나타내는 사인·코사인 값, 그 우물의 학습 기간 평균과 변동 폭 같은 이력, 그리고 소스와의 유사도 요약이 들어간다. 게이트는 히스토그램 그래디언트 부스팅 모델이고, 관측 하나하나마다 0과 1 사이의 혼합 비율을 내놓는다. 이 게이트를 맞추는 데 쓴 보정 데이터는 우물 407곳에서 나온 6562개 관측이다.

그 6562개는 2011년 7월부터 2013년 5월까지의 보정 구간에서만 뽑았다. 그런데 이 구간에서 쓸 만한 창이 하나도 나오지 않은 우물이 50곳 있었다. 게이트를 맞추는 데 참여한 우물은 457곳 가운데 407곳이고, 나머지 50곳은 자기 자료가 한 줄도 들어가지 않은 채 시험 집단에 남았다. 현장마다 따로 정해 주겠다는 설계인데, 정할 근거를 모을 자리가 비어 있던 현장이 전체의 10분의 1을 넘는다.

효과는 손해 본 우물에서 가장 뚜렷하다. 늘 전이 방식에 당한 우물 가운데 97.53~99.50%가 선택적 방식에서는 손해를 덜었다. 다만 덜었다는 것과 없앴다는 것은 다르다. 사전학습을 아예 쓰지 않은 기준선보다 좋아진 데까지 간 우물은 23.46~43.78%였다. 시드 42를 예로 들면 손해 본 201곳 가운데 200곳이 조금이라도 나아졌고, 그중 88곳이 기준선을 넘어섰다. 반대로 늘 전이로 이득을 보던 우물 가운데 3.52%는 선택적 방식 때문에 새로 손해를 봤다.

시드 42의 457곳을 겹치지 않는 다섯 갈래로 갈라 보면 비율의 모양이 더 분명해진다. 완전히 되살아난 곳 88, 손해가 줄기만 한 곳 112, 그조차 없던 곳 1, 늘 전이로 보던 이득을 선택을 거친 뒤에도 지킨 곳 247, 새로 손해를 본 곳 9다. 피해와 회복 쪽 숫자만 이어 읽으면 전이가 망쳐 놓은 판처럼 보이는데, 가장 큰 덩어리는 처음부터 득을 봤고 끝까지 그 득을 잃지 않은 247곳이다. 저자들이 전이를 그만두라고 말하지 않는 이유도 거기에 있다.

여기서 저자들이 붙인 단서가 이 논문을 다른 전이학습 논문과 갈라 놓는다. 두 예측을 볼록하게 섞는 연산은 구조상 극단을 깎는다. 나쁜 쪽으로 치우친 예측에 안전한 예측을 조금만 섞어도 오차는 줄어든다. 그러니 부분적인 회복은 게이트가 맥락을 알아봤다는 증거가 아니라 혼합이라는 연산 자체에서 나왔을 수 있다는 것이다. 이 문장은 초록에 그대로 적혀 있다.

선택적 방식과 전체 고정 혼합의 차이가 어떤 모양인지도 같은 시드에서 드러난다. 선택적 방식은 손해가 그대로 남은 우물 113곳에 새로 생긴 9곳을 더해 122곳이 피해 쪽에 남았고, 전체 고정 혼합은 124곳이 남았으되 새로 생긴 피해는 한 곳도 없었다. 총량은 두 곳 차이인데 피해의 성격이 갈린다. 비율을 잘게 쪼갠 쪽은 없던 손해를 만들 수 있고, 하나로 묶은 쪽은 그럴 자리가 없다.

어느 방식이 이겼다고도 적지 않았다. 다섯 번의 실험 가운데 네 번은 전체 고정 혼합 쪽이 더 많은 우물을 지켰고, 네 번은 선택적 방식 쪽이 전체 오차가 낮았다. 정확도와 위험은 맞바꾸는 관계이지 한쪽이 다른 쪽을 포함하지 않는다. 적용 범위에도 선이 그어져 있다. 월 단위 자료라 짧게 스치는 가뭄의 극값은 평탄해지고, 시점을 밀어 가며 재학습하는 실전 방식으로는 검증하지 않았으며, 가뭄 사건을 실제로 잡아내는지는 평가 대상이 아니었다. 선택적 방식과 고정 혼합 방식의 보정 목표가 서로 달라, 맥락 입력이 기여한 몫만 떼어 보는 것도 불가능하다.

우물을 걷어 내면 남는 구조는 낯설지 않다. 데이터가 모자란 현장에 외부에서 학습한 모델을 들이는 일은 제조 설비의 이상 감지에서도, 병원의 영상 판독에서도, 지점마다 손님이 다른 매장의 수요 예측에서도 똑같이 벌어진다. 이때 손에 쥐는 근거는 대개 평균 한 줄이다. 벤치마크 점수가 올랐다거나, 파일럿에서 오차가 몇 퍼센트 줄었다는 문장이다.

이 논문이 보여 준 것은 그 한 줄이 가릴 수 있는 폭이다. 457곳의 평균은 거의 움직이지 않는 동안, 그 안에서 적게는 다섯 곳 중 하나가 손해를 봤다. 평균을 받아 든 쪽은 자기 현장이 어느 편인지 알 방법이 없다. 그래서 남의 데이터로 배운 모델을 우리 데이터에 들일 때, 먼저 확인할 것이 셋이다.

• • 평균 옆에 분포를 같이 요구한다. 오차가 몇 퍼센트 줄었는지가 아니라, 전체 현장 가운데 몇 곳이 나빠졌는지를 같은 보고서에 적게 한다. 표 2만 보면 네 방식은 구별되지 않았고, 구별은 우물 단위로 쪼갠 뒤에야 나타났다
• • 유사도 점수를 보증서로 쓰지 않는다. 소스와 타깃이 닮았다는 수치는 고를 때의 참고는 되어도 성과를 담보하지 않는다. 이 데이터에서는 상관의 부호조차 일정하지 않았다. 닮은 데이터를 골랐으니 안전하다는 문장은 검증 결과가 아니라 기대다
• • 섞은 비율을 기록으로 남긴다. 연구진도 예측값 옆에 혼합 비율을 함께 보고하라고 권한다. 어떤 현장에서 외부 모델에 얼마나 기댔는지가 남아 있어야, 나중에 결과가 어긋났을 때 데이터가 문제였는지 비중이 문제였는지를 되짚을 수 있다

세 번째 항목에는 연구진이 선을 하나 그어 두었다. 예측값 옆에 적어 두는 그 비율은 어느 부모 모델이 더 많이 기여했는지를 나중에 따져 볼 수 있게 해 주는 기록일 뿐, 전이가 안전하다는 확률도 아니고 물리적 인과를 설명하는 값도 아니다. 기록을 남기는 일과 안전을 보장받는 일은 여기서도 다른 칸에 있다.

AI-Ready Data를 이야기할 때 우리는 주로 데이터를 모델이 쓰기 좋은 상태로 만드는 일을 다룬다. 이 논문은 거기에 질문을 하나 보탠다. 들여온 모델이 우리 데이터와 맞는지를 무엇으로 확인할 것인가. 평균 성적표는 그 답이 되지 못했고, 유사도 점수도 되지 못했다. 남은 것은 현장 단위로 쪼개 보는 일과, 쪼갠 결과를 기록해 두는 일이다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치와 인용은 arXiv에 공개된 논문 2610.37733의 초록과 본문에서 확인했다. 논문은 아직 심사 전 공개본이고, 운영하듯 주기적으로 다시 학습시켜 가며 시험한 결과는 들어 있지 않으니 그 점을 감안해 읽어 주시면 좋겠다. 외부에서 학습한 모델을 현장에 들였다가 일부 지점에서만 성적이 떨어진 경험이 있다면, 그때 무엇을 보고 알아차렸는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 11월 1일

학술 논문

• 1.Wu, Y., Alsahag, A. M. M., & Mohammadi Ziabari, S. S. (2026). "Selective Transfer Learning for Groundwater Level Anomaly Forecasting: Accuracy-Risk Trade-offs." arXiv:2610.37733.