Executive Summary

주요 수치

출처: Lamaakal (2026), arXiv:2608.23893 표 III·IV 및 부록 B

결제 로그에 쌓인 거래 한 건을 떠올려 보자. 금액도 시각도 상대 계좌도 기록된 그대로다. 그런데 사기 위험을 판정하는 사내 기준이 상위 25% 금액에서 상위 40% 금액으로 내려간다. 그 순간 이 거래에 붙어 있던 정상 라벨은 근거를 잃는다. 데이터는 한 글자도 바뀌지 않았고, 바뀐 것은 데이터를 해석하는 정의다.

논문도 같은 자리에서 출발한다. 라벨이 낡는 데 저장된 거래가 달라질 필요는 없다. 데이터 품질 논의가 대체로 결측과 오탈자와 이상치를 향하는 동안, 실무에서 라벨을 무효로 만드는 쪽은 규정 한 줄인 경우가 많다.

기존 개념 드리프트 연구는 이런 변화를 관측값이나 예측 오차에서 뒤늦게 추론한다. 성능이 떨어지는 것을 보고 무언가 바뀌었다고 짐작하는 방식이다. 규칙 개정은 사정이 다르다. 누가 언제 어떤 조건을 어떻게 고쳤는지 조직이 이미 알고 있다. 이미 알고 있는 정보를 굳이 데이터에서 다시 알아내고 있다고 저자는 지적한다.

현장의 기본 대응은 단순하다. 과거 기록을 새 기준으로 전부 다시 라벨링하고 모델도 다시 학습시킨다. 논문 벤치마크에서 이 방식의 평균 갱신 시간은 993초였다. 정확도 92.8%를 얻는 대가로 매 개정마다 전체를 한 번씩 훑는 비용을 치른다.

제안된 절차는 개정 전후의 규칙을 각각 조건 그래프로 펼치는 데서 시작한다. 어떤 속성에 어떤 임계값이 걸렸고 조건들이 어떤 논리로 묶였는지를 구조로 표현한 뒤, 두 그래프의 차이만 뽑아 유형이 붙은 델타로 압축한다. 임계값이 내려갔는지, 조건이 하나 추가됐는지, AND가 OR로 바뀌었는지, 관계 경로가 달라졌는지가 여기서 갈린다.

다음 단계가 이 방법의 중심이다. 과거 기록에는 각 라벨이 어떤 조건을 근거로 매겨졌는지가 계보로 남아 있다. 델타를 그 계보에 대조하면 과거 기록 전체가 세 갈래로 나뉜다. 이전 라벨이 여전히 유효함을 증명할 수 있는 기록, 새 규칙을 그대로 실행하면 라벨이 결정론적으로 다시 계산되는 기록, 그리고 규칙만으로는 판정이 서지 않는 기록이다.

첫 번째 갈래가 이 절차의 실질적인 절감분이다. 여기 들어간 기록은 확률적으로 안전해 보여서 건너뛰는 것이 아니다. 변경분이 그 기록의 라벨까지 전파될 수 없다는 것을 조건 그래프의 차단 지점에서 국소 불변성으로 증명한 다음 후보에서 뺀다. 논문은 이를 프로버넌스 안정성 인증서라고 부른다. 이 인증 단계만 떼어 내고 나머지 절차를 그대로 돌린 실험에서는, 영향 레코드 회수율이 98.4%로 거의 그대로인 채 재처리 비율만 14.7%에서 38.9%로 뛰었다. 인증서가 하는 일은 무엇을 다시 매길지 바꾸는 것이 아니라, 다시 볼 필요가 없는 기록을 안전하게 빼 주는 것이다.

자동으로 다시 매길 수 있는 기록은 새 규칙을 실행해 처리하고, 판정이 서지 않는 기록만 사람 손으로 넘어간다. 마지막으로 그렇게 확보한 개정분과 안정 인증 기록을 함께 써서 배포된 모델을 처음부터 다시 학습시키지 않고 국소적으로 보수한다. 지금까지의 규칙 버전과 조건 그래프, 계보 상태, 모델 상태는 버전별로 보관된다.

저자는 부록에서 인증서의 성립 범위에 선을 하나 긋는다. 이론이 보장하는 것은 인증 규칙의 정당성이다. 가정이 성립하는 한 안정으로 선언된 기록은 실제로 불변이다. 계보를 압축하거나 의존 관계를 근사로 복원하는 실제 구현에서는 그 가정이 깨질 수 있고, 그때 영향 레코드 회수율은 정리의 수학적 귀결이 아니라 구현의 경험적 성질이 된다.

평가는 RuleShift-Bench라는 자체 벤치마크에서 이뤄졌다. 모바일 금융거래 636만 건(PaySim), 미국 인구조사 29.9만 건(Census-Income), 네트워크 흐름 254만 건(UNSW-NB15), 논문 인용 그래프 16.9만 노드(ogbn-arxiv)에 일곱 유형의 개정을 걸어 데이터마다 규칙 버전 여덟 개를 만들었다. 임계값 변경과 조건 추가·삭제, 논리 재작성은 네 데이터 모두에 적용됐고, 관계 경로 변경은 관계 구조를 가진 UNSW-NB15와 ogbn-arxiv에만 걸렸다.

비교표에는 재처리 비율이 같은 세 줄이 나란히 놓여 있다. 무작위로 14.7%를 다시 보는 방식, 모델이 불확실해하는 순서로 14.7%를 다시 보는 방식, 계보로 고른 14.7%다. 예산은 같고 어디를 골랐는지만 다른데, 실제로 라벨이 바뀐 기록을 얼마나 건졌는지는 크게 갈렸다.

정확도도 같은 순서를 따랐다. 무작위 88.8%, 불확실성 기반 90.1%, 계보 기반 92.3%다. 여기서 한 가지를 더 갈라 볼 수 있다. 계보로 후보만 고르고 학습은 종전대로 전체를 다시 돌린 설정의 갱신 시간은 515초였다. 거기서 179초까지 더 내려간 몫은 모델을 국소적으로 보수한 단계에서 나왔다. 후보를 좁히는 일과 학습을 줄이는 일이 각각 절반씩 기여했다.

같은 표에는 기존 드리프트 대응 방식도 함께 올라 있다. 최근 데이터만 다시 학습하는 슬라이딩 윈도우는 정확도 88.5%, 들어오는 개정분을 순차로 반영하는 온라인 갱신은 87.9%, 과거 표본을 섞어 학습하는 리플레이는 89.2%였다. 성능 변화가 감지되면 재학습을 거는 ADWIN 방식은 87.6%에 그쳤는데, 다시 본 데이터가 28.4%로 제안 방법의 두 배 가까이 되고도 영향 레코드는 66.0%만 건졌다. 무엇이 바뀌었는지 데이터에서 뒤늦게 알아내는 쪽은 더 많이 처리하고도 덜 건진다.

데이터별로 보면 절감 폭이 고르지 않고, 레코드 수와 걸린 시간도 나란히 가지 않는다. 인용 그래프 ogbn-arxiv는 노드 16.9만 개로 네 데이터 가운데 규모가 가장 작은데, 전체 재작업에 742초가 들어 레코드가 두 배 가까이 많은 Census-Income의 154초보다 다섯 배 가까이 오래 걸렸다. 다시 본 비율도 16.6%로 가장 높았다.

인용 그래프에서는 조건 하나가 이웃 노드와 다중 홉 경로를 타고 뻗어 나간다. 임계값 하나를 고쳐도 그 변경이 닿는 기록의 범위가 표 형태의 데이터보다 훨씬 넓어진다. 비용을 정하는 것은 데이터의 크기가 아니라 바뀐 조건이 타고 흐르는 구조다.

모든 개정이 기계로 실행 가능하지는 않다. 전문가의 해석이 들어가야 하거나, 판단에 필요한 속성이 아직 도착하지 않았거나, 관계 정보가 지저분하거나, 데이터 안에 표현되지 않은 외부 지식이 필요한 경우가 있다. 논문은 이런 기록을 애매 영역으로 따로 떼어 사람에게 넘긴다. 다만 영역 전체를 다 물어보지 않고, 불확실성과 대표성을 기준으로 일부만 골라 질의한다.

어디를 골라 물어보느냐가 성능을 갈랐다. 주석 예산이 단 한 건일 때 개정분에 국한해 고른 방식은 Macro-F1 78.6%를 얻었고, 모델 전역의 불확실성으로 고른 방식은 75.2%, 무작위는 72.4%였다. 예산을 32건까지 늘려도 순서는 그대로여서 89.2%와 85.8%, 83.5%로 벌어진 채 유지됐다.

실무의 규정은 앞으로만 가지 않는다. 완화했던 기준을 사고 한 번에 되돌리고, 한시 조치가 끝나면 이전 정의로 복귀한다. 논문은 규칙이 세 번 바뀐 뒤 처음 정의로 되돌아오는 순서를 따로 실험했다. 버전 기억을 쓴 설정은 복귀 시점에 정확도 90.6%를 회복했다. 처음 그 규칙을 썼을 때가 91.5%였으니 격차가 0.9%p다. 같은 상황에서 과거 데이터를 다시 섞어 학습하는 리플레이 방식은 88.7%로 2.5%p 벌어졌고, 다시 본 데이터도 18.0%로 더 많았으며 시간도 315초로 두 배가 넘었다.

복귀가 한 번으로 끝나지 않으면 차이는 더 벌어진다. 저자는 정의 네 개가 열두 번에 걸쳐 뒤섞여 돌아오는 긴 시퀀스를 따로 돌렸다. 버전 기억을 쓴 설정은 처음 정의가 돌아올 때마다 90.5%, 90.7%, 90.8%, 90.9%로 조금씩 올라가, 이 시퀀스에서의 최초 정확도 91.4%에 회를 거듭할수록 가까워졌다. 열두 번을 모두 전체 재학습으로 처리하면 누적 유지보수 시간이 약 202분이었고, 리플레이는 약 62분, 버전 기억은 약 30분이었다. 규칙이 자주 오가는 조직일수록 이력을 남긴 쪽과 남기지 않은 쪽의 간격은 되돌아올 때마다 벌어진다.

저자는 자기 방법이 무너지는 지점을 따로 실험해 부록에 실었다. 개정의 영향 범위를 5%에서 90%까지 밀어 올리면서 갱신 시간을 재는 방식이다. 영향 범위가 5%이고 의존 관계가 느슨할 때 단축 폭은 8배를 넘었고, 15%에서도 6배 이상이 유지됐다. 70%에 이르자 여러 조건에서 2배 아래로 떨어졌고, 90%에서는 완전 재계산과 비슷해졌다. 선별 유지보수는 개정이 좁을 때 쓰는 도구다.

두 번째 조건은 데이터 팀 쪽에 더 직접 걸린다. 계보 정보를 조금씩 지우면서 같은 실험을 돌린 결과, 계보가 온전할 때는 영향 레코드 회수율이 97% 안팎을 유지했다. 확보 가능한 계보가 80% 아래로 내려가면 갈림길이 생긴다. 보수적으로 구현하면 놓치지 않기 위해 후보 범위를 크게 넓혀야 하고, 근사로 의존 관계를 복원하면 회수율을 잃기 시작한다. 계보가 40%만 남은 지점에서 근사 구현의 회수율은 82.9%였다. 남지 않은 기록을 두고 변한 게 없다고 가정할 수는 없다.

나머지 두 조건도 같은 방향이다. 자동으로 판정할 수 없는 비율이 80%까지 오르면 주석 4건으로는 Macro-F1 82.5%에 그치고 64건을 써야 88.4%에 닿는다. 계보는 사람 손이 쓸모 있는 범위를 좁혀 줄 뿐, 애초에 기계가 풀 수 없는 정의의 정보 요구량까지 없애 주지는 않는다. 그래프 경로 깊이를 1홉에서 6홉으로 늘리면 갱신 지연이 약 3.05배로 오른다.

비용도 공짜는 아니다. 계보와 색인, 예측기 버전 정보, 영향 데이터 메타데이터, 규칙 그래프를 합한 유지 상태는 규칙 버전이 하나일 때 학습 데이터 크기의 약 6.1%, 열두 개로 늘어도 약 10.2%다. 데이터별로는 PaySim 8.9%에서 ogbn-arxiv 15.1%까지 벌어진다. 버전이 늘어도 완만한 이유는 바뀌지 않은 계보 구조와 규칙 조각을 버전끼리 공유하기 때문이고, 열두 버전 기준으로 독립 사본 열두 벌을 두는 것보다 8배 이상 적다.

그래서 남기느냐 남기지 않느냐 사이에는 눈금이 있다. 저자는 계보를 어느 단위로 저장하느냐를 따로 비교했다. 기록 단위로만 남기면 저장은 가장 싸지만 영향 구간을 좁히는 힘이 약하고, 튜플과 경로 단위까지 내려가면 영향 레코드 회수율이 98%에 근접하는 대신 저장과 조회 비용이 커진다. 그 사이의 조건 단위, 즉 어떤 조건이 이 라벨을 결정했는지까지만 남기는 방식이 회수율 95% 안팎을 유지하면서 균형이 가장 좋았다. 계보 세밀도는 있느냐 없느냐의 문제가 아니라 조절해야 할 시스템 매개변수다.

논문은 아직 학회나 저널 게재 정보가 붙지 않은 프리프린트다. 원문은 arXiv:2608.23893에서 볼 수 있다.