Executive Summary

주요 수치

네 숫자를 함께 읽어야 이 연구의 결론이 보입니다. 앞의 둘은 판별력이 없다는 것, 그리고 그것이 특징을 잘못 고른 탓은 아니라는 것을 말합니다. 뒤의 둘은 그런 모델에도 쓸 만한 구석이 어디 남아 있는지를 가리킵니다.

출처: Adetunji & Oyewusi, arXiv:2608.17712 (2026-08-18, EMBC 2026 게재 확정)

조산은 임신 37주를 채우지 못한 출산을 말합니다. 세계적으로 신생아의 10.6% 안팎이 여기 해당하고, 연간 1,484만 명 규모입니다.

이 비율 뒤에는 구체적인 결과가 따라옵니다. 호흡곤란증후군, 뇌실내출혈, 괴사성 장염, 패혈증, 뇌성마비가 신생아와 5세 미만 아동 사망의 상당 부분을 차지하고, 살아남은 아이에게도 신경인지와 심장대사 쪽 위험이 오래 남습니다. 부담의 80% 이상은 남아시아와 사하라 이남 아프리카에 몰려 있습니다.

그래도 미리 알아낼 수만 있다면 손쓸 방법이 있는 문제입니다. 값싸고 몸에 부담이 없는 선별 수단을 오래 찾아 온 이유이고, 부담이 몰린 지역일수록 그 필요가 큽니다. 자궁 근전도가 후보 중 하나입니다. 산모의 배에 전극을 붙여 자궁 근육의 전기 활동을 30분쯤 기록하는 검사입니다.

2008년 이후 이 신호로 조산을 예측하려는 연구가 이어졌고, 발표된 AUROC는 0.80을 넘어 0.97에 이르렀습니다. AUROC는 조산할 산모와 만삭까지 갈 산모를 무작위로 한 명씩 뽑았을 때 모델이 조산 쪽에 더 높은 위험 점수를 매길 확률입니다. 0.5는 동전 던지기고, 0.97이면 거의 틀리지 않는다는 뜻입니다. 숫자만 보면 임상 도입을 논의할 단계로 보입니다.

오리건주립대 보건대학 생물통계·역학과의 Sunday A. Adetunji와 라고스 Alifort Hospital의 Rhoda O. Oyewusi가 8월 18일 arXiv에 올린 논문은 같은 공개 데이터셋 위에서 0.493을 보고합니다. 95% 신뢰구간은 0.467에서 0.520입니다. 정밀도-재현율 곡선 아래 면적은 0.122로, 조산이 실제로 일어나는 비율인 0.127과 사실상 같았습니다. 다시 말해 이 모델은 아무 정보도 주지 않았습니다. 논문은 EMBC 2026 게재가 확정된 상태입니다.

데이터를 바꾼 게 아닙니다. 모델을 나쁘게 만든 것도 아닙니다. 바꾼 것은 훈련용과 검증용을 가르는 선을 어디에 긋느냐 하나였습니다.

이 분야가 공통으로 쓰는 데이터는 슬로베니아 류블랴나 대학병원에서 모은 TPEHGDB입니다. 산모 300명의 기록이 들어 있고, 그중 조산은 38건으로 12.7%입니다. 300명 중 38명. 기계학습 기준으로는 매우 작은 표본입니다.

그래서 표준 전처리는 30분짜리 기록 하나를 여러 개의 창으로 쪼갭니다. 300개였던 표본이 수천 개로 늘어난 것처럼 보입니다. 문제는 그다음입니다. 훈련과 검증을 창 단위로 나누면 같은 산모에게서 나온 창들이 양쪽에 흩어져 들어갑니다. 모델은 검증할 산모의 신호를 훈련 중에 이미 본 셈입니다.

이때 모델이 배우는 것은 조산으로 이어지는 자궁의 생리가 아니라 이 산모의 신호가 어떻게 생겼는지입니다. 검증 점수는 높게 나옵니다. 처음 보는 산모 앞에서는 그 점수가 재현되지 않습니다. 저자들이 논문 제목에 넣은 leakage-proof는 이 통로를 막았다는 뜻입니다.

이것은 취향의 문제가 아닙니다. 예측 모형의 비뚤림 위험을 재는 표준 도구 PROBAST는 피험자 독립성을 지키지 못한 분석을 고위험으로 분류합니다. 상관된 관측이 검증 분할에 걸쳐 있으면 진단 성능이 크게 부풀 수 있다는 것은 Tougui 연구진이 2021년에, 검증 절차 바깥에서 모델을 고르면 오차 추정이 치우친다는 것은 Varma와 Simon이 2006년에 이미 보였습니다. 이 논문은 그 원칙을 산과 전기생리 영역으로 옮겨 온 것입니다.

저자들이 이 사례에서 끌어낸 원칙은 한 문장입니다. 재표집의 단위는 성능이 일반화되기를 바라는 단위와 같아야 한다. 새 산모에게 쓸 모델이라면 산모 단위로 나눠야 하고, 신호 구간이 서로 독립이라는 사실은 환자가 서로 독립이라는 뜻이 아닙니다. 논문은 이 구분을 절차의 문제가 아니라 추론의 문제라고 못 박습니다. 조각을 더 잘게 내는 것은 표본을 늘리는 게 아니라 표본이 늘어난 것처럼 보이게 만드는 일입니다.

누수를 막는 일은 데이터를 두 덩이로 가르는 데서 끝나지 않습니다. 저자들은 기록 식별자를 유일한 묶음 변수로 두고, 바깥 폴드의 훈련 기록 안에서 다시 세 개의 겹치지 않는 부분집합을 만들었습니다. 하나는 모델을 적합시키고, 하나는 확률을 보정하고, 나머지 하나가 예측 집합의 문턱값을 정합니다. 결측값 대치와 스케일링도 그 폴드의 훈련 파티션에서만 추정했습니다. 검증 대상이 된 기록은 어느 단계에도 노출되지 않았습니다.

모델은 화려하지 않습니다. 92개의 공학적 특징에 엘라스틱넷 로지스틱 회귀를 얹었습니다. 특징은 세 개의 대역통과 필터와 세 개의 채널에서 뽑은 진폭, 중앙주파수, 최고주파수, 표본엔트로피, 그리고 필터 사이의 차분입니다. 이 조합에서 나온 AUROC가 0.493, 브라이어 점수가 0.115였습니다.

특징 공간을 들여다봐도 사정은 같았습니다. 92차원을 2차원으로 눌러 그린 주성분 그림에서 만삭 기록과 조산 기록은 크게 겹쳤고, 모델이 내놓은 위험 점수의 분포도 두 집단이 서로 포개졌습니다. 그런데 계수는 흔들리지 않았습니다. 0.3에서 4.0헤르츠 대역의 최고주파수 최솟값은 폴드의 98%에서, 필터 사이의 진폭 차분은 100%에서 0이 아닌 계수로 살아남았습니다. 같은 특징이 반복해서 선택된다는 것과 그 특징이 처음 보는 산모를 갈라낸다는 것은 다른 이야기입니다.

성능이 없는 이유가 특징을 잘못 골라서일 가능성은 따로 확인했습니다. 필터별로 하나씩만 써 보면 0.483에서 0.500 사이가 나왔고, 92개 중 10%와 30%를 무작위로 버려 봐도 0.478에서 0.504 사이였습니다. 어느 조합도 판별력을 만들어 내지 못했습니다. 임신주수로 갈라 보면 26주 이전이 0.514, 이후가 0.469로 방향성이 있었지만, 저자들은 분포 이동을 정식으로 검정한 게 아니므로 가설을 세우는 근거 정도로만 읽으라고 선을 그었습니다.

이 방향성은 그 자체로 설계 논점을 하나 건드립니다. 자궁의 전기 활동은 임신이 진행되는 동안 변합니다. 그렇다면 임신주수는 모델에 넣는 배경 변수 하나가 아니라 신호를 언제 얻었느냐를 정하는 축이 됩니다. 저자들은 임신 시기를 모델의 이전 가능성을 가르는 명시적 차원으로 다뤄야 한다고 적었습니다.

3.1이 결과를 과장하지 않으려면

여기서 조심할 대목이 있습니다. 0.80에서 0.97이라는 숫자는 이 논문이 같은 파이프라인으로 재현해 본 값이 아니라 문헌에 보고된 값입니다. 논문은 구간 단위 교차검증을 세 평가 방식 중 첫 번째로 정의해 두었지만, 주된 추론은 환자 단위 방식과 임신주수 층화 방식에 근거한다고 밝힙니다. 그리고 기록 단위로 묶어 평가한 선행 연구 중에도 딥러닝 모델로 0.74에서 0.78을 보고한 사례가 있습니다.

저자들은 그 차이가 신호 표현, 모델 종류, 전처리, 분할 방식 어디에서든 올 수 있으므로 동일 조건에서 다시 비교해야 풀린다고 적었습니다. 제대로 나누면 무조건 0.5로 무너진다는 이야기가 아니라는 뜻입니다. 한계도 스스로 밝힙니다. 이 결과는 단일 기관에서 모은 300건과 사전 계산된 특징 한 세트에 대한 것이고, 원파형을 직접 다루거나 다른 산과 지표를 함께 쓰는 모델에까지 확대할 수 없습니다.

수치의 불확실성을 다룬 방식도 밝혀 두었습니다. 신뢰구간은 기록 단위로 1,000번 다시 뽑아 얻은 백분위수이고, 조산 사례가 38건뿐이라 표본 변동은 그래도 큽니다. 저자들은 이 점을 한계로 명시했습니다.

판별력이 없다는 결과에서 이야기가 끝났다면 이 논문은 반증 한 편으로 남았을 겁니다. 저자들은 여기에 하나를 더 붙였습니다. 이분법으로 답을 강요하는 대신 모델이 답을 미룰 수 있게 하는 장치입니다.

컨포멀 예측은 하나의 라벨 대신 라벨의 집합을 내놓습니다. 조산이라고 답하거나, 만삭이라고 답하거나, 둘 다 담은 집합을 내놓고 임상 판단으로 넘깁니다. 정답을 놓칠 확률을 0.10까지만 허용하겠다고 정하면, 실제 결과가 예측 집합 안에 들어갈 확률이 0.90 이상이 되도록 문턱값이 잡힙니다. 이 연구에서 실제 커버리지는 0.897로 목표에 거의 맞았습니다.

모델은 전체의 72.7%에서 두 답을 모두 담은 집합을 냈습니다. 답을 모른다고 말한 셈입니다. 하나의 답을 낸 27.3%에서는 정확도가 0.624였습니다. 조산이 실제로 일어나는 비율 0.127의 4.9배입니다. 전체로 보면 판별력이 없는 모델이, 스스로 확신한 좁은 구간 안에서는 쓸 만한 신호를 남기고 있었다는 뜻입니다.

저자들은 이 지표들을 따로 읽으면 안 된다고 강조합니다. 커버리지는 정답이 집합 안에 들어갔는지만 말할 뿐, 그 집합이 얼마나 두루뭉술한지는 말하지 않습니다. 아무 답도 배제하지 않으면 커버리지는 언제나 만점입니다. 그래서 커버리지와 유보 비율과 단일 예측 정확도를 함께 보고해야 합니다. 임상에서 불확실성은 감춰야 할 흠이 아니라 표시해야 할 정보라는 게 이 장치의 전제입니다.

남는 질문은 현장 쪽입니다. 네 건 중 세 건을 임상 판단으로 넘긴다면 그 판단을 누가 얼마나 감당하는지가 곧바로 문제가 됩니다. 저자들도 여기서 멈춥니다. 시간이 지나도 보정이 유지되는지, 의뢰 빈도와 진료 흐름이 감당할 만한지, 그래서 산모와 신생아의 결과가 실제로 나아지는지는 전향적 다기관 연구로 확인할 일이라고 적었습니다.

같은 개체에서 나온 관측을 무작위로 갈라 담는 실수는 산과 신호에만 있는 게 아닙니다. 프린스턴의 Sayash Kapoor와 Arvind Narayanan은 기계학습을 도입한 연구 분야들을 훑어 17개 분야, 329편의 논문에서 데이터 누수로 인한 재현 실패를 찾아냈습니다. 두 사람은 누수를 여덟 가지 유형으로 나눴는데, 여기에는 교과서에 실린 초보적 오류부터 아직 답이 없는 연구 문제까지 섞여 있습니다. 내전 발발 예측 분야를 직접 재현해 보니, 복잡한 기계학습 모델이 수십 년 된 로지스틱 회귀보다 낫다고 주장한 논문은 하나도 재현되지 않았습니다.

산업 설비에서도 같은 모양이 나옵니다. 브라질 산타카타리나 연방대 연구진은 진동 신호로 베어링 고장을 진단하는 모델들을 다시 평가했습니다. 흔히 쓰는 구간 단위 분할과 운전조건 단위 분할이 허위 상관을 만들어 성능을 부풀린다는 것을 보이고, 훈련과 시험에 같은 물리 부품이 겹치지 않게 하는 베어링 단위 분할을 대안으로 제시했습니다. CWRU, 파더보른, 오타와, 하노이 네 개의 표준 데이터셋에서 확인한 결과입니다. 데이터의 다양성이 일반화에 미치는 영향도 함께 봤는데, 훈련에 쓰인 베어링이 몇 개나 서로 다른 것이었는지가 성능의 견고함을 가르는 결정적 변수였습니다.

세포 영상도 마찬가지입니다. 백혈병 진단에 널리 쓰이는 C-NMC 2019 데이터셋은 거의 완벽에 가까운 성적이 보고돼 온 벤치마크인데, 이미지 단위로 무작위 분할하면 같은 환자의 세포가 훈련과 시험 양쪽에 나타납니다. 피험자를 겹치지 않게 가른 재평가에서 가장 좋은 모델의 AUROC는 0.913이었고, 보수적인 조건에서 비교했을 때 무작위 분할은 AUROC를 0.04가량 부풀렸습니다. 부풀림의 크기는 도메인마다 다르지만 방향은 언제나 같습니다.

이 결함의 성질을 눈여겨볼 만합니다. 값이 틀린 게 아닙니다. 결측도 없고 이상치도 없고 라벨도 정확할 수 있습니다. 파일을 아무리 들여다봐도 문제가 보이지 않습니다. 틀린 것은 그 값들을 어디에서 갈랐는가입니다. 데이터 품질을 값의 무결성으로만 정의하는 점검 체계는 이 결함을 구조적으로 보지 못합니다. 그래서 벤치마크를 설계할 때 던져야 할 질문은 세 가지입니다.

• • 이 데이터에 반복 측정이 있는가. 같은 환자, 같은 설비, 같은 작업자, 같은 문서에서 여러 행이 나왔다면 그 행들은 서로 독립이 아닙니다.
• • 성능이 일반화되기를 바라는 단위는 무엇인가. 처음 보는 환자에게 쓸 모델과 처음 보는 공장에 쓸 모델은 나누는 선이 다릅니다. 분할은 그 단위에서 이뤄져야 합니다.
• • 전처리와 보정과 문턱값까지 훈련 쪽에만 갇혀 있는가. 스케일링 파라미터 하나를 전체 데이터에서 추정해도 검증 데이터의 정보가 새어 들어옵니다.

원 논문은 arXiv:2608.17712에서 볼 수 있고, 재현 자료는 저자들이 GitHub에 공개해 두었습니다.

1차 소스

• 1.Adetunji, S. A. & Oyewusi, R. O. (2026). "A Leakage-Proof Benchmark and Conformal Selective Triage for Electrohysterogram-Based Preterm Birth Prediction." arXiv preprint (EMBC 2026 게재 확정).
• 2.Fele-Žorž, G., Kavšek, G., Novak-Antolič, Ž. & Jager, F. (2008). "A Comparison of Various Linear and Non-Linear Signal Processing Techniques to Separate Uterine EMG Records of Term and Pre-Term Delivery Groups." Medical & Biological Engineering & Computing, 46(9), 911-922. — TPEHGDB 원 데이터셋, PhysioNet.

방법론 근거

• 3.Wolff, R. F., Moons, K. G. M., Riley, R. D. et al. (2019). "PROBAST: A Tool to Assess the Risk of Bias and Applicability of Prediction Model Studies." Annals of Internal Medicine, 170, 51-58.
• 4.Tougui, I., Jilbab, A. & El Mhamdi, J. (2021). "Impact of the Choice of Cross-Validation Techniques on the Results of Machine Learning-Based Diagnostic Applications." Healthcare Informatics Research, 27(3), 189-199.
• 5.Varma, S. & Simon, R. (2006). "Bias in Error Estimation When Using Cross-Validation for Model Selection." BMC Bioinformatics, 7, 91.

교차 도메인 사례

• 6.Kapoor, S. & Narayanan, A. (2023). "Leakage and the Reproducibility Crisis in Machine-Learning-Based Science." Patterns, 4(9), 100804.
• 7.Vieira, J. P., Bauler, V. A., Rosa, R. K. & Silva, D. (2025). "Towards a More Realistic Evaluation of Machine Learning Models for Bearing Fault Diagnosis." arXiv preprint.
• 8.Albzour, N. (2026). "A Leakage-Aware Comparative Benchmark of Machine Learning, Deep Learning, and Transformer Models for Reliable Leukemia Detection." arXiv preprint.