Executive Summary

주요 수치

출처: Zhang 외, arXiv:2608.25846 (2026-08-26)

재료는 공개된 결핵 기침 데이터셋 세 종입니다. CODA는 결핵 진단 챌린지를 위해 인도와 마다가스카르, 필리핀, 남아프리카공화국, 탄자니아, 우간다, 베트남 7개국의 외래 환자 2,143명에게서 모은 안드로이드 스마트폰 녹음이고, 나라마다 쓴 기종이 다릅니다. TBscreen은 케냐 나이로비의 통제된 녹음 환경에서 성인 195명을 스마트폰 한 대와 경계면 마이크, 콘덴서 마이크로 동시에 받은 데이터로, 저절로 나온 기침과 시켜서 낸 기침을 따로 담고 있습니다. 잠비아 CIDRZ 데이터는 구글의 HeAR 벤치마크가 쓴 그 데이터로, 성인 599명의 같은 기침을 전문 오디오 레코더 한 대와 스마트폰 세 대로 동시에 녹음했습니다. 세 데이터셋 모두 결핵 라벨은 객담 Xpert 검사와 배양 같은 미생물학적 기준으로 확정된 값입니다.

공개된 데이터를 통째로 쓰지는 않았습니다. CODA에서는 한 기종이 일관되게 쓰인 베트남과 마다가스카르, 탄자니아만 남기고 그 안에서도 요청에 따라 낸 기침만 골라 기기 효과를 깨끗하게 보게 했습니다. TBscreen에서는 일반 기침을 학습에, 시킨 기침을 검증에만 썼습니다. 원 연구에서 두 기침이 서로 다른 특성을 보였고 일반 기침으로 학습한 모델이 시킨 기침으로 잘 넘어가지 않았기 때문입니다. 잠비아에서는 결핵 양성 참가자가 한 명뿐인 현장 하나를 뺐고, 분량이 적은 오디오 레코더 녹음분은 검증에만 썼습니다. 애초에 CODA는 공개된 몫이 전체의 절반가량이라, 실제로 분석에 들어간 규모는 위에 적은 참가자 수보다 작습니다.

분석 대상만 따로 세어 둔 부록 표를 보면 결핵 양성자 비율부터 크게 다릅니다. 잠비아 차와마 현장은 기기별로 9퍼센트에서 10퍼센트, 카냐마 현장은 21퍼센트에서 22퍼센트입니다. CODA 안에서도 탄자니아 16퍼센트, 베트남 40퍼센트, 마다가스카르 48퍼센트로 갈립니다. 결핵 환자와 다른 호흡기 질환 대조군을 함께 모집한 TBscreen의 일반 기침은 70퍼센트에서 74퍼센트입니다. 모델이 한 데이터셋에서 다른 데이터셋으로 건너갈 때 마주하는 차이는 소리의 차이만이 아니었습니다.

검증 설계는 성능을 부풀릴 여지를 먼저 닫았습니다. 데이터셋 안 성능은 5겹 바깥·4겹 안쪽의 중첩 교차검증을 두 번 반복해 10개 추정치의 평균과 표준편차로 보고했고, 모든 분할은 기침 단위가 아니라 피험자 단위로 잘랐습니다. 한 사람이 남긴 기침 여러 개가 훈련과 검증에 나뉘어 들어가면 성능이 부풀기 때문입니다. 모델 선택도 학습에 쓴 데이터셋 안에서만 했고, 다른 데이터셋에는 고른 설정을 그대로 가져가 한 번 적용했습니다.

고전 머신러닝 파이프라인은 자기 데이터셋 안에서 잠비아 0.700, TBscreen 일반기침 0.711, CODA 0.631이었습니다. 딥러닝 파이프라인은 VGGish 백본에 멜 스펙트로그램을 넣은 구성이 가장 좋았고, 잠비아 학습 모델이 0.755로 이 연구의 최고치를 냈습니다. 문제는 그다음입니다. 같은 모델을 잠비아 오디오 레코더 녹음분에 적용하면 0.717, TBscreen의 시킨 기침에는 0.741로 버텼지만, TBscreen의 일반 기침에서는 0.632, CODA에서는 0.581이었습니다. TBscreen이나 CODA로 학습한 모델은 외부 성능이 전부 0.6 아래였습니다.

붕괴의 원인이 파이프라인 선택에 있는 것도 아닙니다. 성능은 어떤 분류기와 어떤 특징을 쓰느냐보다 어떤 데이터셋으로 학습해 어디에 적용하느냐에 따라 훨씬 크게 움직였고, 데이터셋마다 가장 좋은 구성이 달랐으며, 어느 분류기도 어느 특징 계열도 일관되게 앞서지 않았습니다. 학습 데이터의 균형도 라벨만 맞춘 것이 아닙니다. 세 데이터셋 모두 요인이 기록돼 있는 한 녹음 장소와 기기, 결핵 라벨의 조합으로 하위 집단을 정의하고 그 단위로 표본 수를 맞춘 뒤 학습했습니다. 그렇게 하고도 밖으로 나가면 0.6 아래였습니다.

비슷한 붕괴는 이미 한 번 관측된 적이 있습니다. CODA 챌린지 상위 모델들을 페루의 독립 코호트에서 검증한 연구는 내부 0.689에서 0.743이던 값이 외부에서 0.480에서 0.615로 떨어지는 것을 확인했습니다. 녹음 절차까지 비슷하게 맞춘 코호트였습니다. 그 연구는 하락의 원인을 주로 인구 구성의 차이로 돌렸습니다. 이번 논문은 같은 현상을 두고 그 원인을 다시 묻습니다.

원인을 찾기 위해 연구진은 모델의 성적표 대신 입력이 놓인 공간을 직접 들여다봤습니다. CLAP 오디오 임베딩에서 하위 집단끼리의 거리를 최대평균차이로 재고, 그 거리 구조를 다차원척도법으로 평면에 펼쳤습니다. 하위 집단은 세 가지 기준으로 나눴습니다. 녹음 기기, 수집 장소, 그리고 결핵 라벨입니다.

결과는 한 방향을 가리킵니다. 데이터셋 출처가 다른 집단끼리는 거의 겹치지 않았습니다. 기기로 나눈 집단과 장소로 나눈 집단은 같은 데이터셋 안에서도 넓게 흩어졌습니다. 반면 같은 데이터셋의 결핵 양성 집단과 음성 집단은 서로 가까이 붙어 있었습니다. 이상적으로라면 정반대여야 합니다. 기기와 장소로 나눈 집단은 데이터셋이 달라도 서로 겹치고, 결핵 라벨로 나눈 집단이 갈라져야 합니다. t-SNE로 개별 표본을 투영해도 같은 그림이 나왔습니다. 가장 큰 덩어리는 데이터셋 출처로 만들어지고, 그 안에서 기기별로 다시 나뉘며, 결핵 라벨에 의한 분리는 상대적으로 흐릿했습니다.

이런 지름길이 의료 AI에서 처음 나온 이야기는 아닙니다. 논문은 서론에서 흉부 엑스레이로 코로나19를 판정하던 모델이 병변 대신 촬영 조건의 흔적을 골라 썼던 선행 연구들을 나란히 놓고, 같은 일이 소리에서도 벌어진다고 봅니다. 이 그림은 앞 절의 붕괴를 두 방향에서 설명합니다. 수집 조건이 만드는 변이가 결핵이 만드는 변이를 덮어 버리는 경우가 하나입니다. 수집 조건이 고정된 한 데이터셋 안에서는 그 위에 그은 경계선이 잘 작동하지만, 조건이 바뀌면 경계선이 함께 무너집니다. 나머지 하나는 수집 조건이 결핵 여부와 상관을 가질 때입니다. 이때 모델은 조건 자체를 예측의 지름길로 학습합니다.

CODA는 나라마다 쓰는 기종이 다르고 결핵 유병률도 다릅니다. 연구진은 나라별 평균 예측 확률과 나라별 실제 결핵 양성률의 관계를 두 가지 세팅에서 쟀습니다. 첫째는 CODA 챌린지 최고 성적 파이프라인을 그대로 재현한 세팅으로, ResNet-34에 고주파 대역까지 담은 스펙트로그램을 넣고 결핵 라벨만 맞춰 균형을 잡았습니다. 둘째는 지름길을 줄이려고 설계한 보수적 세팅으로, VGGish 기반 모델에 상한 주파수를 8,000Hz로 낮추고, 특징 추출 전에 기침 구간을 잘라내고, 결핵 라벨과 국가를 함께 맞춰 균형을 잡았습니다.

챌린지 재현 세팅에서 모델 출력은 병의 상태보다 나라를 따라 움직였습니다. 나라별 평균 예측 확률을 나라별 결핵 양성률에 회귀하면 결핵 음성군에서 기울기 1.20에 결정계수 0.95, 양성군에서 기울기 1.30에 결정계수 0.89가 나옵니다. 여기서 가로축에 놓인 양성률은 지역사회 유병률 통계가 아니라 CODA 코호트 안에서 잰 나라별 결핵 양성자 비율입니다. 나라의 유병률만으로 집단별 평균 출력의 분산이 거의 전부 설명된다는 뜻입니다. 실무에서는 판정 문턱값 하나를 고정해 두는 순간 유병률이 높은 나라에서 온 사람은 기침 소리와 무관하게 거의 다 양성으로, 낮은 나라에서 온 사람은 거의 다 음성으로 분류됩니다.

보수적 세팅에서는 이 연결이 약해집니다. 기울기가 양쪽 모두 0.33으로 내려가고 결정계수는 0.75와 0.84가 됩니다. 다만 완전히 사라지지는 않았습니다. 연구진은 이 실험의 성격도 밝혀 두었습니다. 배포 가능한 결핵 분류기를 평가하려는 것이 아니라, 리샘플링과 전처리 선택으로 지름길을 줄일 수 있는지 보려는 진단용 실험이었습니다. 연구진은 유병률 정보 자체를 결함으로 보지는 않습니다. 사전 유병률은 실제 배포 환경에서 판단에 도움이 되는 정보이기도 합니다. 문제는 그 정보가 임상적 근거가 아니라 수집 조건의 흔적을 통해 모델에 스며들 때입니다. 그렇게 흡수된 사전 확률은 유병률이 다른 곳으로 모델을 옮기는 순간 보정 오류가 됩니다.

CODA에서는 국가와 기기, 모집 경로, 임상 인구, 유병률이 한 덩어리로 얽혀 있어 기기의 몫만 떼어내기 어렵습니다. 그래서 연구진은 잠비아 데이터로 옮겨 갑니다. 같은 참가자의 같은 기침을 네 대의 기기가 동시에 녹음한 데이터이기 때문에, 사람과 장소를 고정한 채 기기만 바꿔 볼 수 있습니다. 기기는 전문 오디오 레코더 한 대와 스마트폰 세 대입니다. 보급형 픽셀 3a, 중급 갤럭시 A12, 상급 갤럭시 A22입니다. 이 절의 실험에서는 앞의 교차 데이터셋 분석과 달리 오디오 레코더도 학습 기기 후보에 넣었습니다.

한 대로 학습해 네 대에 적용한 실험에서, 학습에 쓴 기기가 아닌 기기로 넘어가면 성능이 대체로 떨어졌습니다. 하락 폭은 기기마다 달랐고, 가장 강하고 일관된 학습 기기는 갤럭시 A22였습니다. 평탄한 주파수 응답을 가진 전문 오디오 레코더가 아니었습니다. 좋은 장비일수록 좋은 학습 신호를 준다는 통념과 어긋납니다. 연구진은 기기의 적합성이 명목상의 녹음 품질이 아니라 그 기기가 기침의 어떤 구조를 잡아내는지, 그리고 다른 기기의 녹음과 얼마나 닮았는지에 달려 있다고 적었습니다.

세 대를 섞어 학습하면 학습에 없던 기기에서의 성능이 올라갑니다. 오디오 레코더를 미학습 기기로 남겼을 때, 픽셀 3a로만 학습하면 0.675, 갤럭시 A12는 0.655, 갤럭시 A22는 0.725였고, 세 대를 합쳐 학습하면 0.732가 됐습니다. 이 상승이 데이터를 더 넣어서 생긴 것이 아니라는 점을 연구진은 숫자로 못 박습니다. 논문 본문이 적어 둔 값으로는 세 기기가 각각 632명, 628명, 642명을 담고 있고 셋을 합쳐도 650명입니다. 늘어난 것은 사람이 아니라 기기의 종류입니다.

이 인원수는 논문 안에서 아귀가 맞지 않는 대목이기도 합니다. 부록 표가 분석 대상으로 정리한 잠비아 두 현장의 규모는 기기당 316명에서 323명이고, 데이터셋 원 논문이 밝힌 참가자는 599명입니다. 본문의 632명에서 650명은 다른 기준으로 센 값으로 보입니다. 어느 쪽 수를 쓰든 세 기기가 같은 참가자의 같은 기침을 동시에 녹음한 구조라 셋을 합쳐도 사람은 거의 늘지 않고, 기기 다양성과 데이터 양을 갈라놓는 논증 자체는 그대로 섭니다.

다만 연구진은 이 처방에 조건을 붙입니다. 기기를 늘리는 전략은 균형 잡힌 연구 설계 안에서 도입될 때만 이득이 됩니다. 기기 종류가 장소나 유병률, 모집 경로와 묶여 들어오면 데이터 크기는 늘어나도 모델이 붙잡을 지름길이 하나 더 생깁니다. 3절의 CODA가 바로 그렇게 만들어진 데이터셋입니다.

여기서 반론이 하나 나올 수 있습니다. 데이터셋이 바뀌면 사람도 바뀝니다. 나라가 다르고 모집 경로가 다르고 유병률이 다릅니다. 성능이 떨어진 이유가 그냥 인구가 달라서라면, 수집 기기를 아무리 손봐도 소용이 없습니다. 연구진은 이 구멍을 대조군으로 막습니다.

세 데이터셋에 공통으로 있는 문진 변수만 골랐습니다. 나이, 성별, 흡연, HIV 상태, 결핵 병력, 기침 지속 기간, 발열, 체중 감소, 야간 발한입니다. 소리는 한 조각도 쓰지 않고 로지스틱 회귀를 학습해 같은 외부 검증 틀에 올렸습니다. 잠비아로 학습한 모델은 자기 데이터셋 안에서 0.767이었고 TBscreen에서 0.655, CODA에서 0.673이었습니다. 높은 값은 아닙니다. 그러나 음향 모델이 0.581까지 내려가던 구간에서도 이 모델은 우연 수준 위에 머물렀고, 흔들리는 폭이 훨씬 좁았습니다.

문진 변수도 인구 구성 차이를 똑같이 겪습니다. 그런데도 소리보다 안정적으로 넘어갔습니다. 그렇다면 음향 모델이 무너진 몫의 상당 부분은 인구가 아니라 소리에 얹힌 수집 조건의 변이에서 왔다고 보는 편이 자연스럽습니다. 연구진의 표현은 인구 이동만으로는 설명되지 않는다는 것이지, 인구가 아무 상관 없다는 것이 아닙니다. 논문은 한계 항목에서 민족과 지역에 따른 기도와 성도의 해부학적 차이, 체격, 호흡기 동반질환, 기침을 내는 문화적 습관까지 음향 차이를 만들 수 있다고 적어 두었습니다. 문진 변수도 데이터셋 이동에서 완전히 자유롭지는 않았습니다. 체중 감소처럼 데이터셋을 넘어 안정적인 변수가 있는가 하면, 데이터셋마다 기여도가 달라지는 변수도 있었습니다.

논문이 문진표를 꺼낸 목적은 소리를 문진표로 갈아 끼우자는 데 있지 않습니다. 연구진이 다음 방향으로 제안한 것은 역할을 나눈 구성입니다. 안정적인 기본 위험도는 임상 변수가 대고, 기침 소리는 거기에 더할 정보를 맡습니다. 음향 모델이 결정 경계를 혼자 다 그리지 않아도 되면 데이터셋에 갇힌 지름길에 기댈 이유도 줄어듭니다. 과거 결핵력이나 HIV 상태, 흡연, 증상 조합으로 음향이 더 비슷한 하위 집단을 먼저 나누는 쓰임새, 그리고 기침 하나하나를 따로 보는 대신 기침의 빈도와 발작 구조, 시간에 따른 변화를 보는 쪽이 더 잘 넘어갈 수 있다는 가능성도 함께 적어 두었습니다.

알고리즘으로 메우는 길은 이미 시도됐습니다. 연구진은 MixStyle과 Mixup, 도메인 적대 신경망처럼 이미 자리 잡은 도메인 일반화 기법들을 붙여 봤지만 외부 성능에서 일관된 개선을 얻지 못했습니다. 이유는 그 기법들의 전제에 있습니다. 도메인에 휘둘리지 않는 표현을 학습하려면 출처 도메인이 충분히 크고 균형 잡혀 있어야 합니다. 지금의 결핵 기침 데이터셋들은 국가와 기기, 현장, 유병률, 참가자 특성이 서로 얽혀 있고, 그 안에서 결핵의 음향 신호는 기기와 프로토콜의 효과에 비해 약합니다. 이런 데이터에 도메인 불변성을 강제하면 쓸모 있는 정보까지 함께 깎일 수 있습니다.

그래서 논문이 제시하는 두 갈래는 모두 데이터를 모으는 쪽에 있습니다. 하나는 훨씬 많은 기기와 환경, 국가, 참가자군에 걸쳐 대규모로 모아 배포 현실의 변이를 학습에 담는 길입니다. 다른 하나는 음향 특성이 알려진 소수의 기기로 고정된 프로토콜 아래 모아 수집 변이 자체를 줄이는 길입니다. 어느 쪽을 택하든 공통으로 요구되는 것이 있습니다. 기기와 현장을 질병 상태와 분리시키는 균형 설계, 기기와 프로토콜에 관한 상세한 메타데이터, 그리고 배포 조건에 가까운 환경에서의 전향적 외부 검증입니다.

잠비아 데이터에서는 일부 녹음의 피험자 번호가 잘못 붙어 있었습니다. 피험자 단위로 데이터를 잘라야 하는 설계에서 이런 오류는 곧바로 정보 누수가 됩니다. 연구진은 같은 사람을 여러 기기가 동시에 녹음했다는 구조를 이용해, 기기 간 신호의 상호상관을 계산하는 방식으로 잘못 붙은 라벨을 찾아냈습니다. 여러 기기로 동시에 녹음한 설계가 기기 효과를 재는 자원이면서 라벨을 검산하는 자원이기도 했던 셈입니다.

이 글이 8월에 다룬 의료 AI 검증 사례 두 편과 나란히 놓이지만 고장 난 지점은 서로 다릅니다. 조산 예측 벤치마크는 같은 산모의 기록이 훈련과 검증에 걸쳐 들어간 정보 누수의 문제였고, 고칠 자리는 분할 방법이었습니다. 혈당 예측 벤치마크는 모델이 일반화는 하되 특정 하위 집단에서 오차가 벌어지는 문제였고, 고칠 자리는 보고 단위였습니다. 이번 결핵 기침 모델은 데이터셋을 아예 건너갈 때 성능 자체가 무너지는 경우이고, 고칠 자리는 데이터를 모으는 설계입니다. 세 편이 함께 말하는 것은 성능 지표 하나가 검증 설계에 따라 서로 다른 방식으로 사실을 가린다는 점입니다.

논문은 기침 소리가 결핵에 관해 아무 정보도 담고 있지 않다는 결론으로 가지는 않습니다. 외부 검증 성능이 우연 수준보다는 위에 있다는 사실 자체가 소리 안에 정보가 있다는 신호입니다. 다만 지금의 데이터셋 설계와 검증 관행으로는 모델이 병을 배웠는지 녹음 환경을 배웠는지 구별할 수 없고, 데이터셋 안에서 잘 나온 숫자는 임상 준비 상태와 같은 말이 아닙니다. 연구진은 이번에 쓴 검증과 분석 절차가 결핵 기침에만 묶이는 것이 아니라 소리를 다루는 어떤 분류기에도 그대로 옮겨 갈 수 있다고 적었습니다. 원문은 arXiv:2608.25846에서 볼 수 있고, 분석 코드는 GitHub에 공개돼 있습니다.

학술 논문

• 1.Zhang, W., Teijeiro, T., Thevenot, J., Atienza, D. (2026). "Why ML-based cough models do not generalize: a systematic cross-dataset evaluation for tuberculosis screening." arXiv:2608.25846. 이 아티클의 원 출처.
• 2.Zimmer, A. J. et al. (2026). "External validation of cough-based algorithms for pulmonary tuberculosis screening from the CODA TB DREAM challenge using cough data from Peru." Scientific Reports.
• 3.DeGrave, A. J., Janizek, J. D., Lee, S. (2021). "AI for radiographic COVID-19 detection selects shortcuts over signal." Nature Machine Intelligence, 3(7), 610–619.
• 4.Pahar, M., Klopper, M., Reeve, B., Warren, R., Theron, G., Niesler, T. (2021). "Automatic Cough Classification for Tuberculosis Screening in a Real-World Environment." Physiological Measurement, 42(10).
• 5.Botha, G. H. R. et al. (2018). "Detection of tuberculosis by automatic cough sound analysis." Physiological Measurement, 39(4), 045005.
• 6.Frost, G., Theron, G., Niesler, T. (2022). "TB or not TB? Acoustic cough analysis for tuberculosis classification." arXiv:2209.00934.

공식 통계

• 7.World Health Organization (2025). "Global Tuberculosis Report 2025."