Executive Summary

주요 수치

이 논문에서 같이 읽어야 하는 숫자는 네 개다. 좋아진 것 하나와 함께 나빠진 것 셋이다.

출처: Li 외, Evaluating Type-1 Diabetes Digital Twins by Decision Quality (arXiv 2610.30577)

1형 당뇨는 몸이 인슐린을 더는 만들지 못하게 되는 자가면역 질환이다. 평생 인슐린을 넣어 주고 혈당을 자주 확인해야 하는데, 논문의 표현을 빌리면 건강한 췌장이 돌리는 조절 고리를 사람이 대신 돌려야 한다. 공복에 필요한 양을 깔아 주는 기저 인슐린, 먹은 탄수화물에 비례해 넣는 식사 인슐린, 혈당이 목표치보다 얼마나 높은지에 비례해 넣는 교정 인슐린 세 가지를 맞춰 가는 일이다.

디지털 트윈은 이 조절을 사람 몸 밖에서 미리 해 보려는 모델이다. 환자에게 새 용량을 직접 시도해 보는 대신, 후보 용량들을 모델 자신에게 적용해 가상의 혈당 곡선을 만든다. 그 곡선에서 혈당이 얼마나 위험한 구간에 머무는지 같은 값을 계산하면 후보들끼리 순서를 매길 수 있고, 그 순서가 임상 판단을 돕는다. 환자에게 돌아가는 쓸모는 여기서 나온다. 어느 쪽이 더 안전한지 고르는 일이다.

그런데 이런 모델을 평가할 때 쓰는 숫자는 대개 다른 것을 본다. 예측한 혈당 곡선이 실제 혈당과 매 시점 얼마나 떨어져 있는지를 평균한 값, 즉 RMSE나 MARD 같은 점별 오차다. 논문이 검증 대상으로 삼은 것은 모델이 아니라 바로 이 관행이다. 점별 오차가 작아지면 치료 선택도 따라서 좋아지는가. 저자들은 이 가정을 가정으로 두지 않고 두 가지를 나란히 측정했다.

실험은 사람이 아니라 시뮬레이터 위에서 돌아갔다. 쓴 것은 simglucose로, 미국 식품의약국이 받아들인 UVA/Padova 1형 당뇨 모델을 오픈소스 파이썬으로 구현한 소프트웨어다. 여기 들어 있는 가상 환자 30명을 썼고, 성인 10명과 청소년 10명, 어린이 10명으로 나뉜다. 시뮬레이터가 환자의 진짜 반응을 쥐고 있으니 모델이 매긴 순위가 맞았는지 틀렸는지를 끝까지 확인할 수 있다. 사람을 대상으로는 할 수 없는 확인이다.

후보 치료 21가지는 단순하게 만들었다. 기준이 되는 용량에서 식사 인슐린이나 기저 인슐린 가운데 하나만 골라 −50%에서 +50%까지 10%씩 바꾼 조합 스무 가지에, 아무것도 바꾸지 않은 기준 하나를 더한 것이다. 환자마다 기준 치료 하나를 관찰해 디지털 트윈을 맞춘 뒤, 나머지 스무 가지에 대한 혈당 곡선을 예측하게 했다. 예측 곡선은 Magni 위험 커널이라는 채점 함수로 점수를 매겨 스무 가지의 순위를 뽑았다. 진짜 순위는 같은 가상 환자에게 스무 가지를 시뮬레이터에서 직접 돌려 같은 함수로 채점해 얻었다.

모델이 환자를 보는 양은 종류마다 달랐다. 물리 모델의 파라미터를 추정하는 세 방법(MCMC, SBI, UKF)은 22시간치 연속혈당 측정값 264개만 봤고, 데이터로 직접 학습하는 두 방법(Linear, Neural)은 30일치 8,640개를 전부 받았다. 기준 모델인 Prior는 환자 혈당을 한 개도 보지 않았다. 이 차이는 뒤에 다시 나온다. 데이터를 가장 많이 받은 쪽이 치료 선택에서 가장 많이 미끄러지기 때문이다.

채점표는 두 벌이다. 한쪽은 지금까지 써 온 정확도 지표로, 예측 곡선과 실제 곡선의 거리를 재는 RMSE와 MARD다. 다른 한쪽은 결정 품질 지표다. 모델이 매긴 순위와 진짜 순위가 얼마나 같은 방향인지 보는 스피어만 상관이 하나이고, 모델이 고른 치료가 진짜 최선의 치료보다 얼마나 못한지를 환자별로 환산한 regret norm이 다른 하나다. 스피어만은 1에 가까울수록, regret norm은 0에 가까울수록 좋다.

여섯 방법의 성적은 아래와 같다. 괄호 안은 그 지표에서의 순위이고, 마지막 칸은 정확도 순위에서 결정 품질 순위로 옮겨 간 폭이다. 논문은 또 하나의 정확도 지표인 MARD도 함께 보고하는데 표에는 넣지 않았다. 이 글이 따라가는 대조가 그쪽에서도 그대로이기 때문이다. 신경망 31.5%와 기준 모델 52.7%의 간격은 RMSE에서 본 간격과 같은 방향이다.

왼쪽에 정확도 순위를, 오른쪽에 치료 선택 순위를 놓고 같은 방법끼리 선으로 이으면 어긋남이 한눈에 들어온다. 선이 평평하면 두 잣대가 같은 말을 하는 것이고, 기울면 다른 말을 하는 것이다.

먼저 흐려지기 쉬운 지점부터 짚어 둔다. 여섯 가운데 혈당을 가장 정확히 맞힌 것은 신경망이 아니라 MCMC다. 23.0mg/dL로 정확도 1위이고, 스피어만 0.861로 결정 품질도 1위다. 두 잣대가 늘 어긋나는 것은 아니라는 뜻이다. 신경망의 32.9mg/dL이 "거의 절반"으로 읽히는 기준점은 전체 최고 기록이 아니라 환자를 보지 않은 Prior의 63.6mg/dL이다.

어긋남은 아래쪽 두 줄에서 벌어진다. 신경망은 정확도 3위에서 결정 품질 5위로 내려갔다. 스피어만 0.049는 스무 가지 치료를 아무렇게나 줄 세운 것과 구분되지 않는 값이고, 놓친 이득 0.541은 1위 MCMC의 0.083보다 여섯 배 넘게 크다. 반대편에서 Prior는 정확도 6위에서 결정 품질 2위로 올라간다. 이 모델은 MCMC 파이프라인에서 환자를 식별하는 단계만 떼어 낸 것이다. 공개된 ReplayBG 사전분포에서 뽑은 모집단 평균치로 후보 치료들을 재생할 뿐, 그 환자의 연속혈당 측정값은 한 개도 읽지 않는다.

복잡도를 올린 효과도 한쪽으로만 나타났다. 같은 입력과 같은 30일치 데이터를 쓰되 모델만 선형 회귀에서 다층 퍼셉트론으로 바꾼 것이 Linear와 Neural의 차이다. 신경망은 Linear보다 RMSE가 뚜렷하게 좋아졌고 그 차이는 통계적으로도 유의했다. 그런데 스피어만 쪽에서 일어난 일은 개선이 아니다. 순위를 거꾸로 매기던 상태(−0.207)에서 순위에 관해 아무 정보도 담지 않는 상태(0.049)로 옮겨 갔을 뿐이다.

통계 검정도 같이 적어 둔다. 다섯 지표 모두에서 Friedman 검정이 방법 간 차이 없음을 기각했다. 신경망과 Prior 사이는 RMSE에서 30.65mg/dL 신경망이 좋고 스피어만에서 0.717 신경망이 나쁘며, 두 방향 모두 p값이 10⁻⁴보다 작다. 다만 Prior가 둘째라는 서술을 "Prior가 SBI보다 낫다"로 늘리면 논문을 넘어선다. 두 값 0.766과 0.728은 통계적으로 구분되지 않는다(p=0.3931).

논문은 이 결과를 이상 현상으로 다루지 않는다. 두 지표가 구조적으로 다른 것을 벌주기 때문에 생기는 일로 설명한다. 저자들이 적은 근거는 이렇다. 놓친 이득은 두 항을 모두 실제 혈당 궤적 위에서 계산한다. 디지털 트윈의 예측은 어느 치료를 골랐는가라는 통로로만 그 계산에 들어온다. 그래서 예측 혈당이 전체적으로 한쪽으로 치우쳐 있어도, 그 치우침이 선택을 바꾸지 않는 한 벌점이 붙지 않는다. RMSE와 MARD는 같은 치우침에 매 시점 벌점을 매긴다. 스피어만은 이 성질을 순위 전체로 넓힌다. 예측한 점수의 순서를 지키는 오차에는 비용이 들지 않는다.

이 한 줄이 Prior가 상위권에 오른 이유를 설명한다. 모집단 평균만 흉내 내는 모델의 곡선은 어느 환자에게도 잘 맞지 않는다. 그래서 점별 오차는 꼴찌다. 그러나 인슐린을 늘리면 혈당이 내려가고 줄이면 올라간다는 방향성은 평균 수준에서도 지켜진다. 후보들 사이의 상대적 순서를 묻는 질문에는 그 방향성만으로도 꽤 답할 수 있다. 틀린 곡선이되 일관되게 틀린 곡선이기 때문이다.

다만 논문은 이 설명에 범위를 붙여 두었다. 저자들이 적은 것은 이 스무 가지 치료에 한해 순서가 대체로 평균적인 용량-반응의 방향으로 정해지며, 개인화는 그 순서를 정하는 것이 아니라 다듬는 역할을 한다는 것이다. 5절에 적힌 한계 하나가 여기에 맞물린다. 후보들이 한 번에 한 축만 움직이는 설계가 평균의 몫을 그만큼 키웠고, 두 축이 함께 움직이는 후보가 섞였을 때도 같은 결과가 나올지는 이 실험이 답하지 않는다. 그러니 기준 모델의 성적은 개인화가 필요 없다는 증거가 아니라, 이 후보 집합에서 개인화가 기여한 몫이 정확도 숫자만큼 크지는 않았다는 기록이다.

신경망 쪽은 거울상이다. 30일치 데이터로 매 시점의 오차를 줄이도록 학습했으니 곡선은 가까워진다. 하지만 학습이 최소화한 손실 어디에도 "후보 A의 점수가 후보 B의 점수보다 높아야 한다"는 항은 없다. 환자마다 다른 방향으로 조금씩 틀린 예측은 평균 오차를 거의 늘리지 않으면서도 스무 개의 순서를 뒤섞을 수 있다. 정확도를 올리는 학습과 순서를 지키는 학습이 같은 일이라는 보장이 처음부터 없었던 셈이다.

이 결과를 어디까지 밀어도 되는지도 논문이 따로 밝혀 둔다. 가장 먼저 적힌 위험은 이 글의 독자에게도 그대로 해당한다. 이 벤치마크에서 좋은 점수를 받은 것을 임상 검증으로 오해하는 것이다. 실험은 전부 시뮬레이터 안에서 이뤄졌고, 어떤 모델도 실제 환자에게 쓸 수 있다는 근거를 여기서 얻지 못한다.

• 채점할 때 혈당을 40에서 400mg/dL 사이로 잘라 냈다. 깊은 저혈당 한 번이 점수를 통째로 지배하지 않게 하려는 처리인데, 그 대가로 39mg/dL과 15mg/dL이 같은 점수를 받는다
• 정답을 만들기 위한 6,000회의 시뮬레이션 가운데 205회, 3.4%가 시뮬레이터의 안전 범위를 벗어나 중간에 끊겼다. 환자 8명에 몰려 있었고 거의 전부 인슐린을 늘린 치료였다
• Prior가 쓰는 ReplayBG 사전분포는 성인을 대상으로 평가된 것이라, 청소년과 어린이 20명에게는 추가적인 불일치가 있을 수 있다
• 후보 치료는 한 번에 한 축만 움직인다. 실제 임상에서는 기저와 식사 인슐린을 함께, 때로는 서로 반대 방향으로 조정한다
• 모든 결과가 하나의 후보 집합, 하나의 위험 함수, 24시간 지평에서 나왔다. 목표를 혈당 정상 범위 유지 시간 같은 다른 값으로 바꾸거나 기간을 늘렸을 때 이 어긋남이 얼마나 남는지는 저자들도 모른다고 적었다

마지막 항목은 이 결과를 다른 분야로 옮겨 읽을 때도 같이 따라붙는다. 정확도와 결정 품질이 갈라진다는 관찰 자체는 하나의 설정에서 나왔다. 갈라지는 폭이 얼마나 되는지는 재 봐야 알 수 있고, 그 "재 봐야 안다"가 논문의 요지이기도 하다.

1형 당뇨 시뮬레이터 이야기지만 구조는 당뇨 밖에서도 흔하다. 모델을 만드는 쪽은 예측 오차나 정확도처럼 연속적이고 계산하기 쉬운 숫자로 성능을 보고하고, 그 모델을 받아 쓰는 쪽은 그 예측으로 무언가를 고른다. 어느 설비를 먼저 점검할지, 어느 재고를 먼저 채울지, 어느 건을 사람이 다시 볼지를 고른다. 보고되는 숫자는 거리이고, 실제로 쓰이는 능력은 순서다.

두 숫자가 같은 방향을 가리킬 때는 아무 문제가 없다. 이 논문에서 MCMC가 그랬다. 문제는 어긋났을 때 그 사실이 보고서에 나타나지 않는다는 점이다. 정확도만 올라온 대시보드에서는 신경망이 기준 모델보다 두 배 가까이 좋은 모델로 보인다. 치료 선택을 제비뽑기 수준으로 하고 있다는 사실은 그 화면 어디에도 없다. 지표를 속인 사람은 없고, 쓰임새와 다른 것을 재는 지표를 계속 보고받았을 뿐이다.

모델 성능을 한 줄짜리 점수로 받아 보고 있다면 네 가지를 확인해 볼 만하다.

• 이 모델의 출력으로 조직이 실제로 내리는 결정이 무엇인지 한 문장으로 적을 수 있는가. 적히지 않으면 어떤 지표가 맞는지도 정할 수 없다
• 보고받는 점수가 그 결정과 같은 것을 재고 있는가. 거리를 재는 지표와 순서를 묻는 쓰임새가 붙어 있지 않은지 한 번은 따로 확인해야 한다
• 두 숫자를 나란히 올리고 있는가. 논문이 권한 것도 정확도를 버리라는 것이 아니라 결정 품질을 그 옆에 같이 적으라는 것이다
• 아무 정보도 쓰지 않는 기준 모델과 비교하고 있는가. 이 논문에서 결정 품질 둘째는 개인 데이터를 한 개도 보지 않은 모델이었다. 그런 기준선이 없으면 우리 모델이 데이터로 무엇을 얻었는지 알 수 없다

네 가지 모두 모델을 바꾸는 일이 아니라 모델을 재는 자리를 하나 더 만드는 일이다. 데이터 품질과 모델 성능을 다루는 일에서 가장 비싼 실수는 틀린 숫자를 보는 것이 아니라, 맞는 숫자를 엉뚱한 질문에 대한 답으로 읽는 것이다. 이 논문은 그 실수의 비용을 한 표 안에 정리해 놓았다. 기준 모델보다 정확도를 두 배 가까이 올리면서 치료 순위는 거의 담지 못한 모델의 성적표다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치는 arXiv에 공개된 논문 본문과 표에서 직접 확인했고, 저자들이 한계로 적어 둔 대목도 그대로 옮겼다. 지금 보고 계신 모델 점수가 실제 결정의 질과 같은 방향인지 어떻게 확인하고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 26일