Executive Summary

논문의 첫 그림은 앨리스라는 이름의 환자를 예시로 세워 이 연구의 구조를 설명한다. 앨리스는 심전도 석 장을 학습 데이터셋에 내놓았고, 석 장 모두 정상 동리듬이었다. 그리고 오늘 전벽 심근경색을 안고 돌아온다. 심장 앞벽에 생긴 경색이다. 그림의 설명은 이렇게 이어진다. 학습 때 앨리스의 건강했던 옛 기록을 본 모델은 그 전벽 심근경색에 "상당히 낮은 확률"을 매기고, 그 결과로 진단을 놓칠 수 있다.

연구진이 한 일은 그 자리에 모델을 하나 더 세운 것이다. 같은 구조, 같은 학습 절차, 같은 하이퍼파라미터로 만들었지만 앨리스의 옛 기록만은 보지 않은 모델이다. 두 모델에 같은 새 심전도를 넣고 답을 비교한다. 두 답이 다르다면 그 차이는 앨리스의 옛 기록을 봤는가에서 온다. 앨리스는 그림이 든 예시이고, 뒤에 나오는 수치는 실제 환자 수십만 명의 기록에서 나왔다. 그리고 이 논문이 보고하는 것은 그 차이가 실제로 생긴다는 것, 그것도 방향이 정해진 채로 생긴다는 것이다.

연구진은 이 현상을 암기 편향(memorisation bias)이라 부른다. 그 이름을 이 논문이 처음 붙인 것은 아니다. 같은 저자들이 2025년 9월 대전에서 열린 의료 영상 워크숍에 낸 예비 연구의 제목에 그 말이 이미 들어 있다. 이 논문이 새로 세우는 자리는 용어가 아니라 시간이다. 자기 기록을 학습에 내놓은 환자가 나중에 남기는 기록까지 그 영향이 번지는지를 실제 종단 기록으로 잰 것이 처음이라고 저자들은 적는다.

1.1네 데이터셋, 세 기관

재료는 공개된 임상 데이터셋 네 개다. 넷을 서로 다른 네 병원의 자료로 읽기 쉬운데 그렇지 않다. 앞의 셋은 모두 베스 이스라엘 디코니스 메디컬 센터 한 곳에서 나온 서로 다른 모달리티이고, 네 번째만 하버드·에모리 심전도 데이터베이스에서 왔는데 그중에서도 매사추세츠 종합병원 자료만 썼다. 과제도 같지 않다. 응급실 기록으로 푸는 문제는 진단이 아니라 입원과 중증 결과를 예측하는 문제다.

표의 규모는 데이터셋 전체의 크기이지 이 연구가 분석한 코호트의 크기가 아니다. 특히 마지막 줄의 환자 180만 명은 하버드·에모리 데이터베이스 중 매사추세츠 종합병원 몫 전체를 센 수이고, 실제로 시간 분할을 거쳐 분석에 들어간 환자 수는 논문의 그림 안에만 있다. 방법 절에 기록 수로 적힌 것은 테스트셋 쪽이다. 위 표의 순서대로 49,655건, 57,529건, 20,872건, 143,062건이다. 테스트 성능은 모델 여러 개의 평균이며 표준편차는 모두 0.25%포인트 이하다. 네 데이터셋은 공개 연구용으로 제공된 자료이고, 이 논문의 발견은 특정 병원의 진료 품질이 아니라 모델을 만드는 방법에 관한 것이다.

모델도 데이터셋마다 다르다. 심전도 두 곳에는 2차원 합성곱 층을 1차원으로 바꾼 비전 트랜스포머를 썼고 파라미터는 약 1,400만 개다. 흉부 X선에는 ImageNet으로 사전학습한 DenseNet-121을 약 700만 개 파라미터로, 응급실 기록에는 사이킷런 랜덤포레스트를 트리 100개에 잎 최소 표본 4로 놓고 썼다. 뒤에 나오는 절들이 다루는 모델 구조 비교와 보호 실험은 이 배치 위에서 진행된다.

라벨이 어디서 왔는가는 표에 적히지 않는다. 심전도 소견 15종은 기계가 생성한 판독문에 정규표현식을 걸어 뽑은 것이고, 흉부 질환 14종은 자유서술 판독문에서 뽑은 구조화 라벨이며, 매사추세츠 종합병원 자료의 36종은 반자동 진단 시스템이 붙인 것이다. 모델이 배운 정답은 의사가 이 연구를 위해 다시 판정한 값이 아니라 기록에서 추출된 라벨이다. 이 연구가 묻는 것은 같은 라벨 위에서 두 모델 무리의 답이 갈리는지이므로 비교 자체는 성립한다. 다만 표의 절대 성능 수치를 임상 정확도로 옮겨 읽으려면 라벨의 출처가 먼저 걸린다.

1.2모델 200개를 두 무리로 가른다

측정 틀은 두 단계로 되어 있다. 먼저 환자를 무작위로 갈라 추적 코호트와 검증·테스트 집합을 만든다. 그다음 추적 코호트에 속한 환자마다 자기 기록을 시간순으로 세우고 한 시점에서 자른다. 그 앞은 과거 기록, 그 뒤는 미래 기록이다. 학습에 들어가는 것은 과거 기록뿐이다. 자르는 지점은 고정된 날짜도 고정된 비율도 아니고 환자마다 따로 잡는데, 그 목적은 미래 쪽에 그 환자의 과거 학습 기록엔 양성 사례가 없던 질환(원어로는 de novo condition)의 첫 발생을 되도록 많이 남기는 것이다.

그 규칙은 방법 절에 절차로 적혀 있다. 환자의 기록을 시간순으로 세우고, 각 기록 시점에서 그 환자에게 한 번이라도 문서화된 질환 가운데 아직 나타나지 않은 것이 몇 개인지를 센다. 이 수는 시간이 갈수록 줄어들기만 하므로, 아직 나타나지 않은 질환이 C개 이상 남아 있는 마지막 기록의 바로 앞에서 자른다. C는 데이터셋마다 정했고 심전도·흉부 X선·응급실 기록에서는 1, 매사추세츠 종합병원 심전도에서는 2였다. 기록이 한 건뿐이거나 같은 질환만 계속 문서화된 환자, 즉 상태가 한 번도 바뀌지 않은 환자는 아예 자르지 않고 모든 기록을 과거 쪽에 넣었다. 그래서 뒤에 나오는 "상태가 그대로인 기록"은 건강이 한 번도 달라지지 않은 사람의 것이 아니라, 다른 질환에서는 변화가 있었던 환자의 기록 가운데 상태가 유지된 쪽을 가리킨다.

그리고 설정마다 모델을 200개씩 학습시킨다. 각 모델은 전체 환자의 절반을 무작위로 뽑아 그 사람들의 과거 기록만 본다. 환자 한 명을 기준으로 보면 200개가 정확히 반으로 갈린다. 그 환자를 배운 모델 100개와 배우지 않은 모델 100개다. 두 무리가 같은 미래 기록에 매긴 확률 벡터를 에너지 거리 기반 비모수 검정으로 비교하고, 데이터셋의 과거·미래 기록 전체에 대해 다중비교를 보정한다. 여기서 "암기가 검출됐다"는 말은 이 검정이 두 무리의 예측 분포가 다르다고 판정했다는 뜻이다. 모델 200개를 부분집합으로 나눠 쓰는 설계 자체는 새로운 것이 아니라 멤버십 추론 연구에서 쓰던 방식이고, 같은 팀의 전편 논문도 데이터셋마다 200개를 썼다.

이 논문의 두 축은 서로 다른 자로 쟀다. 암기 검출 쪽의 p값은 에너지 검정의 빠른 카이제곱 근사로 구했고, 논문은 이 근사가 여기서 쓴 집단 크기, 곧 양쪽 100개씩에서 적절하다고 밝힌다. 다중비교는 벤저미니·호크버그 절차로 거짓발견율을 5%에 묶었다. 반면 3절에 나오는 민감도·특이도 비교는 모델 배정을 10만 번 뒤섞는 정확 순열검정이고 보정은 본페로니다. 순열 수가 10만이면 원 p값은 2/(B+1), 곧 약 0.00002에서 바닥에 닿고 보정 후에는 0.0016이 하한이 된다는 것도 논문이 스스로 적는다. 그래서 "유의했다"는 판정의 해상도가 두 축에서 같지 않다. 뒤에 나오는 검출 비율은 근사 검정 위에 서 있고, 진단 결정이 갈렸다는 쪽은 정확 검정 위에 서 있다.

1.3이것은 데이터 누수가 아니다

데이터 누수란 평가 데이터가 학습에 섞여 들어가는 일이다. 이 현상은 그것과 다르다. 저자들은 미래 기록이 "모델 학습에도 모델 선택에도 전혀 쓰이지 않았다"고 두 번 못 박는다. 하이퍼파라미터도 미래 기록을 보지 않고 골랐다. 분할은 올발랐고, 그래서 고칠 분할이 없다.

과적합 탓으로 돌리기도 어렵다. 과적합이 암기를 키운다는 것은 이미 알려진 사실이라, 연구진은 검증 손실을 기준으로 체크포인트를 잡아 일반화가 가장 좋은 가중치만 남겼다. 최적화 하이퍼파라미터도 데이터셋마다 무작위 탐색 50회를 돌려 검증셋 성능이 가장 높은 값을 골랐다. 다른 환자들이 부분집합에 우연히 들어가고 빠지는 효과는 이 설계에서 상쇄된다. 모델을 이만큼 많이 쓰면 그 영향이 빠르게 평균 안으로 사라진다는 선행 연구 결과가 이 측정 틀의 전제이고, 논문도 그 근거를 같은 문헌에서 든다.

그 점을 검증하려고 연구진은 대조군을 하나 더 돌렸다. 환자를 기준으로 가르는 대신 모델 200개를 아무 의미 없이 무작위로 반씩 나눈 뒤 같은 검정을 돌린 것이다. 이 대조군에서는 과거 기록에서도 미래 기록에서도 유의한 차이가 한 건도 나오지 않았다. 차이가 검정의 잡음이 아니라 특정 환자를 배웠는가에서 온다는 확인이다. 평가 방법론의 결함을 다룬 같은 산모 기록이 학습과 평가 양쪽에 새어 성능이 부풀려진 사례와 이 글이 갈라지는 자리가 여기다. 저 글의 문제는 잘못 설계된 평가였고, 이 글의 문제는 올바르게 설계된 모델이 배포된 뒤에 벌어지는 일이다.

이 글이 다루는 논문은 우리가 2026년 6월에 다룬 환자 한 사람 단위로 멤버십 추론 위험을 잰 전편 연구의 후속편이고, 1저자가 같다. 두 연구의 경계는 논문이 직접 적어 뒀다. 전편은 모델이 학습에 쓴 바로 그 기록을 두고 공격자가 멤버십을 알아맞히는 세계를 다뤘다. 이 논문이 다루는 손해는 "적대적 행위자의 개입을 필요로 하지 않는다". 아무도 공격하지 않는데, 자기 기록을 내놓은 사람의 다음 진료에서 답이 달라진다.

다음 물음은 시간이다. 옛 기록을 본 효과가 몇 달쯤 가다 사라지는 것이라면 실무에서 다룰 일이 거의 없다. 연구진은 이를 재려고 취득 간격이라는 축을 세웠다. 그 환자의 가장 최근 과거 학습 기록과 지금 평가하는 미래 기록 사이가 몇 달인가다. 이 축 위에 암기가 검출된 비율과 효과 크기를 늘어놓으면 흔적이 시간에 따라 어떻게 되는지가 보인다.

네 데이터셋 가운데 긴 간격을 볼 수 있는 곳은 사실상 하나다. 매사추세츠 종합병원 심전도 자료는 1980년대부터 2025년까지 모은 것이라 한 환자의 기록 사이에 수십 년이 놓이는 경우가 있다. 거기서 연구진은 마지막 과거 학습 기록으로부터 25년이 넘게 지난 미래 기록에서도 유의한 예측 변화를 검출했다. 나머지 셋은 수집 기간이 짧아 이만한 간격 자체가 데이터에 없다. 그러니 "수십 년 지속"은 네 데이터셋 전체의 성질이 아니라 그 한 곳에서 관찰된 사실이다.

흔적은 옅어지기는 한다. 저자들의 표현으로 간격이 길어질수록 효과는 "일반적으로 덜 두드러지고 더 드물어진다". 다만 0이 되지 않는다. 그리고 옅어지는 속도는 데이터셋마다 상당히 다른데, 그 차이의 원인으로 저자들이 든 것은 가설이다. 미래 기록이 과거 기록을 얼마나 닮는지, 그리고 환자가 다시 오는 간격이 데이터셋마다 다르다는 설명이다. 이것은 측정된 결과가 아니라 저자들이 세운 추정이고, 논문도 그렇게 적는다.

이 결론에는 저자들이 스스로 붙인 조건이 하나 있다. 추적 기간이 긴 환자는 어느 데이터셋에서도 드물다. 그래서 긴 간격 구간의 추정치는 비교적 적은 기록 위에 서 있고, 저자들은 자기 추정치가 그만큼 보수적일 것이라고 덧붙인다. 요약 통계를 낼 때도 남은 기록이 500건 아래로 떨어지는 지점에서 선을 그어 그 너머는 보고하지 않았다. 적은 표본으로 큰 수를 주장하지 않으려는 처리인데, 동시에 이 축의 해상도가 어디까지인지를 보여 준다.

실무로 옮기면 시간 지평의 문제다. 데이터 보관 기간을 정하고, 옛 코호트를 다시 학습에 쓸지 결정하고, 모델을 얼마나 오래 서비스할지 정하는 자리에서 보통 전제하는 것은 오래된 기록의 영향이 자연히 옅어진다는 감각이다. 이 논문은 그 감각의 유효 기간을 한 데이터셋에서 25년 밖으로 밀어 놓았다.

예측 확률이 흔들린다는 것만으로는 아직 진료의 언어가 아니다. 연구진은 한 걸음을 더 갔다. 흔들린 확률을 진단 결정으로 바꿔 보면 무엇이 달라지는지를 시뮬레이션한 것이다. 데이터셋마다 클래스마다 결정 임계값을 테스트셋에서 정하고, 그 임계값으로 두 모델 무리의 미래 기록 예측을 각각 양성·음성으로 가른 뒤, 두 무리의 정답 비율 차를 기록마다 구했다. 임계값은 모델 전체의 평균 예측으로 잡아 어느 모델이 어느 환자를 배웠는지와 무관하게 만들었고, 검정은 모델 배정을 10만 번 뒤섞는 정확 순열검정으로 했다.

비교는 두 층으로 갈라서 했다. 한쪽은 그 환자의 과거 학습 기록엔 양성 사례가 없던 질환을 안고 돌아온 기록이다. 이 층에는 양성만 있으므로 성별이 같고 나이가 5년 구간 안에서 일치하는 대조 기록을 같은 데이터셋에서 뽑아 짝지었다. 다른 한쪽은 건강 상태가 과거와 같은 기록이다. 과거에 이미 양성이 있던 질환의 양성, 그리고 과거에 음성만 있던 질환의 음성이 여기 들어간다.

결과는 두 층에서 반대로 나왔다. 전에 없던 질환을 안고 돌아온 기록에서는 그 환자의 과거 데이터로 학습한 모델이 그렇지 않은 모델보다 민감도가 유의하게 낮았다. 찾아내야 할 것을 덜 찾아냈다는 뜻이고, 저자들의 표현으로는 위음성 비율이 높아진 것이다. 반대로 건강 상태가 그대로인 기록에서는 민감도와 특이도가 둘 다 유의하게 높아졌다. 논문은 이를 두고 겉보기 진단 성능이 "인위적으로 부풀려진다"고 적는다.

이 비교가 어느 기록에서 돌았는지를 짚어야 한다. 민감도와 특이도 비교는 미래 기록 전체에서 돌린 것이 아니라 앞 단계에서 암기가 검출된 미래 기록으로 한정해서 돌렸다. 방법 절에 그렇게 적혀 있다. 그러니 이 결과는 자기 기록을 학습에 내놓은 환자 전체에서 민감도가 이만큼 내려간다는 말이 아니고, 암기가 검출된 기록에서 방향이 이렇게 갈린다는 말이다. 임계값은 모델 200개의 평균 예측으로 미리 정해 두었으니 이 한정이 임계값 선택에까지 끼어들지는 않는다.

질환별로 민감도가 몇 퍼센트포인트 떨어졌는지는 우리도 옮기지 못한다. 이 판본의 본문에 그 값은 한 줄도 적혀 있지 않다. 그 값들은 전부 그림 안에 있고, 그림은 래스터 이미지라 우리가 읽어 옮길 수 없다. 본문이 말하는 것은 방향과 유의성이다. 논문의 해당 그림은 여든두 번의 비교에 대해 본페로니 보정을 적용한 결과이고, 심전도 데이터셋 하나는 사례가 많은 질환 열 개만 본문 그림에 실렸다.

3.1두 오차는 섞이면 서로를 지운다

두 결과를 합치면 실무에서 무슨 일이 벌어지는지가 보인다. 한쪽에서는 성능이 내려가고 다른 쪽에서는 올라간다. 그리고 실제 배포에서 두 층은 섞여 있다. 자기 기록을 학습에 내놓은 환자 대부분은 상태가 크게 달라지지 않은 채 다시 오고, 소수가 새 질환을 안고 온다. 층을 나누지 않고 한 덩이로 성능을 재면 위로 부푼 쪽과 아래로 꺼진 쪽이 서로를 상쇄한다. 방향이 반대인 두 오차를 하나의 숫자로 접으면, 그 숫자는 아무 일도 없었다고 보고한다.

저자들은 이 대목을 평가 설계에 대한 경고로 바꿔 적었다. 전에 없던 질환 사례를 따로 층화하지 않은 전향 시험은 자기 기록을 학습에 내놓은 환자에 대한 진단 1차 평가변수에서 "틀린 결론에 이를 가능성이 높다"는 것이다. 이유도 함께 적혀 있다. 환자들은 대개 상태가 그대로인 채 다시 오기 때문이다. 검증 계획서를 쓰는 쪽에서 이 문장은 이 논문에서 가장 먼저 쓰이는 한 줄이다.

3.2저자들이 먼저 달아 둔 네 가지 조건

이 결과는 조건을 함께 읽어야 한다. 논문은 네 가지를 스스로 적어 뒀고, 그중 어느 하나만 빠져도 결과가 실제보다 크게 읽힌다.

• 규모는 작다. 시뮬레이션에서 암기 편향 탓으로 돌릴 수 있는 놓친 진단의 수를 저자들은 "modest"라 표현한다.
• 발생률이 아니다. 전에 없던 질환 사례는 일상 진료 기록에서 드물고, 이 연구의 시간 분할은 그런 사례를 의도적으로 풍부하게 만들었다. 그래서 이 수치는 효과의 존재와 방향을 말하는 값이지 배포 현장에서 예상되는 빈도가 아니다.
• 관측이 아니라 시뮬레이션이다. 예측 확률의 변화를 사후 임계값으로 진단 결정으로 옮긴 것이고, 모델은 임상의가 개입하지 않는 단독 조건에서 평가됐다. 실제 임상 영향은 "앞으로 전향적으로 정량화되어야 한다"고 논문이 적는다.
• 하위집단은 보지 않았다. 이 논문은 인종·성별·보험 같은 축으로 나눠 보지 않았다. 학습 데이터에서 과소대표된 집단에 위험이 몰린다는 결과는 같은 팀의 전편 논문에서 나온 것이고, 그 불균등이 암기 편향으로도 이어지는지는 이 논문이 열린 물음으로 남겨 둔다. 성능을 집단별로 갈라 재지 않으면 무엇이 안 보이는지는 혈당 예측 모델의 하위집단 격차를 다룬 글에 적어 뒀다.

지금까지가 현상이라면, 남은 물음은 그 현상이 무엇에 달려 있는가다. 연구진은 응급실 기록 데이터셋 하나를 골라 모델 구조만 바꿔 가며 같은 실험을 세 번 돌렸다. 랜덤포레스트, L2 정칙화를 건 로지스틱 회귀, 표 형식 데이터용 ResNet이다. 구조마다 모델 200개, 같은 부분집합 프로토콜, 같은 검정이다. 과제는 진단이 아니라 임상 변수 64개로 입원과 중증 결과를 예측하는 문제다.

이 세 줄은 이 논문에서 본문 텍스트에 수치가 모두 적힌 유일한 비교다. 미래 기록 65,402건 가운데 암기가 검출된 비율과, 그 모델들의 테스트 성능을 나란히 놓으면 이렇게 된다.

오른쪽 끝 열의 세 값은 0.89%포인트 안에 들어 있다. 성능 지표만 놓고 고르면 세 모델은 사실상 구별되지 않는다. 그런데 왼쪽에서 두 번째 열은 2.25%와 0.04%, 약 쉰여섯 배 차이다. 이 대비를 논문이 한 문장으로 병치하지는 않는다. 세 수치가 모두 본문에 있고 우리가 나란히 세운 것이다. 그리고 세우고 나면 실무에서 쓰이는 문장이 하나 나온다. 모델 후보를 성능으로만 좁히면 이 열은 선택에 들어오지 않는다.

방향도 읽는 사람이 기대하는 쪽과 다르다. 가장 많이 암기한 쪽은 신경망이 아니라 랜덤포레스트였고, 가장 적게 암기한 쪽은 로지스틱 회귀였다. 그래서 저자들의 결론은 암기 편향이 "현대 AI 모델에 한정되지 않는다"는 것이고, 랜덤포레스트가 임상 표 형식 예측에 널리 쓰이는 모델 계열이라는 점을 덧붙인다. 딥러닝이라서 생기는 문제로 읽으면 요점이 사라진다. 논문의 서론도 암기를 딥러닝 모델과 고전 기계학습 모델 양쪽에서 문서화된 현상으로 소개하면서, 고전 쪽 근거로 1998년 연구까지 거슬러 올라간 목록을 든다.

이 세 줄에도 무작위 분할 대조군이 함께 돌았고, 세 구조 모두 과거·미래 기록에서 유의한 기록이 한 건도 나오지 않았다. 다만 비율 자체를 절대값으로 읽는 것은 조심해야 한다. "암기가 검출됐다"는 판정은 이 논문이 고른 검정과 이 설계에 상대적인 값이다. 모델 200개, 환자마다 100 대 100, 거짓발견율 5%라는 조건이 바뀌면 비율도 바뀐다. 반면 세 구조는 같은 자로 쟀으므로 구조 사이의 비교는 그대로 유효하다. 그래서 구조끼리 견주는 논지는 흔들리지 않는다.

과거 기록 쪽 열도 함께 보면 규모가 가늠된다. 랜덤포레스트는 학습에 쓴 과거 기록의 93.53%에서 암기가 검출됐다. 이 비율의 분모는 과거 기록 321,530건이고 확장 데이터 그림의 캡션에 적혀 있다. 학습에 쓰인 기록에서 예측이 흔들리는 일은 이미 알려진 현상이고, 멤버십 추론 공격이 이용하는 신호가 정확히 그것이다. 이 논문이 더한 것은 그 신호가 학습에 쓰인 기록 밖으로, 같은 사람의 나중 기록으로 번진다는 관찰이다.

이 논문이 다룬 과제의 범위는 여기서 끝난다. 잰 것은 지도 분류로 학습한 모델뿐이다. 분할이나 생존 예측, 파운데이션 모델과 대형언어모델에서도 같은 현상이 나타날 것을 선행 연구가 시사한다고 저자들은 적지만, 각각에서 어떤 모양으로 나타나는지는 따로 연구해야 한다고 논문이 한계 목록의 마지막 항목에서 적는다. 이 논문이 인용한 의료 파운데이션 모델 연구가 그쪽의 현재 위치를 보여 준다. 구조화된 진료기록으로 학습한 모델의 암기를 임베딩 수준과 생성 수준에서 탐침하는 평가 묶음을 내놓았는데, 거기서 재는 것은 프라이버시 위험이고 진단 정확도의 변화가 아니다.

자기 기록을 학습에 내놓은 환자에게는 그 모델의 판독을 적용하지 않으면 된다. 논문도 그 방법을 먼저 검토한다. 그리고 그것이 왜 실무에서 성립하기 어려운지를 세 단계로 짚는다.

시작은 동의의 모양이다. 대부분의 관할에서 모델 학습은 진료 과정에서 모은 건강 데이터의 2차 이용에 해당하고, 연구마다 따로 받는 동의가 아니라 포괄 동의나 동의 면제 아래에서 이뤄진다. 그래서 환자는 자기 데이터가 어느 모델의 학습에 들어갔는지 거의 통보받지 않는다. 여기에 비식별 절차가 겹친다. 모델이 배포된 뒤에 지금 눈앞의 환자가 그 모델의 학습 데이터에 들어 있었는지를 판단하는 일이 "간단하지 않다"고 논문은 적는다.

제외라는 처방은 대상을 특정할 수 있을 때만 성립한다. 그 특정이 막혀 있으니 처방이 공중에 뜬다. 논문이 검토한 세 갈래는 각각 다른 자리에서 막힌다.

세 번째 줄이 가장 무겁다. 앞의 두 방법은 기술로 다듬을 여지가 있지만, 세 번째는 데이터가 많아질수록 더 나빠진다. 학습 데이터가 커지는 것은 지금 모든 곳에서 벌어지는 일이고, 커질수록 제외할 사람이 줄어든다. 저자들의 표현으로 "제외는 자기 무력화된다".

저자들이 그 방향을 예상하는 근거는 모델 쪽에도 있다. 모델 용량이 커질수록 학습 데이터 가운데 암기되는 몫이 늘어난다는 결과가 선행 연구에 여러 편 있고, 지금 모델 개발은 규모를 키워 성능을 얻는 쪽으로 가고 있다. 더 큰 모델이 더 넓은 환자 인구의 과거 기록으로 학습되면 암기 편향의 영향을 받는 사람의 절대 수가 크게 늘어날 것이라고 저자들은 적는다. 다만 같은 문단에서 그 증가를 직접 시험하지는 않았다고 밝힌다. 측정이 아니라 예상이다.

이 구조를 역설이라고 부르는 것은 우리 쪽 독법이다. 논문이 쓴 말은 그보다 건조하다. 현행 모델 개발 관행의 "허점을 드러낸다", 그리고 익명화된 과거 진료 데이터로 의료 AI를 만드는 일반적 관행에 "근본적인 재평가가 필요하다"는 것이다. 사실과 해석을 갈라 두는 편이 낫다. 사실은 비식별 조치가 제외를 어렵게 만든다는 것이고, 해석은 개인을 보호하려고 넣은 장치가 같은 개인을 보호하는 길을 막는다는 읽기다.

이 글의 물음은 이 블로그가 다룬 인접 문제 둘과 한 단계 어긋나 있다. 에이전트 기억에서 특정 데이터를 지우는 문제는 지울 대상을 어떻게 삭제하느냐를 물었고, 로봇 시연 데이터를 지운 뒤 흔적이 남았는지 감사한 글은 삭제가 실제로 됐는지를 물었다. 이 글의 문제는 삭제가 아니라 제외이고, 그 앞 단계에서 이미 막힌다. 지울 것을 고르지 못하는 것이 아니라, 지키려는 사람을 고르지 못한다.

암기 편향이 생기려면 모델을 쓰는 사람들 가운데 그 모델의 학습에 기록을 낸 사람이 섞여 있어야 한다. 그 조건은 예외 상황이 아니라 지금 국가 단위 검진 프로그램이 서 있는 자리다. 논문은 독일 전국 유방암 검진을 예로 든다. 지금 그 인구를 검사하는 AI 모델이 "지금 그 모델이 서비스하는 바로 그 검진 인구에서 온" 데이터로 학습됐다는 것이다. 영국과 스웨덴의 국가 검진에서도 비슷한 배치가 진행 중이라고 덧붙인다.

논문이 규모를 적는 방식은 이렇다. 검진 인구 수십만 명이 몇 해에서 몇십 년에 걸쳐 정기적으로 다시 온다. 그러면 자기 기록을 학습에 내놓은 사람은 자신의 옛 기록을 암기했을 수 있는 모델을 한 번이 아니라 반복해서 만난다. 그리고 검진 프로그램의 성질상 그 옛 기록은 대개 건강한 기록이다. 2절에서 본 시간 지평이 왜 실무 문제인지가 여기서 맞물린다.

다만 이 대목의 수치 하나는 논문과 그 논문이 인용한 원 논문에서 서로 다르게 적혀 있다. 논문은 독일 모델의 학습 규모를 맘모그램 120만 장으로 적는데, 근거로 단 원 논문의 방법 절에는 "영상 200만 장 이상"이라 적혀 있다. 검사 한 건이 영상 여러 장으로 이뤄지니 환산 가능성은 있지만 그 환산의 근거를 원문에서 찾지 못했다. 그래서 이 수치는 논문이 그렇게 적었다는 사실로만 옮긴다. 그리고 이 검진 프로그램들은 겹침의 예시로 인용된 것이지, 거기서 암기 편향이 확인됐다는 보고가 아니다.

6.1규정은 겹침을 권한다

논문은 이 겹침을 두고 "규제 지침이 이를 적극적으로 권장한다"고 적고 조항 하나를 든다. 유럽연합 인공지능법 제10조 4항이다. 조문을 직접 열어 보면 논문의 인용보다 범위가 넓다. 주체가 학습 데이터가 아니라 "데이터 세트"(학습·검증·시험 전부)이고, 반영하라는 것도 지리적·맥락적 환경 둘이 아니라 지리적·맥락적·행태적·기능적 환경 넷이며, "의도된 목적이 요구하는 범위에서"라는 한정이 붙어 있다.

그리고 겹침을 더 직접적으로 요구하는 조항은 바로 앞 항에 있다. 제10조 3항은 학습·검증·시험 데이터가 "충분히 대표성을 갖출" 것을 요구하면서, 적절한 통계적 성질을 갖추되 "그 고위험 AI 시스템이 사용될 대상이 되는 사람 또는 사람 집단에 관하여" 그러할 것을 명시한다. 쓸 사람들을 반영하라는 요구다. 같은 방향의 요구가 의료기기 쪽에도 있다. 논문이 인용한 문서는 국제의료기기규제당국자포럼이 2025년 1월 27일 확정한 좋은 기계학습 관행 10원칙이고, 우리도 그 원문을 확보했다. 그 원칙 3은 임상 평가에 의도한 환자군을 대표하는 데이터셋을 쓸 것을 요구하면서, 대표성을 갖춰야 하는 대상으로 학습·시험·모니터링 데이터셋을 나란히 적는다. 2021년 10월에 미국·캐나다·영국 규제기관이 함께 낸 판에서는 그 자리가 임상시험과 학습·시험 데이터였다.

6.2같은 규정집이 검증에서는 그들을 빼라고 한다

같은 10원칙의 네 번째 원칙은 학습 데이터와 시험 데이터가 서로 독립이어야 한다고 요구한다. 그리고 독립을 깨뜨릴 수 있는 원인을 이름으로 열거하는데, 그 목록의 첫 항목이 환자다. 2021년 판 원문은 "환자, 데이터 취득, 기관 요인을 포함한 모든 잠재적 의존 원인을 고려하고 처리하여 독립성을 보장한다"고 되어 있고, 2025년 판은 같은 요구에 "외부 검증의 범위는 위험에 비례한다"는 문장을 한 줄 더 붙였다. 여덟 번째 원칙은 한 걸음 더 나아가, 임상적으로 의미 있는 기기 성능 정보를 "학습 데이터 세트와 독립적으로" 산출하라고 요구한다. 2025년 판은 시험 계획을 "방법론적·통계적으로 충실한" 것으로 표현만 다듬고 그 구절은 그대로 두었다. 인공지능법 제15조는 그렇게 산출한 정확도 수치를 사용 설명서에 선언하게 한다.

여기서부터는 우리가 조문에서 세운 독법이다. 논문은 이 논증을 하지 않는다. 논문이 규제에 대해 적은 문장은 "규제 지침이 이를 적극적으로 권장한다"까지이고, 원칙 번호를 들어 논증한 대목은 본문 어디에도 없다.

규정을 그대로 지키면 시험 데이터에는 학습에 기록을 낸 환자가 한 명도 들어가지 않는다. 그렇게 산출한 수가 제품에 적히는 성능이다. 동시에 다른 조항은 데이터가 그 시스템을 쓸 사람들을 반영할 것을 요구하고, 앞 절에서 본 대로 실제 배포 인구에는 기록을 낸 사람이 섞여 있다. 그러면 성능 숫자를 잰 사람과 그 숫자를 적용받는 사람이 규정에 의해 갈라진다. 그리고 이 논문이 잰 오차는 정확히 그 갈라진 쪽에서만 생기는 오차다. 규정을 완벽하게 지킨 검증 연구일수록 이 편향을 볼 자리가 없다.

두 요구 어느 쪽에도 잘못이 없다는 점이 이 구조의 어려운 대목이다. 학습셋과 시험셋을 갈라 놓으라는 요구는 성능 부풀림을 막으려고 있고, 배포 인구를 반영하라는 요구는 일반화를 위해 있다. 각각 옳은데, 겹쳐 놓으면 아무도 보지 않는 자리가 생긴다.

6.3조문에 그들을 가리키는 말이 없다

그래서 우리는 반대쪽을 찾아봤다. 학습에 데이터를 낸 사람을 배포 단계에서 어떻게 다룰지 정한 조항이 있는가. 인공지능법은 조문과 전문(前文)까지 통째로 검색했고, 배포된 뒤를 다루는 문서 둘을 더 열었다. 모델을 다시 학습시킬 때의 절차를 정한 미국 식품의약국의 사전 변경 계획 지침과, 시판 후 임상 추적을 규정한 유럽 의료기기규정이다. 셋에 같은 검색어를 같은 방식으로 넣은 결과가 아래 표다.

관련 조항을 더 확인해도 층이 어긋나 있다. 제15조 5항은 사이버보안 위협을 열거하면서 데이터 포이즈닝, 적대적 예시와 나란히 "기밀성 공격"을 명시적으로 이름 부른다. 규정이 암기를 다루기는 하는데, 그 자리가 보안이다. 시판 후 감시를 규정한 제72조는 성능 데이터를 능동적·체계적으로 수집하고 분석하라고 요구하지만, 학습에 기록을 낸 층과 그렇지 않은 층을 갈라 보라는 요구는 없다. 10원칙의 열 번째 원칙도 배포 후 실사용 감시를 요구하되 그 층화를 말하지 않는다. 인공지능법이 편향 검출을 위해 민감정보 처리를 예외로 허용한 조항을 다룬 적이 있는데, 그 조항도 보는 층이 다르다.

미국 쪽 사전 변경 계획 지침은 2024년 12월 4일에 처음 나오고 2025년 8월 18일에 다시 확정됐다. 인공지능 기반 기기 소프트웨어를 재훈련하고 성능을 다시 재는 절차를 다루니, 배포된 뒤의 성능을 어느 인구에서 잴지 정하는 문서다. 이 지침의 시험 데이터 정의 한 문장에 앞 절의 두 요구가 같이 들어 있다. 시험 데이터는 "제안된 의도된 사용 인구를 대표해야" 하고, 동시에 "학습·튜닝에 쓰인 데이터와 독립이어야 하며 일반적으로 학습·튜닝 데이터를 만든 곳과 다른 여러 기관에서 와야" 한다. 6.2절에서 우리가 두 문서의 조항을 맞대어 세운 어긋남이, 여기서는 한 정의 안에 나란히 놓여 있다.

그런데 이 지침이 독립을 실무로 옮기는 단위는 사람이 아니다. 격리를 정의한 문장은 시험 데이터셋이 학습·튜닝에 쓴 데이터셋과 겹치지 않는 고유한 데이터셋이어야 한다는 뜻으로 적혀 있고, 그 위에 더 붙는 축은 기관이다. 학습·튜닝·시험 집합으로 갈라 놓으라고 이름 부르는 대상도 인종·민족·질환 중증도·성별·나이 같은 하위집단이다. 부록의 데이터 관리 질문 목록은 층화 표집의 예로 성별·나이·인종, 질환 아형, 입원과 외래 같은 진료 환경을 들고, 성능 재평가 항목은 시험 데이터가 "어떤 학습·튜닝 데이터와도 다른" 것이어야 한다고 묻는다. 10원칙 4번은 의존 원인으로 환자를 이름 불렀는데, 그 요구를 절차로 옮긴 이 지침에는 그 이름이 없다. 같은 사람이 양쪽에 있는지를 묻는 질문이 목록에 없다.

유럽 쪽 시판 후 임상 추적은 의료기기규정 부속서 14의 B부에 있다. 계획서가 겨냥할 목적 다섯 개와 계획서에 반드시 넣을 항목 여덟 개가 열거되어 있다. 그 열세 항목에서 암기 편향에 가장 가까운 것을 하나 고르라면 "사실 증거를 근거로 새로 나타나는 위험을 식별하고 분석"하라는 목적이다. 그러나 학습에 기록을 낸 층을 갈라 보라는 항목은 열세 개 가운데 없다. 애초에 그 층을 부를 어휘가 이 규정에 없다. 2017년 관보에 실린 원문에서 기계학습도 인공지능도 학습 데이터도 한 번 나오지 않는다. 소프트웨어를 다루는 대목은 쉰 군데를 넘는데, 그 소프트웨어가 무엇으로 학습됐는지는 이 규정이 쓰일 때의 관심사가 아니었다.

6.2절의 어긋남은 그래서 한 문서의 실수가 아니다. 성능을 기여자 밖에서 재라는 요구와 데이터가 기여자 섞인 인구를 반영하라는 요구는 각각 여러 문서에 있는데, 그 둘을 이어 붙이는 자리에 놓일 낱말이 어느 문서에도 없다. 배포된 뒤를 다루는 문서 둘을 더 열어도 결과가 바뀌지 않았다. 우리가 직접 열어 본 범위는 여기까지다.

인용한 판본을 밝혀 둔다. 우리는 10원칙 두 판본을 모두 전문으로 확인했다. 하나는 미국 식품의약국·캐나다 보건부·영국 의약품규제청이 2021년 10월에 함께 낸 판이고, 다른 하나는 논문이 인용한 국제의료기기규제당국자포럼의 2025년 1월 27일 확정본이다. 뒤쪽은 포럼 웹사이트에 우리 쪽에서 접속이 되지 않아 인터넷 아카이브에 보존된 같은 파일로 열었다. 두 판본의 차이는 크지 않다. 원칙 3이 대표성의 대상을 학습·시험·모니터링 데이터셋으로 적고, 원칙 4에 외부 검증 범위를 위험에 비례시키라는 문장이 붙고, 원칙 10이 재훈련을 다루는 문장을 짧게 줄인 정도다. 앞 절의 논증이 걸려 있는 두 문장, 곧 원칙 4의 독립성 요구와 원칙 8의 "학습 데이터셋과 독립적으로"는 양쪽에 그대로 있다.

같은 문서의 국문판도 국내에 있고, 이번에는 배포본을 직접 열었다. 식품의약품안전평가원 의료기기심사부가 2025년 3월 26일 등록번호 안내서-1421-01로 낸 「의료기기 개발을 위한 우수 기계학습 기준: 지도 원칙」이다. 국문판은 스스로 "본 안내서는 IMDRF에서 발행한 원문을 식품의약품안전처가 번역한 것으로 번역된 내용을 IMDRF에서 보증하지 않습니다"라고 적어 두었다. 원칙 4는 영문과 같다. 훈련 데이터와 시험 데이터를 독립적으로 설정하고, 그 독립성을 위해 "환자, 데이터 출처 병원, 데이터 수집과 관련한 요소"를 모두 고려하라고 되어 있다. 그런데 원칙 8에서는 "학습 데이터 세트와 독립적으로"에 해당하는 구절이 국문판에 없다. 문서 전체에서 "독립"이라는 낱말이 나오는 자리는 원칙 4뿐이다. 그래서 국내 개발자가 국문판만 읽으면 성능을 학습 데이터와 독립적으로 산출하라는 요구는 문장으로 보이지 않고, 앞 절에서 우리가 세운 어긋남의 한쪽 축도 보이지 않는다. 이것은 조문의 충돌이 아니라 번역에서 생긴 공백이다.

암기를 막는 표준 도구는 차분 프라이버시다. 학습 과정에 계산된 잡음을 섞어, 데이터 한 단위가 들어갔든 빠졌든 결과가 거의 구별되지 않게 만드는 방법이다. 얼마나 구별되지 않는지는 예산이라 부르는 값 ε로 적는다. ε이 작을수록 보호가 강하고 성능은 깎인다. 그런데 이 방법의 성패는 ε을 얼마로 잡느냐보다 앞의 한 낱말에 먼저 달려 있다. 데이터 한 단위를 무엇으로 셀 것인가.

연구진은 심전도 데이터셋 두 개에서 예산 네 단계로 이 실험을 돌렸다. 계산 자원 때문에 모델은 파라미터 1,400만 개짜리에서 190만 개짜리로 줄였고, 회계 방식마다 같은 구조·같은 레시피의 비사적 기준 모델을 따로 학습해 비교했다. 그러니 이 절의 수치는 앞 절들과 같은 모델에서 나온 값이 아니다.

예산 ε 옆에는 δ가 하나 더 붙는데, 이 실험은 δ를 해당 과거 학습 데이터 크기의 역수로 잡았다. 보호 단위를 바꾸면 그 크기가 달라지므로 δ 값도 함께 바뀐다. 그리고 환자 단위 보호는 과거 학습 기록만 줄여서 만들었고 미래 기록 데이터셋은 그대로 두었다. 아래 표에서 미래 기록 쪽에 나오는 0은 평가 대상을 줄여서 얻은 0이 아니다.

아래 줄의 0을 앞에서 본 0과 섞지 않는 편이 좋다. 1절의 대조군에서 나온 0은 이 방법이 잡음을 잡아내지 않는다는 확인이었고, 여기 0은 보호 장치가 실제로 흔적을 없앴다는 결과다. 같은 표기지만 다른 말을 한다. 위 줄의 결과, 곧 기록 한 건씩 씌운 보호가 사람 단위의 위험을 막지 못한다는 것은 전편 논문이 멤버십 추론 쪽에서 이미 보고한 것과 맞는다고 저자들은 적는다.

보호 단위를 한 칸 올리자 결과가 이렇게 갈리는 이유를 저자들은 원인에서 찾는다. 암기 편향이 생기는 까닭이 한 사람의 기록들이 시간이 지나도 서로 닮아 있다는 데 있기 때문이다. 그래서 기록 한 건씩 씌우는 보호막은 그 닮음이 만드는 통로를 그대로 남긴다. 논문의 일반 원칙은 한 문장이다.

이 처방 자체가 이 논문의 발명은 아니라는 점은 적어 둘 필요가 있다. 보호 단위를 레코드에서 환자로 올려야 한다는 권고는 같은 팀의 전편 Nature 논문이 이미 결론에 적어 둔 것이다. 이 논문의 기여는 처방을 내놓은 데 있지 않고, 그 권고를 실제로 이행했을 때 무슨 일이 벌어지는지를 그것도 나중 기록까지 이어지는 시간 축 위에서 처음 재 봤다는 데 있다.

7.1그래서 환자 단위로 가면 되는가

이 절을 "환자 단위 차분 프라이버시를 쓰면 된다"로 닫으면 논문이 붙여 둔 조건 셋을 버리게 된다. 첫째, 이 실험의 환자 단위 구현은 단순하다. 환자당 가장 최근 과거 기록 한 건만 남기고 나머지를 버린 뒤 레코드 단위 회계를 적용했다. 학습 기록이 475,512건에서 146,332건으로, 다른 데이터셋에서는 6,147,511건에서 1,767,104건으로 줄었다. 그래서 함께 나온 성능 하락은 보호 장치의 대가만이 아니라 버린 데이터의 몫이 섞여 있고, 저자들 자신이 그 비용을 과대추정이라 적는다. 튜닝을 아낀 것도 같은 쪽으로 작용한다. 이 실험의 하이퍼파라미터는 예산 ε=100 한 곳에서 무작위 탐색 20회로 정해 네 예산에 그대로 썼고, 가중치 감쇠나 드롭아웃 같은 정칙화는 아예 쓰지 않았다. 예산마다 따로 탐색하고 차분 프라이버시 학습 쪽에 쌓인 공학 기법을 넣으면 진단 성능이 올라갈 수 있다고 논문이 직접 밝힌다.

둘째, 환자 단위 보호도 가정 위에 서 있다. 한 데이터베이스에 같은 사람이 중복 항목으로 들어가 있거나, 서로 다른 환자가 가족이거나 유전적으로 닮아 있으면 각 보호 단위가 독립이라는 전제가 깨진다. 셋째, 이 실험은 네 데이터셋 중 둘에서만, 그것도 줄인 모델로 돌았다. 결론을 네 데이터셋 전체로 옮겨 적을 근거가 아직 없다.

그러면 환자의 기록을 다 남기면서 사람 단위 보장을 주는 제대로 된 구현은 있는가. 인접 분야에는 정리가 되어 있다. 언어모델 미세조정 쪽에서는 각 텍스트 기록을 프라이버시 단위로 잡으면 사용자마다 낸 양이 다를 때 보장이 고르지 않게 된다는 문제가 이미 제기됐고, 집단 프라이버시와 사용자 단위 DP-SGD라는 두 갈래가 체계적으로 비교돼 있다. 논문도 그 대목에서 참고할 연구를 두 편 이름으로 든다. 규모를 키워 차분 프라이버시 이미지 분류의 정확도를 끌어올린 2022년 연구와, 차분 프라이버시 언어모델의 규모 법칙을 다룬 2025년 연구다. 뒤쪽 논문의 저자 명단에는 이 논문의 공저자 한 명이 함께 들어 있으니, 그 경로는 이 연구진의 사정거리 안에 있다. 다만 의료 영상이나 심전도 규모에서 한 환자의 모든 기록을 유지한 채 사람 단위 보장을 준 실증은 이 글을 쓰면서 찾지 못했고, 저자들도 이를 "열린 연구 문제"라 적는다. 한 사람 몫을 단위로 다루는 문제는 언어모델 쪽에서도 똑같이 반복된다.

7.2암기를 없애는 쪽으로 가지 않는 이유

더 단순한 처방도 떠오른다. 암기를 아예 없애면 되지 않나. 그런데 2020년 정리 하나가 그 방향을 막는다. 자연적인 데이터 분포에서는 라벨의 암기가 최적에 가까운 일반화 오차를 얻는 데 필요하다는 것이다. 이상값과 잡음 섞인 라벨까지 그렇다. 조건도 함께 적혀 있다. 하위모집단의 빈도 분포가 롱테일일 때 암기가 필요해진다.

그 정리가 근거로 든 것은 이미지와 텍스트 데이터의 롱테일 성질이고, 의료 데이터가 그 조건에 해당한다는 증거는 이 논문에도 그 정리에도 없다. 그러니 암기 제거가 불가능하다고까지 말할 근거는 없다. 다만 제거를 처방으로 내놓으려면 먼저 답해야 할 물음이 하나 남는다. 이 논문이 실제로 보여 준 방향은 제거가 아니라 단위였다.

페블러스가 파는 일의 상당 부분은 단위를 정하는 일이다. 중복을 지울 때 무엇을 한 건으로 셀지, 학습과 평가를 나눌 때 무엇을 한 덩이로 묶을지, 품질 점수를 낼 때 무엇을 한 표본으로 볼지. 이 논문이 잰 것도 결국 단위다. 모델은 기록을 봤고, 손해는 사람에게 갔다.

그 어긋남의 원인도 논문이 말해 준다. 한 사람의 기록끼리 서로 닮았다는 사실이다. 오늘 찍은 심전도는 십 년 전 심전도와 남남이 아니다. 그래서 한 건씩 보호하고 한 건씩 중복을 지우고 한 건씩 표본을 세는 절차는 닮음이 만드는 통로를 그대로 남긴다. 의료만의 일도 아니다. 공장 한 대에서 나온 검사 이미지 수천 장, 운전자 한 명의 주행 로그, 사용자 한 명의 발화 묶음이 같은 모양이다. 품질 진단에서 매일 만지는 데이터가 그렇게 생겼다.

8.1고장 난 층이 어디인가

주목할 것은 어느 층에서 일어났는지다. 모델이 고장 난 것도, 분할이 틀린 것도 아니다. 네 데이터셋 모두 미래 기록은 학습에도 모델 선택에도 쓰이지 않았고, 무작위로 가른 대조군에서는 유의한 기록이 한 건도 나오지 않았다. 절차는 다 맞았다. 빠져 있던 것은 성능 숫자를 누구에게서 잰 것인지였다.

그 빠짐이 양방향으로 작동한다는 점이 특히 그렇다. 전에 없던 질환으로 돌아온 사람에게서는 민감도가 떨어지고, 상태가 그대로인 사람에게서는 민감도와 특이도가 부풀려진다. 3.1절에서 본 대로, 둘을 한 숫자로 합치면 그 숫자에는 아무 변화도 나타나지 않는다. 저자들이 전향 시험 설계에 경고를 붙인 이유가 그것이다. 여기에 셋째가 얹힌다. 모델 선택 기준에 항목이 하나 비어 있다. 표 형식 모델 세 종은 테스트 성능이 거의 같았는데 미래 기록에서 암기가 검출된 비율은 쉰여섯 배 차이였다.

8.2지금 실무에서 바꿀 수 있는 것 셋

이 논문에서 곧장 실무로 옮겨지는 처방은 셋으로 모인다.

• 성능을 갈라 재 본다. 학습에 기록을 낸 층과 그렇지 않은 층에서 따로. 갈라 볼 수 없다면, 갈라 볼 수 없다는 사실 자체가 먼저 적혀야 하는 결과다.
• 상태가 바뀐 사례를 층화한다. 방향이 반대로 갈리는 두 층이 섞이면 서로를 지운다. 평가 계획서에 층 정의를 먼저 적어 두는 일이 사후 분석보다 싸다.
• 보호·중복제거·분할의 단위를 올린다. 기록에서 주체로. 한 건씩 씌운 보호는 가장 강한 설정에서도 흔적을 남겼고, 단위를 사람으로 올리자 나중 기록에서 거의 사라졌다.

암기를 없애자는 처방은 여기 들어 있지 않다. 롱테일 분포에서는 암기가 최적 일반화에 필요하다는 정리가 있고, 이 논문의 환자 단위 보호도 성능을 깎았다. 저자들은 그 비용이 구현 탓에 과대추정됐다고 보지만, 어느 쪽으로 판가름 나든 실무에서 당장 돌릴 수 있는 것은 위의 셋으로 돌아온다.

8.3빠진 항목의 모양

모델 리포트를 펼쳐 놓고 보면 그 항목이 어디쯤 비어 있는지가 드러난다. 지금 거기 실리는 것은 대체로 성능 지표와 데이터셋 규모다. 학습 인구와 배포 인구가 얼마나 겹치는지, 그 겹치는 사람들에게서 성능이 얼마였는지는 대체로 적히지 않는다.

그런데 그 빠짐은 게으름이 아니다. 6절에서 본 대로 규정이 그렇게 되어 있다. 좋은 기계학습 관행 10원칙은 학습셋과 시험셋 사이의 의존 원인으로 환자를 이름 부르며 둘을 갈라 놓으라 하고, 성능은 학습 데이터와 독립적으로 산출하라 한다. 같은 원칙집과 인공지능법은 데이터가 그 시스템을 쓸 사람들을 반영할 것을 요구한다. 두 요구는 각각 옳고, 둘을 다 지킨 검증 연구는 한 집단에서 성능을 재고 다른 집단에 적용된다. 이 겹침을 어떻게 셀지 정한 조항은 우리가 열어 본 문서 어느 쪽에도 없었다.

발상 자체는 단순하다. 이 논문이 한 조작은 모델 200개를 두 무리로 가른 것뿐이다. 물론 공짜는 아니다. 논문은 자기 실험을 전부 재현하려면 모델 5,200개를 학습시켜야 하고 A100 기준 대략 1만 GPU 시간이 든다고 적는다. 그중 차분 프라이버시 실험이 8,200시간쯤이고, 앞 절들의 비사적 실험이 1,681시간, 그 안에서 매사추세츠 종합병원 심전도 하나가 모델당 5.3시간씩 1,069시간을 먹었다. 모델 출력을 저장하는 데만 2테라바이트가 들었다. 그런데 같은 절의 다른 줄에서 응급실 기록의 랜덤포레스트와 로지스틱 회귀 학습은 CPU 4시간쯤이다. 표 형식 임상 예측 모델에서는 이 측정의 문턱이 그 정도다. 어려운 것은 재는 일이 아니라 재기로 정하는 일이고, 그 결정을 정기적으로 내리게 만드는 쪽은 도구보다 절차에 달려 있다. 데이터의 단위를 정하고 그 단위로 품질을 진단하는 쪽에 페블러스가 서 있다면, 이 글은 바로 그 일을 가리킨다.

본문의 수치는 세 갈래다. 1번 프리프린트의 값은 arXiv 공개본의 본문과 방법 절을 직접 대조해 옮겼고, 그림 안에만 있는 값은 옮기지 않았다. 2번부터는 그 논문이 인용한 선행 연구이거나 같은 문제를 다른 분야에서 다룬 연구이며, 축자로 실은 인용은 각 원문에서 확인했다. 규제 문서는 판본을 밝혀 적었고, 원문을 받아 온 경로가 보통과 다른 것은 그 경로까지 적었다.

이 보고서의 뼈대 (1차 원문 대조)

• 1.Moritz A. Knolle, Martin J. Menten, Laurin Lux, Mélanie Roschewitz, Emma A. M. Stanley, Georgios Kaissis, Daniel Rueckert, Ben Glocker. "Memorisation bias in medical AI." 프리프린트, arXiv:2609.17223v1, 2026년 9월 15일 제출, cs.LG, CC BY 4.0. arXiv: 2609.17223 — 본문·방법·확장 데이터 캡션과 PDF 표지를 대조했다. 저자 소속은 PDF 표지에서만 확인되며 뮌헨공대와 그 대학병원, 뮌헨 기계학습 센터, 임피리얼 칼리지 런던 컴퓨팅학과, 하소 플라트너 연구소다. 표지에서 Mélanie Roschewitz에게만 소속 각주 번호가 없어 이 글은 그에게 기관을 붙이지 않았다. arXiv Comments 필드가 비어 있어 투고·심사 정보는 없다.

선행 연구와 인접 측정

• 2.Moritz A. Knolle, Martin J. Menten, Friederike Jungmann, Felix Meissen, Ben Glocker, Daniel Rueckert, Georgios Kaissis (2026). "Disparate privacy risks from medical AI." Nature 656(8126), 192–198. doi.org/10.1038/s41586-026-10688-0 — 전편이다. 오픈액세스 사본으로 전문을 대조했다. 데이터셋 7개, 데이터셋마다 모델 200개, 멤버십 추론 위험의 불균등, 그리고 보호 단위를 환자로 올리라는 권고가 여기서 나왔다. 미래·미관측 기록에 대한 분석은 이 논문에 없다.
• 3.Moritz Knolle, Martin J. Menten, Daniel Rueckert, Georgios Kaissis, Ben Glocker (2025). "Memorisation Bias: AI predictions for data contributors are biased towards their health states in the training data." LMID 2025(MICCAI 2025 병설 워크숍, 대한민국 대전, 2025년 9월 27일), LNCS 16184, pp. 24–33 — 용어가 처음 발표된 자리다. 데이터셋은 CheXpert와 Kermany-OCT 둘이고, 이 논문의 네 데이터셋과 하나도 겹치지 않는다.
• 4.Vitaly Feldman (2020). "Does Learning Require Memorization? A Short Tale about a Long Tail." STOC 52. arXiv:1906.05271 — 7.2절의 근거다. 초록 축자로 조건은 "하위모집단 빈도 분포가 롱테일일 때"이고, 근거로 든 것은 이미지·텍스트 데이터의 성질이다. 의료 데이터가 그 조건에 해당한다는 증거는 이 논문에도 없다.
• 5.Lynn Chua 외 (2024). "Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning." COLM 2024. arXiv:2406.14322 — 7.1절의 근거다. 초록 축자로 현재 평가 대부분이 텍스트 기록 하나를 프라이버시 단위로 잡아 사용자별 보장이 고르지 않게 된다고 적고, 집단 프라이버시와 사용자 단위 DP-SGD를 비교한다. 의료 규모의 실증은 아니다.
• 6.데이터셋 원기술 문헌: Zuzana Koscova 외 (2026), "The Harvard-Emory ECG database," Scientific Data 13(1), 516 / Brian Gow 외 (2023), MIMIC-IV-ECG, PhysioNet / Alistair Johnson 외 (2019), MIMIC-CXR / Feng Xie 외 (2022), MIMIC-IV-ED 벤치마크, Scientific Data — 1절 표의 규모·기관·과제가 이 문헌들과 논문 방법 절에서 나왔다. 이 연구는 하버드·에모리 데이터베이스 가운데 매사추세츠 종합병원 자료만 사용한다.
• 7.방법 도구: Gábor J. Székely, Maria L. Rizzo (2004), "Testing for equal distributions in high dimension," InterStat 5(16.10), 1249–1272 — 에너지 거리 검정의 원전이고, 구현은 hyppo v0.5.2(Panda 외 2019, arXiv:1907.02088)다. p값은 Cheng Shen, Sambit Panda, Joshua T. Vogelstein (2022), "The chi-square test of distance correlation," Journal of Computational and Graphical Statistics 31(1), 254–262의 카이제곱 근사로 구했다 / Nicholas Carlini 외 (2022), "Membership inference attacks from first principles," IEEE S&P — 균형 부분집합 설계 / W. J. Youden (1950), Cancer 3(1), 32–35 — 결정 임계값 / Yury Gorishniy 외 (2021), NeurIPS — 표 형식 ResNet / Martin Abadi 외 (2016), CCS — DP-SGD / Borja Balle 외, JAX-Privacy(저장소 인용 기록은 v0.4.0, 논문 방법 절이 적은 프라이버시 회계 구현은 v2.1.0) — 저장소 README 전문을 확인했으나 집단 프라이버시·사용자 단위 회계에 해당하는 언급이 없었고, 코드 전수는 검색 로그인 벽에 막혀 하지 못했다. 본문은 이 라이브러리의 지원 범위에 관한 주장을 하지 않는다. 7.1절이 논문을 따라 이름을 든 공학적 경로는 Soham De 외 (2022), "Unlocking high-accuracy differentially private image classification through scale," arXiv:2204.13650과 Ryan Mckenna 외 (2025), "Scaling laws for differentially private language models," ICML 42다. 뒤쪽 저자 명단에 1번 논문의 공저자 Georgios Kaissis가 들어 있다.
• 8.배포 사례: Nico Eisemann 외 (2025), "Nationwide real-world implementation of AI for cancer detection in population-based mammography screening," Nature Medicine 31(3), 917–924 / Christian Leibig 외 (2022), Lancet Digital Health 4(7), e507–e519 / 영국 EDITH, 스웨덴 MASAI — 6절이 겹침의 예시로만 인용했다. 이 프로그램들에서 암기 편향이 확인된 것이 아니다. 맘모그램 120만 장이라는 수는 1번 논문의 진술이고, 인용된 원 논문 방법 절에는 영상 200만 장 이상이라 적혀 있다.
• 9.Sana Tonekaboni, Lena Stempfle, Adibvafa Fallahpour, Walter Gerych, Marzyeh Ghassemi (2025). "An Investigation of Memorization Risk in Healthcare Foundation Models." NeurIPS 2025. arXiv:2510.12950 — 4절 끝의 범위 문단에서 참조했다. 초록으로 확인한 범위는 구조화된 진료기록으로 학습한 파운데이션 모델의 암기를 임베딩 수준과 생성 수준에서 탐침하는 블랙박스 평가 묶음이고, 맥락은 프라이버시 위험이다. 진단 정확도의 변화를 재는 연구가 아니다.

규제·가이드라인 (판본 명시)

• 10.Regulation (EU) 2024/1689 (EU 인공지능법), 제10조 3항·4항, 제15조 1·3·5항, 제72조. EUR-Lex 원문 — 6절의 조문 축자와 전수 검색 결과가 여기서 나왔다. 검색 대상은 조문과 전문(前文)을 포함한 규정 전체다.
• 11.미국 식품의약국 · 캐나다 보건부 · 영국 의약품규제청 (2021년 10월). "Good Machine Learning Practice for Medical Device Development: Guiding Principles"(10원칙). fda.gov/media/153486 — 6.2절이 인용한 원칙 3·4·8·9·10의 축자가 이 판본에서 나왔다. 12번의 선행 판이다.
• 12.IMDRF/AIML WG/N88 FINAL:2025 (2025년 1월 27일). "Good machine learning practice for medical device development: guiding principles" — 1번 논문이 인용한 문서다. imdrf.org에 우리 쪽에서 접속되지 않아 인터넷 아카이브에 보존된 같은 PDF로 전문을 확인했다. 11번과 같은 계보이지만 같은 문서로 뭉개지 않았다. 6.1절·6.2절이 인용한 원칙 3·4·8의 2025년 판 문장과 6.3절의 판본 비교가 여기서 나왔다. 원칙 8의 "independently of the training dataset"은 이 판에도 그대로 있다.
• 13.식품의약품안전처 식품의약품안전평가원 의료기기심사부 (2025년 3월 26일). 「의료기기 개발을 위한 우수 기계학습 기준: 지도 원칙」, 민원인안내서 등록번호 안내서-1421-01. mfds.go.kr 지침서·안내서 — 12번의 국문 번역본이고 6.3절의 국내 문단이 여기서 나왔다. 배포본 PDF를 직접 열어 전문을 확인했다. 문서 스스로 IMDRF 원문을 번역한 것이며 번역 내용을 IMDRF가 보증하지 않는다고 적어 두었다. 원칙 8에 "학습 데이터 세트와 독립적으로"에 해당하는 구절이 없고, 문서 전체에서 "독립"은 원칙 4에만 나온다.
• 14.미국 식품의약국 (2025년 8월 18일 확정, 2024년 12월 4일 최초 발행). "Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions," Guidance for Industry and FDA Staff, 접수번호 FDA-2022-D-2628. fda.gov/media/166704 — 6.3절의 사전 변경 계획 문단이 여기서 나왔다. PDF 전문을 직접 확보해 검색했다. 시험 데이터 정의가 배포 인구 대표성과 학습·튜닝 데이터 독립성을 한 문장에 같이 담고, 격리를 데이터셋 수준으로 정의하며, 추가 독립 축으로 기관을 든다. contributor·contributed·whose data·included in the training은 전부 0회다.
• 15.Regulation (EU) 2017/745 (EU 의료기기규정), 부속서 14 B부(시판 후 임상 추적). 관보 OJ L 117/1, 2017년 5월 5일 원문. EUR-Lex 32017R0745 — 6.3절의 시판 후 임상 추적 문단이 여기서 나왔다. B부는 목적 다섯 항목과 계획서 필수 여덟 항목을 두고, 학습 기여자 층을 갈라 보라는 항목은 그 열세 개에 없다. 이 원문에서 machine learning·artificial intelligence·training data는 모두 0회이고 software는 쉰 회를 넘는다. 통합본이 아니라 2017년 관보 원문을 검색했다.

페블러스 블로그 인접 글

• 16.환자 한 사람 단위로 멤버십 추론 위험을 잰 전편 연구 — 1절과 7절에서 참조했다. 그쪽은 공격자가 있는 세계이고, 이쪽은 공격자가 필요 없는 세계다.
• 17.같은 산모 기록이 학습과 평가 양쪽에 새어 성능이 부풀려진 사례 — 1.3절에서 구별의 기준으로 썼다. 저 글은 평가 방법론의 결함이고, 이 글은 올바른 설계에서 배포 후 일어나는 일이다.
• 18.에이전트 기억에서 특정 데이터를 지우는 문제와 로봇 시연 데이터를 지운 뒤 흔적을 감사한 글 — 5절에서 삭제와 제외의 차이를 적을 때 참조했다.
• 19.한 사람 몫을 단위로 다루는 문제, 혈당 예측 모델의 하위집단 격차, 인공지능법의 민감정보 처리 예외 조항 — 각각 7.1절, 3.2절, 6.3절에서 한 줄씩 참조했다.