Executive Summary

주요 수치

네 칸을 뽑았다. 앞의 둘은 이 시험이 내놓은 결과이고, 뒤의 둘은 그 결과를 읽을 수 있게 만든 설계다.

출처: 미국심장협회 뉴스룸, "AI-interpreted echocardiograms comparable to human reports"(2026년 11월 9일) 및 ClinicalTrials.gov 등록 정보 NCT07229300.

카이저 퍼머넌테 북캘리포니아가 2026년 11월 9일 시카고에서 열린 미국심장협회 학술대회에서 AI ECHO INSIGHT의 결과를 내놓았다. 성인 경흉부 심장 초음파 1,200건이 대상이고, 예비 판독을 AI가 쓴 뒤 심장전문의가 확정하는 방식을 지금 병원에서 쓰는 방식과 비교했다. 검사는 2025년 3월 두 주 동안 북캘리포니아 21개 의료센터의 입원 병동과 외래 진료소에서 찍은 것이고, 환자의 평균 나이는 69세, 여성이 47%였다. 리드 연구자는 카이저 퍼머넌테 산타클라라 홈스테드 메디컬센터의 킨 K. 리(Keane K. Lee)다.

확정하는 전문의가 예비 판독을 크게 고친 비율은 AI 초안에서 50.6%, 초음파기사와 심장전문의가 쓴 초안을 합친 쪽에서 49.7%로 나왔다. 차이는 0.9%p이고 95% 신뢰구간은 −2.1%p에서 3.9%p 사이다. 시험을 시작하기 전에 그어 둔 선은 5%p였으므로 구간 전체가 그 안쪽에 들어왔다. 연구진이 비열등성이 성립했다고 적은 것은 이 뜻이다. AI가 사람보다 낫다는 말이 아니라, 사람보다 의미 있게 나쁘지는 않다는 말이다.

시간은 줄었다. AI가 쓴 예비 판독을 검토해 확정할 때 검사 한 건에 평균 4.6분이 걸렸고, AI 보조 없이 판독문을 만들 때는 8.5분이 걸렸다. 46% 감소다. 연구진은 초음파기사 쪽에서도 예비 판독을 AI가 맡으면 한 건에 평균 10분을 아낄 수 있다고 추정했는데, 이 숫자는 전문의의 4.6분과 다른 자리를 가리킨다. 앞은 기사가 초안을 쓰는 시간이고 뒤는 전문의가 확정하는 시간이다. 연구진이 몇 분에 무게를 두는 까닭은 판독량이다. 리는 심장전문의가 읽는 심초음파가 워낙 많아 한 건에 몇 분을 아끼는 것도 하루로 치면 상당한 시간이 된다고 했다. 미국심장협회는 이 발표를 전하면서 보건복지부 산하 보건의료자원청 추계로 2036년까지 미국에서 심장전문의가 약 7,000명 모자라게 된다는 전망을 함께 실었다.

확정을 맡은 전문의들은 받아 든 초안의 출처를 모르는 상태였다. 예비 판독은 모두 같은 표준 서식으로 들어갔고, AI 출력은 사람이 쓴 것처럼 보이도록 일부러 다듬어졌다. 서식만으로는 출처를 알아챌 수 없게 만든 것이다. 이들이 AI 초안과 사람 초안을 구분하지 못했다는 리의 말도 측정값보다 이 설계를 근거로 한다. 결과는 리가 한 문장으로 정리했다. "성인 경흉부 심초음파의 AI 예비 판독은 초음파기사와 심장전문의의 예비 판독을 합친 것에 비해 비열등했다."

이 시험이 흔한 의료 AI 연구와 갈리는 자리는 비교군을 만든 방식이다. 환자를 둘로 나눠 한쪽에만 AI를 넣은 것이 아니라, 검사 한 건에서 예비 판독이 셋 나왔다. AI가 쓴 것, 초음파기사가 쓴 것, 심장전문의가 쓴 것이다. 세 초안은 각각 다른 심장전문의에게 넘어가 확정됐고, 확정하는 쪽은 초안의 출처를 모르는 상태였다. 쓰인 AI는 EchoPrime이다. 표준 단면 영상을 컴퓨터 비전으로 읽어 심초음파 판독문 전체를 만들어 내는 딥러닝 모델이다.

세 갈래가 한 검사를 공유한다는 점이 이 설계의 핵심이다. 영상이 같고 환자가 같고 확정하는 쪽의 자격도 같으니, 결과에 남는 차이는 초안을 누가 썼는지에서만 온다.

대상 1,200건은 두 묶음이다. 1,000건은 들어오는 순서대로 빠짐없이 모았고, 거기에 중등도 이상 판막질환 200건을 따로 보탰다. 흔한 검사만 모이면 판단이 갈리는 어려운 사례가 빠지기 때문이다. 판독이 크게 바뀌었다고 볼 기준도 미리 못 박았다. 좌심실 박출률이 10%p 이상 달라지거나, 우심실 기능과 심장 방 크기, 판막 역류나 협착의 중증도 등급이 한 칸이라도 움직이거나, 우심실 수축기압 추정치가 30mmHg 선을 넘나들면 그 검사는 실질 변경으로 집계했다. 항목 하나만 걸려도 포함된다.

비열등성 선을 5%p에 그은 근거는 프로토콜 논문에 적혀 있다. 심장내과 1년 차 전임의가 찍고 판독한 심초음파를 전문의가 다시 볼 때, 치료를 당장 바꿔야 할 만큼의 중대한 불일치가 4.1%, 경미한 불일치가 17.4% 나온다는 기존 보고가 있다. 5%p는 그 둘 사이에 놓인 값이고, AI 초안이 사람 수련의보다 더 많은 변동을 보태지는 않는다는 것을 보이려고 고른 자리다.

50.6%를 혼자 놓고 보면 읽는 법이 하나밖에 없다. AI가 쓴 심장 초음파 판독문의 절반을 의사가 손봐야 했다는 쪽이다. 같은 수치를 "열에 다섯은 못 믿는다"로 옮기는 데도 별 무리가 없어 보인다. 바로 옆에 49.7%가 없을 때의 이야기다.

이 비율이 양쪽 다 높은 까닭은 그물이 넓어서다. 이 시험이 센 것은 판독이 정답과 맞았는지가 아니라, 예비 판독과 확정 판독 사이에 미리 정해 둔 항목 하나라도 움직였는지다. 박출률 10%p, 등급 한 칸, 30mmHg 선 하나만 걸려도 실질 변경으로 들어간다. 기준이 이렇게 넓으면 걸리는 것이 많아지고, 초안을 누가 쓰든 많아진다.

그렇게 넓게 잡은 것은 의도였다. 리는 "예비 판독과 심장전문의의 최종 판독 사이의 작은 차이까지 잡아내도록 이 시험을 설계했다"고 밝혔다. 작은 차이까지 재는 잣대를 들이댔으니 양쪽 모두에서 절반 가까운 값이 나왔다. 50.6%와 49.7%는 그 눈금이기도 하다.

지표의 이름과 지표가 세는 것 사이에도 간격이 있다. 시험 등록 정보는 1차 평가지표를 "정확도(accuracy rate)"라고 부른다. 정의를 펴 보면 "확정 판독이 예비 판독과 크게 다르지 않은 검사의 비율"이다. 정답과 맞춰 본 비율이 아니라 두 판독이 서로 얼마나 일치했는가다. 이름은 정확도인데 세는 것은 일치도인 셈이다. 그래서 이 숫자 하나만으로는 AI가 심장을 잘 읽었는지 말할 수 없고, 연구진도 그렇게 말하지 않았다.

대조군이 숫자의 뜻을 정한다. 사람이 쓴 초안도 같은 기준으로 걸러 49.7%를 얻었기 때문에, 50.6%는 "AI가 절반을 틀렸다"가 아니라 "확정 심사는 원래 절반을 고치는 일"이라는 사실의 한 조각이 된다. 이 시험에서 새로 드러난 쪽은 AI의 성적이 아니라 심장 초음파 판독의 기준선이었을지도 모른다. 예비 판독에서 확정 판독으로 가는 단계는 AI가 들어오기 전부터 이 정도로 손이 가는 공정이었다는 뜻이기 때문이다.

차이 0.9%p와 신뢰구간이 합격선과 어디에 놓였는지를 한 줄로 그리면 이렇다.

부차 결과가 하나 더 있다. 확정된 판독문을 그 환자의 원래 임상 판독과 맞춰 보니, AI 보조 갈래의 결과가 과거 기록과 더 자주 일치했다. 리는 전체적으로 판독 사이의 변동이 크고 AI 보조에서는 그 변동이 줄어든다고 설명했다. 장기 추적에는 유리한 성질이다. 같은 환자를 해마다 찍는 검사에서 판독문이 판독자에 따라 흔들리면, 바뀐 것이 병인지 사람인지 가릴 수 없기 때문이다.

그런데 과거 기록과 더 잘 맞는다는 사실만으로는 두 가지가 구분되지 않는다. 하나는 AI가 흔들림 없이 같은 기준을 적용한 결과이고, 다른 하나는 과거 판독문의 표현을 그대로 따라간 결과다. 뒤쪽이라면 새로 생긴 소견이 과거 기록에 눌릴 수 있고, 그것은 일관성이 아니라 지연이다. 둘을 가르려면 과거 기록과 무관한 기준이 따로 있어야 한다. 등록 정보에는 그런 지표가 이미 올라 있다. 심장전문의 합의 판독을 예비 판독과 맞춰 보는 2차 지표, 그리고 확정을 맡은 전문의에게 초안의 출처를 맞혀 보게 해 가림이 지켜졌는지 측정하는 2차 지표다. 둘 다 이번 발표 자료에는 결과가 없다. 공개된 숫자만으로는 일치도와 정확도를 가를 수 없다.

연구진이 한계로 밝힌 것은 둘이다. 환자의 장기 예후는 측정하지 않았고, 측정한 것은 판독 변경률과 시간이다. 참여한 심장전문의들이 자신이 연구 중이라는 사실을 알고 있었으므로 평소 판독 습관과 달랐을 수 있다. 이번 발표가 동료 심사를 거치지 않은 초록 단계라는 점도 남는다. 정식 논문은 아직 나오지 않았다. 결과는 통합 의료 시스템 한 곳에서 나왔고, 다른 기관이나 다른 모델에서도 같은 값이 나올지는 확인되지 않았다.

책임이 어디 있는지에 대해서는 연구진과 외부 해설자의 답이 같다. 미국심장학회 부회장인 클리블랜드 클리닉의 하니 나즘(Hani Najm)은 이렇게 덧붙였다. "결국 우리가 다루는 것은 사람의 생명이고, 사람의 생명은 소중하다. 지금 시점에서 최종 판단을 내리는 쪽은 우리다." 리도 같은 말을 했다. "다만 AI가 사람 팀을 대신할 수는 없다. 심초음파를 해석하고 최종 판독문의 정확성을 보증하는 책임은 여전히 심장전문의에게 있다."

AI 평가가 어디서 흔들리는지는 페블러스 블로그가 여러 번 다룬 주제다. 텍스트만 읽고 의사를 이긴 AI가 진짜 환자 앞에서도 그럴지를 물은 글이 있었고, 시험은 잘 보는데 일은 못 하는 모델이 왜 생기는지도 살폈다. 두 글이 가리킨 자리는 같다. 점수가 높은 것과 일을 잘하는 것 사이에는 측정 설계가 있다.

AI ECHO INSIGHT가 쓴 장치는 단순하다. AI를 세운 채점대에 사람도 같이 세운 것이다. 값이 싸지는 않았다. 같은 검사 1,200건을 세 번씩 판독해야 했고 초음파기사 9명과 심장전문의 20명이 들어갔다. 그 비용을 치렀기 때문에 50.6%가 무슨 뜻인지 말할 수 있게 됐다. 사람 초안을 같이 측정하지 않은 설계였다면 이 시험은 "AI 초안의 절반을 의사가 고쳐야 했다"는 한 줄로 끝났을 것이다.

자기 팀의 모델 평가에도 같은 질문을 걸어 볼 수 있다. 우리 지표 옆에 사람이 낸 점수가 같이 적혀 있는가. 없다면 모델 점수가 좋은지 나쁜지를 무엇에 기대어 말하고 있는가. 사람 기준선이 없는 지표는 대개 "지난 판보다 올랐다"로만 읽히고, 그 비교는 과제가 바뀌는 순간 끊긴다. 지표의 이름이 실제로 세는 것과 같은지도 같이 확인할 자리다. 정확도라고 적힌 칸이 사실은 일치도를 세고 있다면, 그 칸을 올리는 가장 쉬운 방법은 앞사람이 쓴 것을 따라 쓰는 것이다.

데이터가 준비됐다는 말에 품질과 출처가 함께 들어가야 하듯, 평가가 준비됐다는 말에는 기준선이 들어가야 한다. 사람이 같은 과제에서 내는 점수가 몇인지 모르면, 모델이 낸 점수는 혼자서는 아무것도 증명하지 못한다.

여기까지 읽어 주셔서 감사하다. 발표 내용은 미국심장협회 뉴스룸에서, 시험 설계는 ClinicalTrials.gov 등록 정보와 프로토콜 논문에서 직접 볼 수 있다. 여러분의 팀이 쓰는 성적표에는 사람 대조군이 들어 있는가?

1차 보도

• 1.American Heart Association Newsroom. (2026). "AI-interpreted echocardiograms comparable to human reports, cardiologists' time cut by about 50%."
• 2.Buzby, S. (2026). "AI-interpreted echocardiograms comparable to human reports, may halve reading time." Cardiology Today (Healio).

공식 등록·학술 자료

• 3.ClinicalTrials.gov NCT07229300. "Artificial Intelligence Echocardiogram Interpretation for Systematic Integration and Guided Healthcare Transformation (The AI ECHO INSIGHT Study)."
• 4.Lee, K.K. et al. (2026). "AI Echo INSIGHT Study: A Prospective Blinded Randomized Trial of Artificial Intelligence Echocardiogram Interpretation." Contemporary Clinical Trials, 169, 108431. DOI: 10.1016/j.cct.2026.108431