Executive Summary
이 글은 2026년 10월 22일 Science에 실린 마이크로소프트의 논문 "Sequential diagnosis with language models"를 읽는다. 세계 여러 매체가 이 연구를 "AI가 의사를 이겼다"로 옮겼고, 숫자만 보면 틀린 요약도 아니다. 다만 성적표 한 장은 누구와 겨뤘는지, 시험지를 어떻게 만들었는지를 같이 읽어야 뜻이 선다. 이 글이 보는 것은 그 두 가지다.
진단 오케스트레이터 MAI-DxO는 진단이 어려운 증례를 83.2% 맞혔고, 같은 증례를 받은 의사들은 36.1%에 머물렀다. 그 의사 56명은 모두 일반의다. 전문의도 다학제 팀도 시험 대상이 아니었고, 상대가 전문의라면 점수 차가 줄어들 것으로 본다고 저자들이 논문에 적었다.
1절부터 4절까지는 논문과 보도에 적힌 내용을 따라간다. 이 결과를 회사가 자사 AI 성능을 발표하는 자리에 겹쳐 읽는 5절은 이 글의 해석이다.
주요 수치
앞의 두 수치는 논문이 내건 값이고, 뒤의 둘은 그 값이 어떤 조건에서 나왔는지를 말한다.
출처: Science 394권 6822호 (2026년 10월 22일)
83.2%
MAI-DxO의 진단 정확도
NEJM 증례 304건 기준. 같은 증례에서 의사 평균은 36.1%였다
56명
시험에 오른 의사
전원 일반의다. 전문의와 다학제 팀은 비교군에 없다
629건
시험지에 들어간 증례
NEJM 304건 + 응급실 기록 325건. 전부 결론이 이미 적힌 과거 기록이다
5,431달러
증례당 검사 비용
정확도가 가장 높은 설정에서. 같은 증례의 의사 추정치 상단은 4,725달러다
성적표에 적힌 숫자는 맞다
MAI-DxO는 모델 하나가 아니다. 가상의 의사 여러 명에게 서로 다른 역할을 맡겨 가설을 세우고 반박하게 하면서, 어떤 검사를 추가로 요청할지와 그 비용이 얼마나 쌓이는지를 함께 따지는 조율 장치다. 이름의 DxO도 진단 오케스트레이터(Diagnostic Orchestrator)에서 왔다. 진단명을 한 번에 내놓는 대신 질문과 검사를 순서대로 쌓아 가며 답에 다가간다. 논문 제목에 순차 진단이 들어간 것도 그래서다.
성적은 두 묶음으로 나왔다. 하나는 New England Journal of Medicine의 임상병리 컨퍼런스에 실린 증례 304건, 다른 하나는 응급실 기록 325건이다. 앞쪽은 전문가들도 쉽게 답하지 못해 학술지에 토론 자료로 오른 사례들이고, 뒤쪽은 응급실을 찾은 환자의 일반적인 기록이다.
| 증례 묶음 | MAI-DxO | 의사 평균 | 의사 최고 |
|---|---|---|---|
| NEJM 증례 304건 | 83.2% | 36.1% | 51.8% |
| 응급실 증례 325건 | 80.3% | 46.8% | 62.5% |
평균이 아니라 가장 잘 맞힌 의사의 점수를 올려놓아도 MAI-DxO 쪽이 위다. 어려운 증례에서는 51.8% 대 83.2%, 응급실 증례에서는 62.5% 대 80.3%다. 이 간격 자체를 놓고 다툴 자리는 많지 않다.
모델을 바꿔도 결과가 유지된다는 점도 함께 보고됐다. Gemini 2.5 Flash는 혼자 풀 때 46.4%였지만 MAI-DxO의 절차에 태우자 69% 안팎까지 올라갔다. 마이크로소프트가 이 연구를 특정 모델의 성능이 아니라 절차의 성능으로 설명하는 근거다.
숫자를 인용할 때 주의할 곳이 하나 있다. 2025년 6월 공개된 사전 공개본에는 85% 대 20%, 의사 21명이라는 수치가 실려 있었고 그 숫자를 그대로 쓴 기사가 아직 돌아다닌다. 이 글의 수치는 모두 2026년 10월 22일 Science 최종판 기준이다.
겨룬 상대는 일반의 56명이다
그렇다면 36.1%를 받은 쪽은 누구인가. 시험에 오른 의사는 56명이고 전원 일반의다. 전문의도, 여러 과가 함께 환자를 보는 다학제 팀도 시험지를 받지 않았다. 참고자료를 아예 막지는 않았다(교과서와 인터넷을 쓰지 못하게 한 조건과 쓰게 한 조건을 모두 돌렸다). 36.1%는 그 둘을 합한 평균이다. 참고자료를 막은 조건만 떼어 보면 22.3%까지 내려간다.
이 한계를 가장 먼저 적은 쪽은 저자들이다. 논문은 이 결과가 전문의나 다학제 팀, 실제 임상 진료보다 낫다는 것을 보여 주지는 않는다고 밝힌다. 전문의와 겨루면 성능 격차가 좁혀질 것으로 본다는 말도 저자들에게서 나왔다. 바깥에서 들어온 비판이 아니라 안에서 먼저 그어 둔 선이다.
같이 볼 조건이 하나 더 있다. 논문에 이름을 올린 15명은 전원 마이크로소프트 소속이다. 시험지를 설계한 쪽과 그 시험에서 점수를 받은 제품을 만든 쪽이 같다. 기업 연구소가 자사 기술을 학술지에 내는 일은 흔하고 그 자체가 결함은 아니지만, 비교군을 누가 골랐느냐를 물을 때 빼놓을 수 없는 사실이다.
회사 쪽 설명도 함께 나와 있다. 마이크로소프트 AI 최고경영자 무스타파 술레이만은 이 결과를 의료 초지능으로 가는 길의 한 단계라고 표현했다. 수년 안에 사람과 구별되지 않는 수준에 이른다고 내다보면서도 임상의의 자리는 그대로 남는다고 덧붙였다. 논문에 적힌 문장이 아니라 연구를 알리는 자리에서 회사 쪽이 붙인 설명이다.
"AI가 의사를 이겼다"는 문장에서 '의사'가 가리키는 범위는 연구 설계가 정한다. 여기서 그 범위는 참고자료를 쓸 수 있는 일반의 56명이다. 범위를 바꾸면 문장도 바뀐다는 것을 저자들이 먼저 적어 뒀고, 그 문장은 보도의 제목에서 가장 먼저 떨어져 나갔다.
결론이 이미 적힌 기록으로 만든 시험지
시험지의 이름은 SDBench이고 증례 629건으로 이뤄져 있다. NEJM 임상병리 컨퍼런스 증례 304건과 MIMIC-IV-ED라는 공개 데이터셋의 응급실 기록 325건이다. 둘 다 이미 진단이 끝나고 기록으로 남은 과거 사례다.
원래 이 기록들은 처음부터 답이 적힌 글이다. 연구진은 그것을 사후에 순차 문진 형식으로 다시 짰다. 처음에는 환자가 찾아온 사정 몇 줄만 보여 주고, 질문을 하거나 검사를 요청하면 그에 해당하는 정보를 한 조각씩 내준다. 검사마다 가격표가 붙어 비용이 쌓인다. 살아 있는 환자를 실시간으로 본 것이 아니라, 결말을 아는 기록을 가려 놓고 한 겹씩 벗기게 만든 시험이다.
조건 하나는 양쪽에 똑같이 걸렸다. 신체 검진과 의료 영상은 어느 쪽도 쓰지 못했다. 글로 적힌 정보만으로 답을 내야 했다는 점에서 AI와 의사가 같은 제약을 받았다. 공정성을 따질 때 이 대목은 연구 쪽 편이다.
마이크로소프트 AI 헬스 부문 부사장 도미닉 킹은 기존 의료 AI 평가가 객관식 시험에 기대 왔고 거기서는 AI가 100%에 가까운 점수를 내지만 실제 환자는 깔끔하게 정리된 요약을 들고 오지 않는다고 말했다. SDBench는 그 지적에서 나왔다. 다만 SDBench의 재료도 학술지와 데이터셋에 이미 정리돼 올라간 기록이다. 객관식에서 벗어난 것은 맞지만, 진료실에서 마주하는 정보와 같아진 것은 아니다.
시험지와 진료실 사이의 거리는 논문도 한계로 적어 뒀다. 통제된 시뮬레이션이라는 조건, 실제 진료 기록의 불완전함, 환자를 길게 따라가며 보는 과정이 빠졌다는 점이 거기 올라 있다. 마이크로소프트는 베스 이스라엘 디코니스 메디컬 센터와 함께 응급실 트리아지부터 시범 적용하겠다고 밝혔고, 시작 일정은 아직 공개되지 않았다. 이 연구는 임상 현장에서 검증되기 전 단계다.
검사비가 쌌다는 말은 설정에 달려 있다
정확도만큼 자주 인용되는 수치가 검사 비용이다. MAI-DxO는 검사를 요청할 때마다 비용이 쌓이도록 설계돼 있고, 예산 상한을 걸어 두고 돌릴 수도 있다. 어느 설정의 숫자를 인용하느냐에 따라 결론이 뒤집힌다(설정별 수치는 아래 표).
| 설정 | 증례당 검사 비용 |
|---|---|
| MAI-DxO, 비용 제약 없음 (NEJM 증례) | 5,431달러 |
| 의사 (NEJM 증례) | 3,049~4,725달러 |
| MAI-DxO, 비용 제약 설정 (NEJM 증례) | 1,303~2,241달러 |
| MAI-DxO, 비용 제약 없음 (응급실 증례) | 4,979달러 |
| 의사 (응급실 증례) | 3,400달러 |
83.2%가 나온 설정은 예산 상한을 걸지 않은 쪽이다. 그 설정에서 MAI-DxO는 증례당 5,431달러어치의 검사를 요청했고, 같은 증례를 본 의사 쪽 추정치는 3,049달러에서 4,725달러 사이에 있다. 응급실 증례에서도 4,979달러 대 3,400달러로 순서가 같다. 점수가 가장 높게 나온 설정에서 검사는 의사보다 많이 나갔다.
"AI가 검사비까지 아꼈다"는 문장은 예산 상한을 건 설정에서 나온다. 거기서는 증례당 1,303달러에서 2,241달러 사이로 내려간다. 두 문장 모두 같은 연구에서 나왔고 둘 다 참이다. 조건을 떼어 내면 둘 다 거짓이 된다.
비용 자체의 성격도 짚어 둘 만하다. 이 금액은 병원이 실제로 청구한 액수가 아니라 증례마다 요청된 검사 목록에 가격표를 매겨 더한 추정치다. 나라와 보험 제도에 따라 같은 검사의 값이 달라지는 몫은 여기에 들어 있지 않다.
페블러스가 이 연구를 주목하는 이유
이 연구에서 가져갈 것이 의료 쪽 결론만은 아니다. 숫자 하나가 무엇을 말하고 무엇을 말하지 않는지는 비교 대상과 데이터 출처가 정한다. 둘이 빠지면 높은 수치든 낮은 수치든 해석할 길이 없다. 83.2%는 어떤가. 상대가 일반의 56명이었다는 사실과 이미 진단이 끝난 기록 629건을 시험지로 삼았다는 사실 없이는 읽을 수 없는 숫자다.
자사 AI의 성능 수치를 바깥에 내놓는 회사라면 같은 질문을 받게 된다. 확인해 둘 것은 세 가지다.
- 무엇과 견준 숫자인가. 사람과 견줬다면 그 사람들이 누구이고 몇 명이며 어떤 조건에서 풀었는지가 숫자 바로 옆에 적혀 있어야 한다
- 시험지를 누가 만들었는가. 평가 데이터를 만든 곳과 평가받는 제품을 만든 곳이 같다면 그 사실을 먼저 밝히는 편이 낫다. 평가를 바깥에 맡기는 쪽이 업으로 성립하는 이유이기도 하다(실무 과제로 AI를 채점하는 회사 참고)
- 가장 좋은 숫자가 나온 설정이 실제로 쓸 설정인가. 정확도와 비용은 대개 같은 설정에서 함께 최고가 되지 않는다
페블러스가 데이터 품질을 다룰 때 반복해 확인하는 것도 같은 자리다. 모델 점수가 올랐다는 보고를 받으면 먼저 두 가지를 묻는다. 어떤 데이터로 쟀는지, 그리고 그 데이터가 실제 운영 환경에서 들어올 데이터와 같은 분포인지. 평가 데이터의 출처와 구성이 흐려지면 그 위에 쌓은 수치는 전부 흔들린다.
Editor's Note
마이크로소프트가 조건을 숨긴 것은 아니다. 비교군이 일반의라는 것도, 전문의를 시험에 올리지 않았다는 것도 논문에 적혀 있다. 조건이 지워지는 자리는 그다음이다. 보도가 제목을 뽑는 순간 조건은 본문 아래로 내려가고, 다른 언어로 옮겨지면서 한 번 더 떨어져 나간다. 성적을 내놓는 쪽이 할 수 있는 일은 조건을 숫자에서 떼어 내기 어려운 자리에 적어 두는 것이다.
여기까지 읽어 주셔서 감사하다. 이 글의 수치는 2026년 10월 22일 Science 394권 6822호에 실린 논문과 이를 다룬 보도에서 확인했다. 사내에서 AI 성능 수치를 공유하실 때 비교 대상과 평가 데이터의 출처를 어떤 형식으로 함께 적고 계신지 들려주시면 좋겠다.
(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 24일
참고문헌
학술 논문
- 1.Nori, H. et al. (2026). "Sequential diagnosis with language models." Science, 394(6822), 423-428.
업계·보도
- 2.Unite.AI (2026). "Microsoft Diagnostic AI Outperforms Generalist Physicians in Science Study."
- 3.The Next Web (2026). "Microsoft's MAI-DxO diagnostic AI outperforms doctors in Science study."