Executive Summary

전화로 본 진료였다. 의사는 환자를 보지 못했고 만지지도 못했다. 그런데 AI가 대신 작성한 진료기록에는 신체검진 소견이 적혀 있었다. 추측이나 가정의 문법이 아니라 관찰된 사실의 문법으로, 다른 소견들과 나란히. 논문이 도입부에 놓은 이 한 장면이 이 보고서 전체의 축소판이다. 문제는 기록이 엉성해 보인다는 데 있지 않다. 기록이 자기가 확인하지 않은 것을 확인한 것처럼 적었고, 그렇게 적힌 문장은 읽어서는 구별되지 않는다.

영국의 연구팀이 상용 앰비언트 AI 스크라이브 세 제품을 나란히 놓고 감사했다. 앰비언트 스크라이브는 진료 대화를 듣고 진료기록 초안을 대신 써 주는 제품군이다. 설계는 단순하다. 진료 142건을 준비해 세 제품에 똑같이 통과시켰다. 녹음된 영국 1차 진료, 미국 외래 진료, 그리고 특정 함정을 심어 직접 작성한 시나리오 세 갈래다. 여기서 노트 565장이 나왔다. 노트마다 발굴 패스를 12회 돌려 후보 오류 13,678건을 뽑았고, 중요도 필터를 통과한 5,898건을 서로 다른 계열의 모델 두 개로 구성한 적대적 패널에 넘겼다. 살아남은 것이 618건, 후보의 10.48%다. 여기까지 모델 호출 비용은 약 530달러였다.

검증을 통과한 실패가 최소 한 건이라도 있는 노트는 565장 중 177장, 31.3%였다(95% 구간 27.0~35.6%). 세 장 중 한 장이다. 다만 이 수치에는 곧바로 붙여야 할 단서가 있다. 환자 신원을 지어낸 범주를 빼면 27.3%로, 날짜를 지어낸 범주까지 빼면 24.8%로 내려간다. 이 두 범주는 어떤 제품에도 환자 기록이 주어지지 않았기 때문에 생긴 것이다. 실제 병원에서 전자의무기록과 연동해 쓰면 이름과 날짜는 시스템이 채우므로 상당 부분 사라질 성질의 오류다.

검증된 618건은 17개 군집으로 묶였고, 그중 다섯 개가 전체의 상당 부분을 차지한다. 목록을 보면 이 오류들이 무작위한 잡음이 아니라는 것이 드러난다. 각 군집은 모델이 대화에서 문서를 만들 때 반복적으로 저지르는 특정한 종류의 비약이다.

검증된 실패 618건 중 상위 5개 군집. 17개 군집이 618건 중 563건을 덮는다. 군집 개수 자체는 시드에 따라 17개에서 21개로 흔들린다(ARI 평균 0.727).

기존에 공개된 어떤 오류 분류 체계에도 없던 실패도 나왔다. 그 자리에서 철회한 처치가 시행된 것으로 기록되는 경우다. 의사가 엄지 부목을 대자고 했다가 한 호흡 뒤에 손목 보호대로 바꿨는데, 노트에는 엄지 부목을 댄 것으로 적혔다. 대화의 시간 순서를 문서의 상태로 옮기는 지점에서 생기는 오류다. 다만 이것은 비율로 읽을 값이 아니다. 검증을 통과한 11건이 전부 한 진료에서 두 제품이 낸 것이고 중복을 걷어내면 서로 다른 오류 두 건 정도라, 논문도 비율이 아니라 실패 유형으로만 이름을 붙였다. 분류 체계에 자리가 없었다는 것은 아무도 이것을 세어 본 적이 없다는 뜻이다.

이 수치들을 읽을 때 지켜야 할 경계가 네 가지 있다. 논문 자신이 네 가지를 모두 본문에 적어 두었다.

• 세 제품의 이름은 공개되지 않았다. 논문이 밝히지 않겠다고 명시했고, 추정도 하지 않는 것이 맞다.
• 제품 순위를 매길 수 없다. 한 제품은 API로 텍스트를 넣었고 나머지 둘은 오디오를 재생해 넣었다. 그 제품만 진료당 노트를 두 배로 냈다. 관대한 기준으로 다시 읽으면 격차가 4.5배에서 1.2배로 좁아지면서 두 제품의 순서가 뒤집힌다. 신원과 날짜 범주를 빼면 가장 나빴던 제품이 12.0%포인트 내려가 역전된다.
• 사람이 쓴 노트 대조군이 없다. 그래서 이 연구는 스크라이브가 사람보다 더 틀리는지에 대해 아무 말도 하지 않는다.
• 모든 수치는 하한이다. 후보 13,678건 중 7,780건은 발굴 모델이 자기 필터에서 떨어뜨렸고, 그 통은 아무도 열어 보지 않았다. 발굴 단계가 무엇을 놓쳤는지는 측정되지 않았다.

시점도 공교롭다. 이 논문들이 공개된 것과 거의 같은 시기인 2026년 9월 1일, OpenAI는 ChatGPT Health를 Epic 전자의무기록과 연동한다고 발표했다. 임상의가 진료 노트와 검사 결과, 투약 이력을 불러와 질의하고 요약할 수 있다. 다만 제품군이 다르다. 감사 대상은 문서를 생성하는 앰비언트 스크라이브이고, 이쪽은 기존 기록을 읽어 오는 조회·요약 기능이다. OpenAI는 접근이 읽기 전용이며 AI가 기록에 되쓰지 않는다고 밝혔다. 같은 주에 AI가 임상 기록에 닿는 경로가 하나 더 넓어졌다는 것, 그 이상으로 두 사건을 묶지는 않는다.

여기서부터가 이 연구가 다른 감사들과 갈라지는 지점이다. 보통의 감사는 오류율을 내놓고 끝난다. 이 연구는 자기가 내놓은 오류율을 다시 감사했다. 565장 중에서 층화로 뽑은 115장(진료 87건)을 대상으로, 이미 발굴해 둔 후보 오류 1,295건을 그대로 놓고 검토만 여러 방식으로 다시 돌렸다. 노트도 그대로, 후보도 그대로, 증거도 그대로, 모델 설정도 그대로다. 바뀐 것은 검토자에게 무엇을 인정하라고 말했는가, 그리고 누가 검토했는가뿐이다.

네 가지 검토 기준이 같은 후보 더미를 통과했다. 막대 두 줄 중 위쪽은 후보 1,295건 가운데 오류로 인정된 비율이고, 아래쪽은 표본 115장 가운데 한 건 이상 지적을 받은 노트의 비율이다. 두 축은 분모가 다르니 섞어 읽지 않는 편이 좋다.

이 그림에서 세 개의 분해값이 나온다. 검토 지시문의 기여는 69.7%포인트다(구간 65.5~73.6). 비율로는 8.5배인데, 이 대목에는 저자들이 스스로 단서를 달아 두었다. 8.5배라는 값은 기저가 9.3%로 낮아서 나온 것이고 69.7%포인트가 더 안정적인 진술이며, 9.3% 기저에서는 어떤 관대한 기준을 써도 약 11배를 넘을 수 없다. 그러니 배수만 떼어 인용하는 것은 이 연구의 뜻을 왜곡한다.

모델 계열의 기여는 8.4%포인트다(구간 5.0~12.1). 심판을 클로드 계열에서 GPT 계열로 바꾼 효과는 지시문 한 줄을 바꾼 효과의 8분의 1에 그친다. 그리고 세 번째 값이 가장 뜻밖이다. 두 번째 계열을 붙이고 동점 처리 모델까지 얹은 패널 구조 전체의 기여는 1%포인트였다(9.3%에서 10.3%로, 구간 −1.2에서 +3.7, p=0.13). 통계적으로 변화 없음과 구별되지 않는다. 심판을 여러 겹으로 쌓아 신뢰도를 확보한다는 통념이 여기서는 작동하지 않았다.

노트 한 장으로 환산하면 실제 패널 기준으로는 검증된 실패가 평균 1.2건이고, 관대한 기준으로는 8.9건이다. 같은 565장, 같은 대화, 같은 모델이다.

이것이 이 논문 하나의 특이한 결과가 아니라는 방증도 있다. census가 정리한 대조표에 따르면, 같은 시기 벤더 쪽에서 나온 연구 두 편이 같은 방향을 가리킨다. 임상적으로 타당한 추론을 근거 있는 기술로 재분류하자 같은 SOAP 노트의 지적률이 35.2%에서 9.1%로 내려갔고(Vachhani 2026), 같은 노트를 두고 보정된 자동 검토기는 24.4%에서 오류를 봤는데 도움 없이 읽은 임상의는 6.2%에서 봤다(Bergman 2026b). 두 값 모두 원논문에서 직접 확인한 것이 아니라 census의 대조표를 경유한 인용이다.

같은 구조를 페블러스 블로그에서 이미 두 번 다룬 적이 있다. 논문 4,080편의 문장만 고쳐 썼더니 AI 심사 점수가 갈린 사례가 그중 하나다. 대상은 그대로인데 계측이 점수를 움직인다는 점에서 같은 모양이고, 다른 점은 이 감사가 손잡이별 기여분을 나눠 봤다는 것이다.

다만 이 분해는 검증 단계 안에서만 이루어졌다. 후보를 뽑아 오는 발굴 단계가 무엇을 얼마나 놓쳤는지는 이 실험이 건드리지 않았다. 계측의 기여분을 항목별로 나눠 본 것 자체가 이 분야에서 처음이지만, 나눠 본 범위도 계측의 일부에 지나지 않는다.

계측이 숫자를 만든다면, 그다음 질문은 계측이 어떤 오류를 통과시키는가이다. 이 감사는 후보를 뽑을 때 오류 범주별로 발굴 패스를 따로 돌렸기 때문에, 범주마다 몇 건을 뽑았고 몇 건이 검증을 통과했는지를 나눠 볼 수 있다. 전체로는 후보 5,898건 중 618건이 인정돼 10.48%였다. 이 평균선을 기준으로 범주를 늘어놓으면 위아래에 규칙이 드러난다.

위쪽 세 줄은 판정에 텍스트 대조만 필요하다. 처방한 용량이 대화의 용량과 다른지, 대화에 없던 내용이 노트에 있는지, 환자가 말한 것을 가족이 말한 것으로 옮겼는지는 두 문서를 나란히 놓으면 결판이 난다. 아래쪽 세 줄은 전부 다른 종류의 판단을 요구한다. 무엇이 노트에 들어 있어야 하는가를 먼저 정해야 답할 수 있는 것들이다. 누락은 하위 세 줄 가운데 맨 위인 6.1%로, 최하는 아니다. 그 아래에 잘못된 제목 아래 배치(5.2%)와 계획을 완료로 적은 경우(4.5%)가 있다.

같은 후보들을 관대한 기준으로 다시 읽으면 순서는 대체로 유지된다(순위상관 0.72). 대신 폭이 눌린다. 패널 기준에서 2.8%부터 30.8%까지 11배로 벌어져 있던 범주별 인정률이, 관대한 기준에서는 63.0%부터 94.3%까지 1.5배 안으로 압축된다. 순위가 크게 뒤집히는 것은 잘못된 제목 아래 배치된 텍스트 하나다. 표본 115장 안에서 패널이 4.3%만 인정했던 것이 관대한 기준에서는 88.5%가 된다. 위 그림의 5.2%는 같은 범주를 감사 전체 887건에 대고 센 값이니, 두 숫자를 겹쳐 읽지 않는 편이 좋다. 어느 절에 무엇을 적어야 하는가라는 규범이 기준에 따라 가장 크게 흔들린다는 뜻이다.

3.1기각의 이유를 물어보면 무엇이 나오는가

누락 후보가 왜 그렇게 많이 기각됐는지를 알아보려고, 저자들은 기각된 누락 후보 40건을 뽑아 검토자에게 사유를 되물었다. 답변은 다섯 갈래로 나뉜다. 중요하지 않다는 것이 42.5%, 이런 종류의 노트에는 원래 필요 없다는 것이 22.5%, 패널이 실제 누락을 잘못 기각한 것이 7.5%, 전사본에 그 사실 자체가 없었다는 것이 2.5%였다. 남은 25.0%가 이 보고서의 뒷부분과 이어진다. 노트의 다른 곳에 이미 적혀 있다는 것이다(구간 14.2~40.2).

이 25.0%는 흔들리는 값이다. 같은 감사의 예비 표본 15건에서는 0%였다. 표본이 작다는 뜻이고, 이 보고서가 뒤에서 이 숫자를 근거로 무엇을 주장할 때 그 강도를 여기에 맞춰야 한다는 뜻이기도 하다. 다만 방향 자체는 문헌과 어긋나지 않는다. 병원 기록에서 같은 내용이 여러 자리에 중복되는 것은 원래 흔한 일이고, census가 인용한 바로는 입원 기록 사이의 중복이 54%에서 78%에 이른다(Wrenn 2010).

더 중요한 것은 이 25.0%가 정의의 문제라는 점이다. 어딘가에 다시 적혀 있으면 누락이 아니라고 볼 것인가, 있어야 할 자리에 없으면 누락으로 볼 것인가. 문헌은 이 지점에서 양쪽으로 갈린다. 있어야 할 위치를 기준으로 삼는 쪽이 있고, 절 단위로 범위를 좁히면서 절과 절 사이의 완결성 문항을 아예 빼는 벤더 공동 저술 체크리스트도 있다. 이 census는 반대 극단에 선다. 어디든 다시 적혀 있으면 포착된 것으로 친다. 이 선택이 최종 숫자에 몇 퍼센트포인트를 더하거나 빼는지 측정한 공개 감사는 아직 없다.

3.2기존 감사들과 벌어진 격차는 대부분 분모 차이다

AI 스크라이브의 오류를 다룬 기존 감사들은 하나같이 누락이 가장 흔한 오류라고 보고해 왔다. 이 census는 다르다. 검증된 618건에서 누락이 차지하는 비중은 23.1%이고, 가장 많은 몫은 잘못된 출력(33.5%)이 가져갔다. 이 어긋남은 그냥 넘길 자리가 아니라 이 섹션의 핵심 소재다. 아래 그림에서 위쪽 구획과 아래쪽 구획을 나눠 놓은 이유가 그것이다.

구획 A의 값들은 서로 비교하라고 만든 값이 아니다. 각 연구가 검증한 오류의 총량이 다르고, 무엇을 오류로 셀지도 다르다. 분모를 공유하는 유일한 비교가 구획 B다. 노트 전체 가운데 누락이 하나라도 있는 노트의 비율로 보면 census는 15.4%(구간 12.0~19.0), Taylor 2026은 18%로 두 값이 붙는다. census 자신의 누락 수치 두 개를 섞지 않는 것도 중요하다. 23.1%는 검증된 오류 618건 중 누락이 차지한 비중이고, 앞의 그림에 나온 6.1%는 누락 발굴 패스가 뽑은 후보 1,284건 중 검증을 통과한 비율이다. 서로 다른 질문에 답하는 값이다.

그렇다고 공개된 감사들의 격차가 전부 계측 탓이라고 쓰면 과장이다. 논문 자신이 반례를 든다. Biro가 감사한 두 제품은 같은 평가자가 같은 기준으로 읽었는데도 서로 29%포인트 벌어져 있었고, 이 한 쌍이 공개된 최고와 최저 사이 32%포인트 격차의 대부분을 차지한다. 제품 사이의 실제 차이는 존재한다. 이 보고서의 주장은 제품 차이가 없다는 것이 아니라, 계측을 공개하지 않으면 제품 차이와 계측 차이를 분리할 방법이 없다는 것이다.

이 감사가 아예 재지 않은 영역도 둘 있다. 약물명과 코드 용어의 정확성, 그리고 편향이나 낙인이 담긴 표현이다. 재지 않았다는 것은 0이라는 뜻이 아니다.

앞 섹션까지는 그 감사가 무엇을 찾아냈고 그 숫자를 무엇이 만들었는가의 이야기였다. 검토 자체를 모델에 맡기면 무엇이 달라지는가는 같은 팀의 자매 논문이 따로 떼어 다뤘다. 임상 노트 쌍 500개를 만들었다. 원본과, 사실 하나를 지우거나 하나를 더한 판본을 짝지은 것이다. 누락 쪽이 298쌍이고 추가·변조 대조군이 202쌍이며, 평가에는 495쌍을 썼다. 여기에 LLM 심판 판정 설계 여덟 가지를 돌렸다. 판정 범위를 충실성만 볼지 완결성까지 볼지, 응답을 예/아니오로 받을지 점수로 받을지, 한 번 물을지 여덟 번 물어 평균 낼지를 조합한 여덟 가지다.

여덟 개가 모두 같은 모양이었다. 아래 그림에서 각 줄의 왼쪽 점이 누락 판별력, 오른쪽 점이 추가·변조 판별력이다. 판별력은 탐지율이 아니다. 오류가 심어진 노트가 자기 깨끗한 쌍둥이보다 낮은 점수를 받을 확률이고, 0.5는 동전 던지기다. 쌍둥이가 나란히 있어야 계산되는 값이니 실제 배포 환경에는 존재하지 않는다. 정답 대조본이 옆에 있을 때의 상한값이라고 읽어야 한다.

설계를 어떻게 바꿔도 왼쪽 열은 거의 움직이지 않는다. 판정 범위를 넓혀도, 응답 형식을 바꿔도, 여덟 번 물어 평균을 내도 마찬가지다. 가장 나은 조합이 0.634에 도달하는 것이 전부다. 오른쪽 열이 0.79에서 0.94 사이에서 설계에 따라 반응하는 것과 대조된다. 다른 모델 계열에서도 같은 모양이 재현됐다. 실제로 배포돼 있는 충실성 심판을 가져다 대도 누락 0.518에 추가·변조 0.886, 판정을 여러 항목으로 쪼개는 G-Eval 방식도 0.568에 0.890으로 모양이 같았다. 참조로 돌린 심판들 가운데 이 모양을 뒤집은 것은 하나뿐이고, 그것이 사실을 열거해 대조하는 검색증강 평가 프레임워크 방식이다. 왜 그것만 예외인지는 5번 섹션에서 드러난다. 심판의 설계 하나가 측정값을 만들어 낸다는 점에서는 채점 척도의 바닥이 없던 상호작용을 만들어 낸 사례와 같은 계열이다. 다른 점은 이번에는 설계를 바꿔도 움직이지 않는 벽이 나왔다는 것이다.

배포 조건에서는 더 나빠진다. 쌍둥이 없이 노트 한 장만 놓고 판정하게 하면, 여덟 설계 중 쓸 만한 탐지를 만든 것이 하나도 없다. 임계값을 어디에 두든 AUC가 0.503에서 0.575 사이에 머문다. 가장 나은 점수형 설계의 실제 운영점은 탐지 8.3%에 오탐 6.5%다. 자기 잡음을 겨우 넘는 수준이다. 예/아니오 설계 중 가장 나은 것은 누락이 있는 노트의 40%에서 42%를 지적하지만, 그 대가로 깨끗한 노트의 32%도 함께 지적한다.

남아 있는 신호는 고르게 퍼져 있지 않다. 사실이 통째로 사라진 경우에는 판별력이 0.690으로 그나마 높다. 문장 조각이 흔적으로 남은 경우는 0.607이다. 그런데 같은 사실이 노트 다른 곳에 다시 적혀 있는 경우, 즉 원래 자리에서는 사라졌지만 문서 어딘가에는 남아 있는 경우에는 0.526이다. 사실상 동전 던지기다.

이유는 구조적이다. 더해진 것은 문서에 자기 자리를 차지하고 있어서 가리킬 수 있다. 빠진 것은 가리킬 텍스트를 남기지 않는다. 두 논문이 배경으로 인용하는 AbsenceBench(Fu 2025)가 이 점을 직접 겨눈다. 원본과 대상을 나란히 놓아 주고도 모델은 삽입된 부분을 F1 86.2%에서 99.5%로 찾아내는 반면, 삭제된 부분에서는 평균 56.9% 떨어졌다. 원인으로 지목된 것은 트랜스포머의 어텐션이 존재하지 않는 자리에는 주의를 줄 수 없다는 점이다. 임상 문서에 국한된 문제가 아니다.

그렇다면 프롬프트를 잘 쓰면 되는 문제일까. 자매 논문이 다섯 계열의 처방을 차례로 시험했다. 지시 문구를 바꾸는 것, 채점 범위를 조정하는 것, 응답 형식을 바꾸는 것, 여러 번 물어 다수결로 정하는 것, 그리고 자동 프롬프트 최적화 도구로 프롬프트 자체를 진화시키는 것이다. 다섯 계열 모두 운영점을 옮기는 데는 성공했다. 지적을 더 많이 하게 하거나 더 적게 하게 만들 수는 있었다. 그러나 오류 노트와 깨끗한 노트를 갈라 세우는 분리도 자체는 만들어 내지 못했다.

이 분야가 어디까지 와 있는지는 다음 대비가 그대로 말해 준다. 추가·변조 쪽은 외부 정답지로 검증됐다. 임상의가 라벨을 단 공개 데이터셋(MEDEC)에 같은 심판을 돌리면 판별력 0.827, AUC 0.811이 나오고 오탐 10%에서 51.3%를 탐지한다. 누락 쪽에는 그런 외부 정답지가 없다. 검수기가 못 보는 유형에 대해서는 검수기를 채점할 기준조차 아직 만들어지지 않았다는 뜻이다.

프롬프트로 안 된다면 무엇으로 되는가. 자매 논문이 찾아낸 답은 과제 자체를 다시 짜는 것이었다. 지금까지의 판정은 열린 질문이었다. 이 노트에 빠진 것이 있는가. 모델은 무엇이 있어야 하는지를 스스로 정한 뒤 그 목록과 노트를 머릿속에서 대조해야 한다. 이것을 닫힌 대조로 바꾼다. 전사본에서 기록되어야 할 사실의 목록을 먼저 뽑고, 항목마다 이 사실이 노트에 있는가를 따로 묻는다. 기여를 분해해 보면 확인할 사실 목록을 미리 정해 주는 것이 회복분의 약 3분의 1이고, 항목별로 닫힌 판정을 시키는 것이 나머지였다.

5.1네 배 넘게 올렸는데도 열 장 중 여섯 장은 통과한다

이 재구조화를 두 갈래로 구현했다. 하나는 사실을 열거하고 항목마다 규칙으로 판정하는 다단계 파이프라인이고, 다른 하나는 자동 최적화 도구로 진화시킨 단일 프롬프트다. 앞 섹션에서 가장 나았던 통상적 심판 설계를 참고선으로 함께 놓았다.

파이프라인의 탐지 24.6%는 3번 섹션 표의 날조 인정률 24.6%와 우연히 같은 값이며 서로 무관하다. 진화 프롬프트의 오탐 6.2%도 2번 섹션에서 인용한 Bergman의 임상의 지적률 6.2%와 다른 값이다. 출처: 자매 논문 §7.

가장 높은 값이 36.9%다. 심각한 누락만 따로 보면 58.9%까지 올라간다. 앞 섹션의 8.3%와 비교하면 네 배 넘게 오른 것이지만, 그래도 누락이 있는 노트 열 장 중 여섯 장은 여전히 통과한다. 논문 자신의 표현을 그대로 옮기는 편이 정확하다. 해결이 아니라 개선이며, 여기 있는 어떤 것도 이 오류 유형을 푸는 데 근접하지 못한다. 네 장 중 한 장에서 세 장 중 한 장 정도로 올라간 것이 이 연구가 도달한 지점이다.

두 방법 중 어느 쪽이 낫다고 말할 수도 없다. 탐지 건수는 진화 프롬프트가 앞서고, 그 차이는 진료를 단위로 놓아도 남는다(36.9% 대 24.6%, p=0.002). 평가셋 495쌍을 진료 단위로 접으면 진화 프롬프트만 지적한 진료가 25건, 항목별 규칙만 지적한 진료가 7건이고, 둘 다 지적한 것이 52건, 어느 쪽도 지적하지 않은 것이 28건이다. 그런데 논문이 적어 둔 것은 우열이 아니라 두 방법의 강점이 서로 보완적이라는 쪽이다. 진화 프롬프트는 오탐이 2.3배이고, 배포하는 곳마다 깨끗한 노트를 모아 임계값을 다시 잡아야 한다. 파이프라인은 조용하고 지적 내용이 구체적이지만 열 배 비싸다. 그리고 각 방법에 쓸 만한 운영점은 하나뿐이다. 파이프라인이 보는 사실의 범위를 부수적 사실까지 넓히면 탐지가 59.0%로 오르지만 깨끗한 노트의 35.7%를 지적하게 된다.

5.2되살린 대신 무엇을 내주는가

첫 번째 대가는 반대편이 무너진다는 것이다. 사실을 열거해 대조하는 설계들은 이 연구에서 추가·변조 판별력이 가장 낮았다. 3단계 파이프라인이 0.661, 체크리스트형이 0.744, 검색증강 평가 프레임워크 방식이 0.712다. 앞 섹션 최고 설계의 0.939와 비교하면 반대편으로 내려앉은 셈이다. 이유는 단순하다. 있어야 할 것이 다 있는지를 세는 점수는 없던 것이 더해졌는지에 반응하지 않는다. 커버리지형 검수를 배포한다면 충실성 심판을 나란히 돌려야 한다는 뜻이고, 이것이 이 보고서에서 다른 도메인으로 가장 잘 옮겨지는 교훈이다. 참고로 진화 프롬프트는 이 대가를 치르지 않았다. 추가·변조 판별력 0.978을 유지했다.

두 번째 대가는 남는 사각지대의 성질이 달라진다는 것이다. 앞 섹션에서 판별력이 0.526까지 떨어졌던 그 경우, 즉 원래 진술은 사라졌지만 같은 사실이 노트 다른 곳에 남은 재진술 흔적이다. 누락 293건 중 57건이 여기 해당한다. 이 57건에서는 이 연구가 측정한 모든 방법이 자기 잡음 이하로 떨어졌고, 항목별 규칙은 57건 중 0건을 잡았다. 사실 목록 대조가 가장 잘 통하지 않는 자리가 하필 여기다.

5.3벤치마크에서 고른 임계값은 실제 문서로 옮겨지지 않는다

여기까지의 값은 전부 구성된 쌍에서 나온 것이다. 사실 하나를 일부러 지운 노트와 원본을 짝지은 자료다. 실제 벤더 노트는 그렇게 생기지 않았다. 저자들은 census가 감사한 실제 노트 261장을 가져와 같은 검수기를 돌려 봤다. 검증된 누락이 있는 87장과 패널이 통과시킨 174장이다.

벤치마크에서 고정해 둔 임계값을 그대로 적용한 결과가 먼저 나온다. 탐지는 대략 두 배로 오른다. 파이프라인이 51.7%, 진화 프롬프트가 85.1%다. 그런데 오탐이 8.3배와 7.1배로 뛴다. 각각 22.4%와 44.2%다. 이 단계에서 통상적 단일 심판의 값은 탐지 29.9%에 오탐 9.8%였다. 실제 노트는 한 곳만 도려낸 것이 아니라 전체가 조금씩 덜 완결적이기 때문에 벌어지는 일이다.

임계값을 실제 노트에서 다시 잡으면 그림이 또 달라진다. 재보정 후 진화 프롬프트는 탐지 32.2%에 오탐 5.2%로 정리된다. 여기에 저자들이 덧붙인 단서가 있다. 재보정된 단일 심판에는 비교할 만한 지점이 없다는 것이다. 오탐을 1.1%까지 낮추면 탐지가 9.2%로 주저앉고, 탐지를 맞추려면 오탐을 49.4%까지 올려야 한다. 파이프라인은 애초에 재보정 스윕 자체를 돌리지 않았다. 그러니 재보정 전의 29.9%와 재보정 후의 32.2%를 나란히 놓고 읽으면 원문과 반대되는 결론이 나온다. 두 값은 다른 실험의 값이다.

실무자에게 이 절이 남기는 것은 하나다. 벤치마크에서 고른 임계값은 실제 문서로 옮겨지지 않는다. 벤더가 제시하는 탐지율이 어떤 자료에서 어떤 임계값으로 나온 값인지 묻지 않으면, 도입한 뒤 오탐이 몇 배로 뛰는 것을 현장에서 확인하게 된다.

마지막으로 이 실험에서 나온 밝은 신호도 적어 둔다. 파이프라인이 지적한 45장 중 34장에서, 지적된 사실의 이름이 census 패널이 검증한 바로 그 사실과 일치했다. 75.6%다(구간 61.3~85.8). 어휘가 겹치는지를 본 지표적 선별이라 정밀한 일치 판정은 아니지만, 항목별 대조가 만들어 내는 지적이 사람이 확인할 수 있는 형태라는 것은 보여 준다. 점수 하나만 돌려주는 심판과 갈라지는 지점이 여기다.

지금까지의 이야기는 AI가 쓴 노트를 무엇으로 재는가에 관한 것이었다. 그런데 그 재는 도구를 만들려면 정답지가 필요하다. 자매 논문이 벤치마크를 만들면서 가장 먼저 부딪힌 것이 이 문제였고, 여기서 나온 결과가 이 보고서를 의료 밖으로 데리고 나간다.

6.1임상의가 쓴 참조 노트도 전사본과 어긋났다

AI 스크라이브 연구에서 표준처럼 쓰이는 공개 코퍼스가 둘 있다. 둘 다 임상의가 직접 작성한 참조 노트를 담고 있고, 그 노트들이 정답 역할을 해 왔다. 저자들이 그 참조 노트를 자기 전사본과 한 문장씩 대조했다. PriMock57의 53장이 전부, ACI-Bench의 45장이 전부 최소 한 건 이상 실질적으로 어긋났다. 노트당 평균으로는 각각 10.7건과 7.1건이다.

어긋남의 성격도 앞의 이야기와 이어진다. PriMock에서 확인된 1,030건 가운데 574건, 그러니까 56%가 전사본에 있었는데 노트에 없는 사실이었다. 그다음이 명백한 오류이고, 그다음이 불확실성이 굳어진 경우다. 환자가 타박상 같다고 말한 것이 확정 진단으로 적히는 식이다. 1,030건 중 345건은 심각한 것으로 분류됐다. 임상의가 쓴 노트를 정답지로 삼는 관행은 노트 한 장당 7건에서 11건의 실질적 오류를 정답지 안으로 들여오는 일이었다는 뜻이다. 100%라는 값 자체에는 논문이 부록에서 단서를 붙인다. PriMock의 참조 노트는 애초에 간결한 요약으로 쓰인 것이라 빠진 사실이 유독 많이 잡히고, 감사를 돌린 도구도 이 연구가 만든 추출기 자신이다. 그래서 읽을 값은 100%가 아니라 밀도와 심각도 쪽이다.

저자들이 택한 대안은 순서를 뒤집는 것이다. 참조 노트에서 시작하지 않고 전사본에서 시작한다. 전사본에서 사실 시트를 노트와 무관하게 추출한 다음, 서로 다른 모델 세 개를 비평가로 붙여 그 시트를 감사하고, 그 결과로 참조 노트를 수리한다. 추출기가 얼마나 믿을 만한지는 직접 작성한 진료로 따로 측정했다. 저자들이 대본에 써 둔 사실 650개 중 646개를 회수했다. 99.4%다(구간 98.8~99.9).

정의를 문서로 못박는 일이 곧 측정 가능성을 만든다는 것도 여기서 수치로 나온다. 발견된 불일치에 심각도 등급을 매기게 했더니, 성문화된 기준 없이는 서로 다른 프런티어 모델 두 개의 일치도가 kappa 0.177이었다(구간 0.04~0.31). 거의 우연 수준이다. 같은 모델들에 성문 루브릭을 주자 0.662로 올라갔다(구간 0.59~0.73). 무엇을 심각하다고 부를지 적어 두는 일이 그 판정을 재현 가능하게 만드는 유일한 장치였다.

노트의 중복성은 이 이야기를 두 번 문다. 노트에 기록된 사실 1,791건 중 574건, 32.0%가 두 곳 이상에 적혀 있었다. 심각한 항목은 51.6%, 부수적 항목은 61.2%가 그렇다. 이 중복이 정답지 구축을 어렵게 만들고, 동시에 앞 섹션의 마지막 사각지대인 재진술을 만든다. 실제로 사실 하나를 완전히 지우려고 시도한 126회 중 교차 계열 패널을 통과한 것은 71회, 56.3%뿐이었다. 나머지는 지워지지 않았거나 지우고 나니 노트가 부자연스러워졌다.

6.2규제가 기대고 있는 층은 아직 측정되지 않았다

영국 의약품·의료기기규제청(MHRA)은 2026년 7월 29일 앰비언트 음성 기술 제품에 대한 가이던스를 NHS England와 공동으로 냈다. 임상 대화를 전사하거나 요약하거나 서신 초안을 쓰거나 임상 코드를 제안하되 임상의가 검토하도록 하는 제품은 현행 체계에서 의료기기로 규제되지 않는다. 반대로 진단이나 치료를 지원하거나 임상의 검토 없이 자동으로 처방을 내는 제품은 의료기기다.

이 판정이 얹혀 있는 층이 무엇인지는 가이던스가 직접 적어 놓았다. 임상의는 AI가 생성한 전사본과 요약을 환자 진료에 쓰기 전에 검토하고 확인할 책임을 그대로 진다는 것이다. 그런데 census는 서명과 검토 단계를 측정하지 않았다. 유창한 실패가 검토를 통과한다는 말은 이 연구에서 나온 측정이 아니라 실패의 형태에서 온 추론이다. 그러니 여기서 할 수 있는 진술은 하나뿐이다. 규제가 기대고 있는 층이 아직 측정되지 않았다. 임상의 검토가 작동하지 않는다는 주장은 이 연구가 뒷받침하지 않으며, 오히려 앞 섹션에서 본 대로 인간 검토자는 기계 심판의 비대칭을 공유하지 않는다.

가이던스가 환각을 명시적으로 다루고 있다는 점도 적어 둘 만하다. 환각은 이 제품군에서 폭넓은 영향을 가질 수 있는 잘 알려진 동작이라고 쓰여 있고, 위험은 설계로 먼저 줄여야 하며 경고는 가장 낮은 수준의 위험 감소 수단이라고 못박는다. 이 제품은 진단용이 아니라는 일반 면책 문구만으로 비의료기기임을 입증할 수 없다는 것도 명시돼 있다. 덧붙여, 가이던스가 비의료기기 예시로 든 기능 중에는 놓쳤을 수 있는 데이터를 임상의가 검토해 수락하거나 거부하도록 알려 주는 것도 들어 있다. 다만 그 예시는 문제 목록이나 투약 목록 같은 구조화 필드의 결측 점검이고, 자매 논문이 잰 것은 자유 텍스트 노트의 누락 탐지다. 규제가 낮은 위험으로 분류한 기능군 안에 결측 점검이 들어 있는데, 자유 텍스트에서 그 기능이 얼마나 어려운지는 앞 섹션이 보여 준 그대로다.

국가 단위의 보증 장치가 무엇을 수집하도록 설계돼 있는지도 같은 방향을 가리킨다. NHS England는 앰비언트 음성 기술 공급사 등록부를 운영한다. 법률 해설과 업계 매체가 인용한 등록부 규정에 따르면 이것은 자기인증 등록부이며, NHS England는 등재된 공급사를 보증하지 않고 요건과 표준에 대한 예비 완결성 점검만 수행한다고 스스로 밝히고 있다. 공급사는 실사용 편익의 증거와 성능 모니터링에 대한 각자의 접근법을 제출한다. 2026년 1월 기준 19개 공급사가 기준 충족으로 등재됐다.

그래서 구매자는 무엇을 물어야 하는가. 논문이 세 문항으로 정리해 두었고, 이 세 문항은 의료를 떠나 어떤 데이터 품질 계약서에도 그대로 옮겨 적을 수 있다.

• 이 수치는 어떤 계측으로 잰 것이며, 그 계측을 볼 수 있는가.
• 이 감사가 정리한 17개 실패 군집 중 무엇을 측정했고 무엇을 고쳤는가.
• 우리 진료(우리 데이터)로 돌리면 무엇이 나오는가.

이 세 문항이 왜 필요한지는 사례가 말해 준다. 논문이 인용한 바로는, 공개된 90.2%라는 개체 포착률은 주요하거나 심각한 누락만 결함으로 세어 나온 값이다. 그 사실은 숫자 표면에 적혀 있지 않다(Oleson 2024). 앞 섹션에 나온 재진술 90.2%와는 아무 관계가 없는 값이라는 점도 함께 짚어 둔다. 그리고 같은 질문을 이번 주의 사건에도 던져 볼 수 있다. OpenAI는 27개 임상 용례에서 의사 응답 4,300여 건을 모아 99.1%가 안전하다고 판정했다고 밝혔다. 이 수치는 어떤 계측으로 잰 것이며 그 계측을 볼 수 있는가. 답을 아는 것이 아니라 물을 자리라는 뜻이다. 두 논문은 OpenAI의 계측 설계를 검증한 바 없다.

감사를 발주하려는 쪽에는 규모에 관한 교훈도 남는다. 이 연구가 표본으로 쓴 115장 규모의 감사는 전체 565장의 노트 단위 비율을 4%포인트 이내로 재현했다. 점 추정은 잘 맞았다. 그런데 구간이 20.5%에서 36.6%였다. 오류율이 10%포인트 차이 나는 두 공급사를 이 규모로는 가를 수 없다. 감사를 맡기기 전에 무엇을 가려낼 것인지부터 정하고 규모를 설계해야 한다.

6.3국내는 어디까지 와 있나

제도 쪽에서는 식품의약품안전처가 2025년 1월 24일 「생성형 인공지능 의료기기 허가·심사 가이드라인」을 제정해 발간했다. 세계 최초를 표방했고, 같은 날 독립형 디지털의료기기소프트웨어 사용적합성 가이드라인도 함께 나왔다. 그 보도자료 붙임에는 생성형 AI 의료제품 사례 표가 실려 있는데, 국내 사례로 음성인식 기술로 환자 진료기록을 자동 작성하는 제품이 2025년 예정으로 적혀 있다. 이 표는 시장 사례 목록이지 허가 목록이 아니다.

현장 도입도 시작됐다. 부산 동아대학교병원이 부산·울산·경남에서 처음으로 AI 기반 차세대 의무기록 시스템을 구축해 운영에 들어갔다(부산일보, 2026년 7월 6일). 간호사가 음성만으로 간호 처치 기록과 서식을 작성하는 모바일 기반 시스템이고, 공급사는 퍼즐에이아이다. 앞으로 회진 기록과 간호 기록 서식을 자동 생성하는 AI 기능을 추가할 예정이라고 한다. 서울아산병원의 진료 음성인식이나 고려대 안암병원의 사례도 보도돼 있다.

그 기사에서 현장 수간호사는 도입 효과로 간호 기록의 누락이나 오류를 줄일 수 있다는 점을 들었다. 누락 감소가 도입의 명분으로 제시되는데, 자동 검수기가 구조적으로 가장 못 보는 오류 유형이 바로 누락이다. 이것은 그 제품을 겨냥한 지적이 아니다. 사람이 손으로 적을 때의 누락과 자동 검수기가 잡아내는 누락은 다른 문제이고, 후자를 검증할 수단이 아직 약하다는 이야기다.

정작 이번 조사에서 찾지 못한 것은 국내에서 AI가 작성한 진료기록의 오류율이나 누락률을 공개적으로 감사한 연구다. 없다고 단정할 수는 없고, 확인되지 않는다고 적는 것이 정확하다. 인접 사례로는 생성형 AI가 만든 영상의학 교육자료를 전공의와 전문의 20명이 평가한 국내 연구가 보도된 적이 있다. AI 자동검증을 통과한 자료에서도 약 1.0%의 오류가 남아 사전에 설정한 기준을 웃돌았고 전문가 최종 감수가 필요하다는 결론이었다. 진료기록이 아니라 교육자료를 대상으로 한 연구이므로 같은 것으로 묶을 수는 없다.

6.4이 연구를 누가 했는가

두 논문의 저자들은 Composo 소속이고, Composo는 AI 평가·검수 도구를 파는 회사다. 평가 도구를 파는 회사가 기존 평가 방식이 못 미덥다고 말하는 구조이므로 이해상충은 실재한다. 논문은 이 점을 스스로 공시한다. 이 연구의 측정 경로 어디에도 저자들의 상용 제품이 쓰이지 않았고, 권하는 계측은 무료로 공개되며, 조언을 따르는 데 저자들의 어떤 제품도 필요하지 않다는 것이다.

공개의 범위가 그 공시를 뒷받침한다. 검증된 618건 전부와 전사본 쪽 근거 인용, 프롬프트, 모델 버전, 재실행 가능한 파이프라인, 벤치마크가 공개돼 있다. 비공개로 남은 것은 제품 노트 원문 하나이고, 그 이유도 적혀 있다. 제품마다 이용약관이 달라 한쪽만 공개하면 없다는 사실로 제품이 식별되기 때문에 셋 다 똑같이 보류했다는 것이다. 이 보고서는 그 공개물을 근거로 읽되, 평가 도구를 파는 쪽이 낸 결론이라는 사실을 함께 읽는 것이 맞다고 본다.

페블러스는 데이터를 진단하고 품질 성적서를 발급하는 일을 한다. 그래서 이 두 논문은 남의 업종 이야기로 읽히지 않는다. 품질 지표는 대상의 성질인가 재는 도구의 성질인가라는 질문이 여기서 정면으로 나왔고, 처음으로 항목별 분해값과 함께 나왔다. 우리 쪽 질문으로 바뀌는 것이 네 가지다.

7.1계측을 공개하는 것이 진단의 값어치다

이 감사가 취한 자세가 눈에 띄는 것은 결과가 아니라 공개 방식이다. 검증된 618건 전부와 프롬프트, 모델 버전, 재실행 가능한 파이프라인을 내놓고, 이 계측으로 당신 제품을 다시 재 보라고 말한다. 품질 진단을 파는 회사가 취할 수 있는 가장 강한 포지션이 이것이다. 점수만 파는 쪽은 점수의 신뢰를 요구해야 하지만, 잣대를 함께 내놓는 쪽은 남이 그 잣대로 자기를 검증하게 만든다. 우리가 발급하는 성적서도 같은 질문을 받게 된다. 이 점수는 어떤 잣대로 잰 것이며, 고객이 그 잣대를 볼 수 있는가.

7.2검수기가 구조적으로 못 보는 유형을 먼저 정한다

이 보고서에서 실행 규칙 하나만 가져간다면 이것이다. 자동 검수를 도입할 때 먼저 정해야 하는 것은 검수기의 정확도가 아니라 검수기가 구조적으로 못 보는 오류 유형이다. 있는 것이 틀렸는지는 기계가 잘 본다. 있어야 할 것이 없는지는 잘 못 본다. 데이터 파이프라인으로 옮기면 값 오류와 형식 위반은 자동 검수의 강한 영역이고, 레코드 누락과 필드 결측, 계보 단절은 약한 영역이다. 후자를 자동 검수에 맡기고 있다면 그 부분은 사실상 검수되지 않고 있다고 보는 편이 안전하다.

그 한계를 좁히는 유일한 길이 무엇이었는지도 그대로 이식된다. 기록되어야 할 사실의 목록을 먼저 세우는 것, 즉 스키마를 먼저 정의하는 일이다. 심각도 판정의 일치도가 성문 루브릭 없이는 kappa 0.177이었다가 루브릭을 주자 0.662가 됐다는 대목이 그 정량적 근거다. 무엇을 결함이라 부를지 문서로 못박지 않으면 같은 데이터에 대한 판정이 판정자마다 갈리고, 그 갈림은 데이터의 성질이 아니라 계측의 성질이다. 유럽 보건 메타데이터 규격을 재 본 글에서 필수 항목의 정의가 먼저였던 것과 같은 순서다.

7.3벤더의 정확도 수치를 읽는 법

6번 섹션의 세 문항은 의료 조달용으로 쓰인 것이지만 데이터 품질 계약서에 그대로 옮겨 적을 수 있다. 어떤 계측으로 잰 수치인지, 알려진 실패 유형 중 무엇을 측정했고 무엇을 고쳤는지, 우리 데이터로 돌리면 무엇이 나오는지. 여기에 이 보고서에서 나온 두 가지를 덧붙일 만하다. 벤더가 제시하는 포착률의 분모에 어떤 결함만 세어져 있는지 확인할 것, 그리고 파일럿 규모가 무엇을 가려낼 수 있는 규모인지 미리 계산할 것. 115장으로는 10%포인트 차이 나는 두 공급사를 가르지 못한다는 사실이 그 계산의 실물 사례다.

7.4이 글이 시리즈에서 서는 자리

페블러스 블로그는 측정 도구가 측정값을 만드는 현상을 앞서 두 번 다뤘다. 채점 척도의 바닥이 LLM 판정에 없는 상호작용을 만들어 낸 사례가 하나였고, 문장만 고쳐 쓴 논문 4,080편에서 AI 심사 점수가 갈린 사례가 다른 하나였다. 이번 글이 세 번째이고, 세 사례 중 처음으로 계측의 기여분이 항목별로 분해된 사례다. 검토 지시문 69.7%포인트, 심판 모델 계열 8.4%포인트, 패널 구조 1%포인트. 어느 손잡이가 숫자를 얼마나 움직이는지가 처음으로 숫자로 나왔다.

인접한 두 편도 이 글과 맞물린다. 의료 합성데이터에서 원본 레코드가 복원된 사례가 의료 데이터 품질을 다른 각도에서 짚었고, AI 내시경을 떼자 용종을 더 놓친 의사들 이야기는 이번 글의 6번 섹션과 직접 이어진다. 규제가 임상의 검토라는 층에 기대고 있는데, 그 층이 AI와 함께 일하면서 어떻게 변하는지는 또 다른 측정의 대상이다.

본문의 수치는 두 갈래다. 1번과 2번 논문의 값은 arXiv 전문을 직접 대조해 옮겼다. 기존 감사들의 값(Biro, Kernberg, Anderson, Taylor, Vachhani, Bergman, Wrenn, Oleson)은 두 논문이 자기 대조표와 참고문헌에 적어 둔 것을 경유한 인용이며, 원논문에서 따로 확인하지 않았다. 정책 문서와 보도는 원문 또는 원 기사에서 확인했다.

이 보고서의 뼈대 (1차 원문 대조)

• 1.Sebastian Fox, Luke Markham, Ryan Lail, Michael Karotsieris. "One note in three: a verified census of three deployed AI scribes, and the instrument that counted it." arXiv:2608.31017. arXiv: 2608.31017 — 심사를 거치지 않은 사전 공개본이다. 저자들은 AI 평가·검수 도구를 파는 Composo 소속이며, 논문은 이 연구의 측정 경로에 자사 상용 제품이 쓰이지 않았다고 공시한다. 검증된 618건과 프롬프트, 모델 버전, 재실행 가능한 파이프라인이 공개돼 있고 제품 노트 원문만 비공개다. 코퍼스는 PriMock57과 ACI-Bench(둘 다 CC BY 4.0), 직접 작성한 시나리오다.
• 2.Sebastian Fox 외. "LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes and What Recovers It." arXiv:2608.31016. arXiv: 2608.31016 — 벤치마크 ComposoAI/OmissionBench, 코드 composo-ai/omission-bench, DOI 10.5281/zenodo.22160954.

정책 · 규제 문서 (원문 확인)

• 3.Medicines and Healthcare products Regulatory Agency. "Ambient voice technology-enabled products." GOV.UK, 2026년 7월 29일 발행, NHS England와 공동 개발. gov.uk 가이던스 본문 · 보도자료 (Open Government Licence v3.0). 법을 바꾸지 않는 권고 문서이며 적용 시장은 영국 본토다.
• 4.NHS England. "Guidance on the use of AI-enabled ambient scribing products in health and care settings." PRN01734_i, 버전 3(2025년 4월 27일 발행, 2026년 7월 29일 최종 갱신) 및 AVT Supplier Registry. england.nhs.uk — 본문의 등록부 규정 인용은 nhs.uk 원문 페이지를 직접 열지 못해 Bird & Bird 법률 해설과 HTN 보도(2026년 1월 19일)가 인용한 문구로 확인했다.
• 5.식품의약품안전처. 「생성형 인공지능 의료기기 허가·심사 가이드라인」, 2025년 1월 24일 제정·발간. 보도자료 원문(PDF) — 본문에서 인용한 생성형 AI 의료제품 사례 표는 이 보도자료의 붙임이며 허가 목록이 아니다. 검색 요약에 2026년 1월로 흘러다니는 판이 있으나 2025년이 맞다.

보도

• 6.Ivan Mehta. "ChatGPT Health adds Epic integration for clinicians to import patient data." TechCrunch, 2026년 9월 1일. techcrunch.com — 읽기 전용 접근이며 AI가 기록에 되쓰지 않는다는 진술, 27개 임상 용례에서 의사 응답 4,300여 건으로 99.1% 안전 판정이라는 OpenAI 자체 평가가 여기서 나왔다.
• 7.부산일보. "동아대병원, 부울경 최초 AI 기반 차세대 의무기록 시스템 구축", 2026년 7월 6일. busan.com — 공급사는 퍼즐에이아이. 본문에 인용한 현장 수간호사 발언도 이 기사에서 가져왔다.
• 8.라포르시안. 서울아산병원 연구팀의 생성형 AI 영상의학 교육자료 평가 보도 — 2차 출처이며 원 논문은 확인하지 못했다. 진료기록이 아니라 교육자료를 대상으로 한 연구다.

두 논문을 경유해 인용한 선행연구 (원문 미대조)

아래 서지 사항은 1번과 2번 논문의 참고문헌 목록에 적힌 그대로 옮긴 것이다. 본문에 등장하는 수치도 두 논문의 대조표를 경유한 값이다.

• 9.Joshua Biro, Jessica L Handley, Nathan K Cobb, Varsha Kottamasu, Jeffrey Collins, Seth Krevat, Raj M Ratwani. "Accuracy and safety of AI-enabled scribe technology: Instrument validation study." Journal of Medical Internet Research 27:e64993, 2025. doi:10.2196/64993 — 두 제품의 누락 비중 83%와 54%, 같은 평가자 아래 29%포인트 격차의 출처다.
• 10.Joshua M Biro, Jessica L Handley, J Malcolm McCurry, Adam Visconti, Jeffrey Weinfeld, J Gregory Trafton, Raj M Ratwani. "Opportunities and risks of artificial intelligence in patient portal messaging in primary care." npj Digital Medicine 8:222, 2025. doi:10.1038/s41746-025-01586-2 — 4번 섹션의 인간 검토자 대조군이다.
• 11.Taylor N Anderson, Vishnu Mohan, David A Dorr, Raj M Ratwani, Joshua M Biro, Jeffrey A Gold. "Evaluating the quality and safety of ambient digital scribe platforms using simulated ambulatory encounters." Mayo Clinic Proceedings: Digital Health 3(4):100292, 2025. doi:10.1016/j.mcpdig.2025.100292
• 12.Annessa Kernberg, Jeffrey A Gold, Vishnu Mohan. "Using ChatGPT-4 to create structured medical notes from audio recordings of physician-patient encounters: Comparative study." Journal of Medical Internet Research 26:e54419, 2024.
• 13.Sandra L Taylor, Melissa Jost, Scott MacDonald, Yunyi Ren, Shelley Hilton, Sadie Davenport, Debbie Aizenberg, Bruce Hall, Courtney R Lyles, Jason Y Adams. "Quality of clinical notes created by ambient listening generative AI: Pragmatic prospective pilot study." JMIR Medical Informatics 14:e86474, 2026. doi:10.2196/86474 — 분모를 공유하는 유일한 비교 대상(노트의 18%)이다.
• 14.Bhavik Vachhani, Kush Shrisvastava, Pranshu Nema, Sai Chiranthan. "Beyond literal summarization: Redefining hallucination for medical SOAP note evaluation", 2026. arXiv: 2604.14829 — census가 벤더 저술 사전 공개본으로 표시한 연구다.
• 15.Henry Isaac Bergman 외 10인. "Quality, consistency, and clinical safety of AI-generated versus clinician-written clinical notes: a multi-country paired simulation study." medRxiv 사전 공개본, 2026.
• 16.Jesse O Wrenn, Daniel M Stein, Suzanne Bakken, Peter D Stetson. "Quantifying clinical narrative redundancy in an electronic health record." Journal of the American Medical Informatics Association 17(1):49–53, 2010. doi:10.1197/jamia.M3390
• 17.Jon Oleson. "DeepScore: A comprehensive approach to measuring quality in AI-generated clinical documentation", 2024 — census가 벤더 저술로 표시한 문서이며, 90.2% 개체 포착률의 출처다.
• 18.Harvey Yiyun Fu, Aryan Shrivastava, Jared Moore, Peter West, Chenhao Tan, Ari Holtzman. "AbsenceBench: Language models can't see what's missing." NeurIPS 2025 (spotlight). arXiv: 2506.11440
• 19.Asma Ben Abacha, Wen-wai Yim, Yujuan Fu, Zhaoyi Sun, Meliha Yetisgen, Fei Xia, Thomas Lin. "MEDEC: A benchmark for medical error detection and correction in clinical notes." Findings of ACL 2025, pp. 22539–22550 — 추가·변조 쪽의 외부 정답지다.
• 20.Wen-wai Yim, Yujuan Fu, Asma Ben Abacha, Neal Snider, Thomas Lin, Meliha Yetisgen. "ACI-Bench: a novel ambient clinical intelligence dataset for benchmarking automatic visit note generation." Scientific Data 10(1):586, 2023. doi:10.1038/s41597-023-02487-3