Executive Summary

주요 수치

앞의 둘은 격차가 가장 크게 벌어진 자리이고, 뒤의 둘은 흔히 거론되는 두 가지 처방을 적용했을 때 남은 값이다.

출처: Zeng et al., arXiv:2610.30631 (2026-10-22)

진료 지침은 몇 해에 한 번씩 고쳐진다. 권하던 약의 용량이 바뀌고, 검사를 시작하는 나이가 내려가고, 쓰던 처치가 다른 처치로 교체된다. ChronoEvo는 그렇게 고쳐진 자리만 골라 모은 시험지다. 연구진은 진료 지침 궤적 3,411건에서 출발해 개정 전후의 전문이 모두 확보된 자리를 추리고, 자동 검증 단계를 통과한 1,709건을 최종 문항으로 삼았다. 275개 지침 계열의 308개 개정 지점에서 나온 권고들이다.

시험 방식에서 눈여겨볼 대목은 채점 칸을 셋으로 나눈 것이다. 개정이 있었다는 사실을 응답이 알아봤는가, 그 응답이 임상적으로 맞는가, 바뀐 권고를 온전히 반영했는가. 보통의 평가는 이 셋을 하나의 점수로 뭉쳐 놓는다. 셋을 갈라 놓자 중간이 비어 있다는 것이 드러났다.

겉만 보면 응답은 개정을 흡수한 것처럼 보인다. 연구진이 응답의 낱말 구성을 옛 권고와 새 권고 양쪽에 대 보니, 새 권고 쪽으로 기운 응답이 90.2%였고 그 이동폭의 평균은 0.276이었다. 새 문장에서 낱말을 가져오기는 했다는 뜻이다. 그런데 임상적 의미로 채점하면 절반 가까이가 개정을 다 담지 못했다. 낱말은 따라왔고 결론은 따라오지 않았다.

자동 채점이 후한 것은 아닌지 확인하기 위해 연구진은 정형외과와 심장외과 전문의 두 사람에게 300건을 다시 보게 했다. 자동 라벨을 가린 상태였다. 사람이 매긴 점수는 인지 92.3%, 정확성 79.3%, 완전 반영 52.0%였고 격차는 40.3%p로 더 벌어졌다. 완전 반영에 실패한 144건 가운데 61건은 임상적으로도 틀린 답이었다. 반영을 덜 했어도 결과는 맞을 수 있다는 위안이, 실제로는 열에 넷쯤에서 깨진다.

두 채점자를 맞대 보면 어디서 갈리는지도 보인다. 같은 300건을 자동 채점으로 재면 인지 91.3%, 완전 반영 57.3%로 격차는 34.0%p였다. 사람이 매긴 40.3%p보다 좁다. 일치도를 보면 차이가 어디에 몰려 있는지가 더 분명하다. 개정을 알아봤는지에서는 자동 채점과 임상의의 판정이 0.933으로 거의 겹쳤고, 온전히 반영했는지에서는 0.705로 내려갔다. 알아봤는지는 기계와 사람이 같게 보고, 따랐는지는 보는 눈이 갈린다.

한 가지는 분명히 해 둬야 한다. 이 시험은 검색 성능을 재지 않았다. 모델에게는 개정된 지침의 근거가 프롬프트로 미리 주어졌다. 검색이 완벽하게 성공해 올바른 최신 문서를 찾아 준 상황을 가정한 조건에 가깝고, 논문도 한계 항목에서 올바른 지침을 찾아오는 과제와 환자·시점에 맞는 판을 고르는 과제는 다루지 않았다고 적었다. 그래서 이 수치는 검색을 더 잘 붙이면 나아질 여지가 있다는 쪽이 아니라, 검색이 잘된 다음부터 시작되는 문제라는 쪽을 가리킨다.

증거를 건네는 방식은 원래 셋이었다. 임상 주제만 알리고 지침 정보는 아무것도 붙이지 않는 조건, 이전 권고만 붙이는 조건, 개정된 지침의 근거까지 함께 얹는 조건. 지금까지 적은 수치는 모두 마지막 조건에서 나왔다. 셋 가운데 모델에게 가장 넉넉한 자리다.

1,709건은 열두 가지 변화 유형으로 분류돼 있다. 가장 많은 것은 새 권고가 통째로 더해진 경우로 541건이고, 진단 기준이 달라진 경우가 177건, 절차가 바뀐 경우가 164건, 용량이나 투여 일정이 바뀐 경우가 152건으로 이어진다. 권고의 강도가 조정된 경우 149건, 기준 수치가 움직인 경우 116건, 대상 인구가 넓어진 경우 104건도 적지 않다.

남은 다섯 유형은 묶음이 작다. 추적 방식이 바뀐 경우가 76건, 권고가 아예 빠진 경우가 75건, 쓰던 권고를 다른 권고로 바꿔 끼운 경우가 73건, 대상 인구가 좁아진 경우가 65건, 어디에도 들지 않는 경우가 17건이다. 열두 칸을 다 더하면 1,709건이 된다.

유형별 반영률에서 양 끝에 선 것은 교체와 삭제다. 바꿔 끼운 쪽의 완전 반영률은 41.1%로 가장 낮았고, 아예 빼낸 쪽은 72.0%로 가장 높았다. 이 두 유형의 차이는 다중비교 보정을 거친 뒤에도 유의했다. 다만 열두 유형 전체를 놓고 본 차이는 통계적으로 유의하지 않았다. 유형마다 뚜렷이 다르다고 말할 근거는 없고, 교체가 특히 낮다고 말할 근거는 있다.

이 대비에는 단서가 붙는다. 두 유형은 각각 73건과 75건으로 1,709건 가운데 작은 묶음이다. 묶음이 작으면 비율 하나가 몇 건에 따라 출렁인다. 그래서 두 수치를 받치는 것은 41.1%와 72.0% 사이가 넓어 보인다는 인상이 아니라, 그 간격이 보정을 통과했다는 사실이다.

교체 유형이 아픈 이유는 반영률 자체보다 그 옆 칸에 있다. 같은 유형에서 개정을 알아본 비율은 94.5%였다. 열에 아홉은 이 권고가 다른 것으로 바뀌었다는 사실을 정확히 알아보고, 그중 절반 넘게가 새 권고로 갈아타지 못한다. 53.4%p로 열두 유형 가운데 격차가 가장 크다.

옛 권고가 응답에 그대로 남은 비율을 따로 세면 패턴이 더 선명해진다. 전체 평균은 5.9%인데, 유형에 따른 차이가 통계적으로도 유의하다. 연도 간격이나 문장 길이 같은 조건을 보정한 뒤에도 그렇다.

보정 오즈비는 새 권고가 더해진 경우를 1로 두었을 때 옛 권고가 남을 가능성이 몇 배인지를 뜻한다. 표의 네 유형은 보정을 마친 뒤에도 기준 범주와의 차이가 유의했다.

이런 결과를 받으면 처방 두 가지가 바로 떠오른다. 더 큰 모델을 쓰거나, 개정이 중요하다고 더 세게 지시하거나. 연구진은 둘 다 시험했고 둘 다 격차를 닫지 못했다.

모델은 열넷을 돌렸다. 같은 계열에서 크기만 키운 쌍도 포함했다. 아래는 그중 양 끝과 중간을 보여 주는 일곱이다.

열넷 전부에서 격차가 0으로 좁혀지지 않았다. 특정 모델의 버릇이 아니라는 뜻이다. 크기를 키운 효과도 기대보다 작다. Qwen3를 4B에서 32B로 올렸을 때 격차는 1.5%p 줄었고 Llama를 8B에서 70B로 올렸을 때는 2.2%p 줄었는데, 둘 다 신뢰구간이 0을 품어 줄었다고 단정할 수 없다. 의료 특화 모델인 MedGemma도 같은 자리에 선다. 가장 멀리 간 GPT-5.6 Sol은 개정을 거의 전부 알아보고 완전 반영에서도 1위였지만, 알아본 것과 따른 것 사이에 20.1%p를 남겼다.

열네 모델의 격차는 좁게는 20.1%p, 넓게는 37.4%p 사이에 흩어져 있다. 흩어진 방향도 한 줄로 서지 않는다. 격차가 가장 큰 Gemma-3-12B는 임상적 정확성이 86.0%로 GPT-5.6 계열 셋을 빼면 가장 높은데, 완전 반영은 55.1%로 열넷 가운데 아래에서 세 번째다. 맞는 답을 내놓는 능력과 바뀐 권고를 끝까지 반영하는 능력이 나란히 움직이지 않는다. 세 칸을 따로 세우지 않은 평가라면 이 모델은 상위권이다.

두 번째 처방은 프롬프트다. 연구진은 개정이 있었으니 최신 권고를 우선하라는 지시를 명시적으로 넣고 같은 시험을 반복했다.

개선된 칸만 보면 지시가 통했다. 옛 권고를 입 밖에 내는 빈도가 줄었고 정확성도 조금 올랐다. 그런데 바뀐 권고를 온전히 담은 비율은 거의 그대로이고 격차는 오히려 0.1%p 늘었다. 지시가 고친 것은 눈에 띄는 증상이지 능력이 아니다. 옛 문장을 덜 쓰게 만들 수는 있어도, 새 권고가 결론을 어디까지 바꿔야 하는지를 판단하게 만들지는 못한다.

그래서 저자들이 결론에서 요구한 것은 네 단계다. 모델은 새 증거가 이전 지침을 어떻게 바꾸는지 판단하고, 그대로 두어도 되는 부분은 보존하고, 낡은 부분은 덜어 내고, 그 개정을 최종 권고까지 밀고 가야 한다. 최신 정보에 노출시키는 것만으로는 모자란다는 말을 모델이 할 일로 쪼개 적은 것이다. 사실 지식을 묻는 문항에서 모델 점수가 천장에 닿을수록 알아보는 일과 따르는 일을 갈라 재는 쪽이 더 중요해진다는 전망도 함께 붙어 있다.

범위도 연구진이 직접 좁혀 두었다. ChronoEvo가 다루는 것은 진료 지침이 개정되는 경로 하나뿐이다. 약물 안전성 통보, 규제 기관의 조치, 새로 나온 임상시험 결과, 학회 합의문처럼 임상 지식이 갱신되는 다른 길은 아직 들어 있지 않다. 문항을 뽑고 채점하는 단계의 상당 부분을 GPT-5에 맡겼다는 점도 한계로 적었다. 같은 모델의 편향이 출제와 채점 양쪽에 함께 실릴 수 있어, 다른 모델로 교차 재평가하고 임상의 검증을 덧댔다.

왜 그런지는 이 논문이 답하지 않는다. 저자들은 측정한 것이 모델의 행동뿐이며 내부에서 무슨 일이 벌어지는지는 규명하지 않았다고 분명히 적었다. 학습 데이터의 시점이 굳어서라고 말하고 싶어지지만, 그 설명은 이 실험이 뒷받침하지 않는다. 지금 확인된 것은 증거를 받은 뒤에도 결론이 거기까지 따라오지 않는다는 사실이다.

진료 지침은 페블러스가 다루는 영역이 아니다. 그런데 이 시험이 갈라 놓은 두 칸은 데이터 품질을 보는 자리에서 늘 붙어 다니던 것들이다. 자료를 최신으로 갈아 끼우는 일과, 그 교체가 산출물에 반영되는 일. 우리는 보통 앞의 것만 관리하고 뒤의 것은 따라온다고 가정한다. ChronoEvo가 보여 준 것은 그 가정이 90.8%와 58.5% 사이에서 깨진다는 것이다.

점검 방식에도 같은 이야기가 걸린다. 1절의 낱말 이동 수치를 다시 보면, 응답의 90.2%가 새 권고 쪽으로 기울어 있었다. 어휘 유사도로 최신 반영 여부를 확인하는 점검표였다면 이 시험은 통과로 기록됐을 것이다. 통과시킨 그 응답의 절반 가까이는 임상적 채점에서 완전 반영에 못 미쳤다. 최신성 점검이 낱말 수준에 머물면 어디서 틀렸는지 영영 안 보인다.

그래서 이 논문을 실무 쪽으로 옮기면 질문이 세 개 남는다.

• 자료를 갱신한 뒤 출력이 실제로 달라지는지를 쌍으로 본 적이 있는가. 옛 판과 새 판을 같은 질문에 나란히 걸어 보지 않으면 바뀐 것은 입력뿐일 수 있다
• 무엇을 더했는지만 세고 무엇이 지워졌어야 하는지는 세지 않는가. 격차가 가장 크게 벌어진 자리가 바로 교체와 축소였다
• 최신성 점검이 낱말을 보는가, 결론을 보는가. 둘은 같은 방향으로 움직이지 않을 수 있고, 이 연구에서는 실제로 갈라졌다

셋 가운데 첫째가 가장 품이 적게 든다. 개정 전후가 모두 남아 있는 자료라면 그 자체가 이미 시험지다. ChronoEvo가 한 일도 결국 그것이다. 고쳐진 자리를 골라 모아, 고친 뒤의 답을 요구하고, 옛 답이 남았는지를 센 것이다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치는 arXiv에 공개된 논문 원문에서 직접 확인했고, 원인에 관한 설명은 저자들이 규명하지 않았다고 밝힌 범위를 넘지 않도록 적었다. 사내에서 자료를 갱신한 뒤 출력이 정말 바뀌었는지를 어떤 방식으로 확인하고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 25일

• 1.Zeng, M., Zhan, Z., Yu, K., & Zhang, R. (2026). "Large Language Models Show Systematic Failures in Incorporating Evolving Medical Knowledge." arXiv:2610.30631.