Executive Summary

주요 수치

앞의 두 숫자는 같은 모델을 다섯 번 돌렸을 때 드러난 흔들림입니다. 뒤의 둘은 자율성을 더 올렸을 때 어디서 막혔고 무엇이 통했는지를 보여 줍니다.

출처: arXiv 2608.19025 (2026-08-19) · 프런티어 모델 7종, 논문 18편, 추출마다 5회 반복

정답지가 필요했습니다. 연구진이 고른 것은 심장 트로포닌 C에 칼슘 이온이 얼마나 강하게 붙는지를 여러 실험 논문에서 모아 정리한 2006년 리뷰입니다. 이 리뷰를 쓴 사람 중 하나가 이번 논문의 교신저자인 스티븐 니더러라, 원 출처와 정답지의 사정을 아는 상태에서 시험을 설계할 수 있었습니다. 리뷰의 표에는 논문 열아홉 편과 실험 조건 마흔 개가 담겨 있었고, 그중 접근할 수 있는 열여덟 편과 서른아홉 개 조건이 최종 코퍼스가 됐습니다.

첫 실험은 가장 사람이 많이 개입한 조건입니다. 전문가가 직접 쓴 프롬프트에 논문 한 편씩을 붙여 일곱 모델의 브라우저 창에 넣고, 같은 추출을 다섯 번씩 반복했습니다. 채점 항목은 일곱 가지입니다. 종, 온도, 트로포닌 제제, 칼슘 측정법, 마그네슘 농도, 그리고 친화도 값 두 가지입니다.

평균만 보면 대체로 성공한 실험입니다. 갈라진 곳은 항목별 성적입니다. 친화도 값 두 가지는 각각 99.0%와 99.8%로 사실상 다 맞혔는데, 그 값이 어떤 트로포닌 제제에서 측정된 것인지를 가려내는 항목은 80.7%에 그쳤습니다. 숫자를 찾아내는 일과 그 숫자가 어떤 실험 조건에 속하는지 판단하는 일은 모델에게 전혀 다른 난이도였습니다.

평균이 가려 놓은 것이 또 있습니다. 논문 열여덟 편 사이의 편차도 큽니다. 가장 낮은 세 편은 호프만과 푹스의 1987년 논문 62.4 ± 30.1%, 판과 솔라로의 1987년 논문 66.1 ± 29.8%, 파슨스 연구진의 1997년 논문 75.5 ± 8.0%였습니다. 앞의 두 편은 표준편차가 30%p에 가까운데, 호프만과 푹스 논문에서 Opus 4.7은 0%였고 Kimi K2.6은 94.3%였습니다. 판과 솔라로 논문에서는 Gemini 3.1 Pro가 17.1%, GPT-5.5가 100%였습니다. 어느 모델이 좋은가보다 어느 논문을 읽히는가가 성적을 갈랐다고 보는 편이 사실에 가깝습니다.

어려움의 정체는 문서 쪽에 있었습니다. 이 논문들은 막을 벗긴 근섬유나 천연 미오필라멘트에서 잰 값을 다루고, 마그네슘 농도가 다른 조건들을 한자리에 실어 놓았으며, 표에 없는 값은 방법 절을 읽어 계산해 내야 했습니다. 같은 친화도를 두 가지 방법으로 보고한 논문도 있었고, 본문에는 기준값이 적혀 있는데 표에는 다른 값이, 때로는 서로 어긋나는 값이 실려 있기도 했습니다. 내려받은 논문 두 편은 이미지로만 남아 있어 문자 인식이 지수를 깨뜨렸습니다. 파슨스 연구진 논문은 편차 없이 고르게 어려워서 모든 모델이 60.0~82.9% 사이에 모였습니다.

출력이 많다고 좋은 것도 아니었습니다. Kimi K2.6은 기대되는 결과 하나마다 평균 3.6개의 항목을 추가로 뽑아내면서도 정작 회수율은 89.2%였습니다. Opus 4.7은 추가 항목이 1.9개로 가장 적으면서 95.4%를 회수했고, GPT-5.5는 99.5%를 회수하면서 2.7개를 더 냈습니다. 더 많은 출력은 대개 사람이 손으로 확인해야 할 분량이 늘어난다는 뜻이었습니다.

1.1다섯 번 중 한 번은 답이 바뀌었다

같은 프롬프트로 같은 논문을 다섯 번 읽혔을 때 일곱 모델 전체에서 다섯 번 모두 정답이었던 항목은 76.4%였습니다. 다섯 번 모두 틀린 항목은 4.4%로 적었고, 문제는 그 사이에 있는 19.2%입니다. 정답과 오답을 오간 이 항목들은 한 번의 실행 결과만 보면 정답으로도 오답으로도 보일 수 있습니다.

모델을 나눠 보면 격차가 더 벌어집니다. 상위 세 모델은 다섯 번 모두 같은 정답을 낸 항목이 87.7%였고 나머지 네 모델은 67.9%였습니다. Kimi K2.6은 한 번의 실행에서 95.2%를 기록했는데 나머지 네 번은 78.4~80.2%였습니다. 그 한 번만 보고 모델을 골랐다면 상위권 모델을 고른 셈이 됐을 것입니다. 저자들이 최소 다섯 번 실행하고 다섯 번의 다수결을 보고하라고 권하는 이유입니다.

두 번째 실험은 사람의 손을 한 단계 뺍니다. 무엇을 찾아야 하는지만 간단히 알려 주고, 프롬프트 작성법과 도메인 용어를 먼저 검색하게 한 다음, 각 모델이 후보 프롬프트 세 개를 직접 쓰게 했습니다. 그 셋을 다시 하나의 마스터 프롬프트로 합치도록 했습니다. 전문가 프롬프트와 얼마나 닮았는지는 과제 정의, 출처 우선순위, 필수 컬럼과 인용, 계산, 특수 사례, 예시, 충돌 해결 지침을 담은 38개 항목 루브릭으로 점수를 매겼습니다.

후보 셋을 합치는 작업은 모든 모델에서 점수를 끌어올렸습니다. GPT-5.5는 개별 프롬프트 평균 82.9%에서 마스터 프롬프트 88.2%로 가장 높은 점수를 받았고, Gemini 3.1 Pro와 Kimi K2.6은 통합으로 각각 11.4%p, 10.5%p 올라 상승폭이 가장 컸습니다. 이 마스터 프롬프트를 논문 여덟 편에 적용했을 때 GPT-5.5는 90.3%, Opus 4.8은 85.5%였고 나머지 다섯 모델은 57.8~74.5%에 흩어졌습니다. GPT-5.5는 다섯 번의 실행이 90.1~90.7%에 모여 표준편차가 0.3%p였습니다. 앞 실험에서 한 번은 95.2%, 나머지는 80% 아래였던 모델과 대비되는 지점입니다.

전문가 프롬프트와 비교하면 모든 모델에서 정확도가 내려갔습니다. GPT-5.5는 95.6%에서 90.3%로 5.3%p, Opus 4.8은 4.8%p 떨어졌습니다. 사람 없이 만든 출발점치고는 나쁘지 않은 하락폭입니다. 반면 Gemini 3.1 Pro는 32.5%p가 빠졌는데, 원인은 프롬프트의 완성도가 아니라 지시를 반복해도 웹 검색을 실제로 수행하지 않은 데 있었습니다.

어디서 떨어졌는지도 뜯어볼 수 있습니다. 항목별로 나눠 보면 측정 방법 항목의 하락이 평균 27.5%p로 가장 컸습니다. 마그네슘 농도와 종과 온도, 친화도 값 두 가지는 13.8~16.4%p 사이였고, 트로포닌 복합체 분류는 2.1%p만 내려가 거의 그대로였습니다. 친화도 값만 놓고 보면 GPT-5.5는 전문가 프롬프트에서 99.2%, 마스터 프롬프트에서 98.1%로 손해가 1.1%p에 그쳤습니다. 전문가 프롬프트가 실제로 일하던 자리는 무엇을 뽑으라고 지시하는 대목이 아니라 실험 방법을 어떻게 읽을지 일러 주는 대목이었던 셈입니다.

여기서 나온 관찰 하나는 실무에 곧바로 걸립니다. 루브릭 점수 순위와 실제 추출 정확도 순위는 함께 움직이지 않았습니다. 두 순위의 상관은 약했고 통계적으로 유의하지도 않았습니다(스피어만 r=0.36, P=0.43). DeepSeek V4는 마스터 프롬프트 점수가 두 번째로 높았지만 추출 정확도는 다섯 번째였고, Opus 4.8은 프롬프트 점수 네 번째에 정확도는 두 번째였습니다.

세 번째 실험은 논문을 건네주지 않습니다. Deep Research 에이전트 일곱 종에게 2005년 이전에 나온 1차 문헌을 최대 스무 편까지 스스로 찾아 데이터까지 뽑으라고 지시하고, 이를 다섯 번 반복했습니다. 목표는 앞의 정답지, 즉 2006년 리뷰가 인용한 열아홉 편을 다시 모으는 것이었습니다.

인용 개수부터 갈렸습니다. Opus 4.8이 실행당 평균 20.6 ± 1.4편으로 가장 많이 가져왔고, 유일한 유럽 모델인 Mistral 3.5는 4.4 ± 1.6편으로 가장 적었습니다. 가져온 개수보다 중요한 것은 그 안에 원 출처가 몇 편이나 들어 있었는지였습니다.

가장 잘한 에이전트도 전문가가 추려 둔 참고문헌의 절반가량을 놓쳤습니다. 문헌탐색을 전담하도록 만들어진 Edison QA3도 예외가 아니었습니다. 접근성이 일부 설명해 주기는 하지만, 유료 논문 37%로 나머지 격차가 다 메워지지는 않습니다. 공개 접근 비율 자체가 에이전트마다 달라서, Edison QA3는 인용한 논문의 91%가 공개된 것이었고 GLM-5.2는 72%, Gemini 3.1 Pro는 67%였습니다.

같은 지시를 다섯 번 준 결과 사이의 폭도 넓었습니다. Opus 4.8은 실행마다 37~74%를 되찾았고, Gemini 3.1 Pro는 5~37%였습니다. 한 번 돌려 보고 문헌 목록이 모였다고 판단하기 어려운 폭입니다. 이 논문만의 결과도 아닙니다. 저자들이 인용한 클라크 연구진의 2025년 조사에서는 LLM 검색 워크플로가 관련 연구의 68~96%를 놓쳤고 항목의 4~31%를 잘못 뽑았습니다.

빠뜨리는 것보다 나쁜 문제도 있었습니다. 저자들이 모든 고유 인용을 하나씩 검증해 실제로 존재하고 정확한 것, 실제 논문이지만 저자나 연도나 저널이 틀린 것, 아예 존재하지 않는 것으로 나눴습니다. Qwen3.7-Plus는 고유 인용 60건 가운데 27건, 즉 45%가 존재하지 않는 논문이었고 오류 없이 검증된 것은 2건뿐이었습니다. GLM-5.2는 69건 중 20건이 지어낸 인용이었습니다. 나머지 다섯 에이전트는 환각 인용이 한 건도 없었습니다.

분량으로 품질을 짐작할 수도 없었습니다. Edison QA3는 평균 10,035 ± 2,466단어로 가장 긴 보고서를 냈고 한 번은 14,441단어까지 갔는데, 이는 Opus 4.8이나 GPT-5.5 보고서의 두 배가량입니다. 일곱 모델 전체에서 보고서 길이와 필드 정확도의 상관은 중간 수준에 머물렀습니다. 최종적으로 자율 탐색 보고서에서 뽑아낸 수치의 정확도는 Opus 4.8 39.9%, GPT-5.5 37.1%, Edison QA3 34.6%였고 어떤 모델도 단일 항목에서 60%를 넘지 못했습니다.

다만 무엇이 무너졌는지는 구분해 둘 필요가 있습니다. 에이전트가 실험 조건을 제대로 찾아내 친화도 값을 보고한 경우, 그 값은 대체로 정답에 가까웠습니다. 두 친화도 값 가운데 하나는 89%가, 다른 하나는 84%가 실제값의 두 배 이내에 들어왔습니다. 문제는 숫자를 읽는 능력이 아니라 읽을 문헌을 고르고 그 값이 어느 조건에서 나온 것인지 특정하는 앞 단계였습니다. 논문을 손에 쥐여 준 첫 실험과 스스로 찾게 한 이 실험 사이의 거리가 그대로 여기에 있습니다.

마지막 실험은 분야를 통째로 바꿉니다. 심장 생리학에서 뇌 오가노이드 연구로 옮겨, 오가노이드 정량분석의 표준 리포팅 가이드라인을 23개 판정 항목으로 만들었습니다. 일곱 모델이 각자 마스터 프롬프트를 쓴 뒤 논문 열 편을 다섯 번씩 판정했고, 같은 논문을 박사급 심사자 두 사람도 판정했습니다.

스물세 항목은 모든 방법에 공통으로 걸리는 것과 형태·계통, 전사체, 기능, 대사로 나뉩니다. 형태·계통 항목을 예로 들면, 분화 배치마다 오가노이드를 최소 서너 개에서 다섯 개까지 표본으로 삼아야 하고 이상적으로는 사전 실험과 검정력 분석으로 표본 수를 정해야 한다는 식입니다. 모델에는 항목마다 예 또는 아니오를 내되 그 판단의 근거가 된 원문 인용을 함께 붙이도록 했습니다.

먼저 눈에 띈 것은 정답지 쪽이었습니다. 두 심사자가 같은 판정을 내린 비율은 79.1%였고 20.9%에서는 서로 달랐습니다. 모델과 사람의 일치율은 심사자 1과 83.9%, 심사자 2와 78.2%로 평균 81.1%였습니다. 어느 심사자를 기준으로 삼느냐에 따라 같은 모델의 점수가 최대 7.8%p 움직였다는 뜻이기도 합니다.

불일치가 고르게 흩어져 있지도 않았습니다. 두 심사자의 합의율은 형태·계통 항목에서 86.7%, 전사체에서 85.0%였는데 기능 항목에서는 50.0%까지 내려갔습니다. 기능 항목은 갈리는 방향도 한쪽으로 쏠려서, 판정의 절반은 심사자 2가 보고됐다고 본 것을 심사자 1이 아니라고 본 경우였습니다. 전체 불일치의 66.7%는 스물세 항목 가운데 일곱 개에서 나온 것입니다. 어느 항목이 사람 사이에서도 갈리는지는 미리 알 수 있다는 뜻이고, 그렇다면 검토 시간을 어디에 쓸지도 미리 정할 수 있습니다.

같은 모델을 다섯 번 돌렸을 때 다섯 번 모두 같은 판정이 나온 비율은 GPT-5.5가 92.6 ± 7.7%p로 가장 높았고 Kimi K2.6이 87.8%, Opus 4.7이 87.0%로 뒤를 이었으며 Gemini 3.1 Pro가 81.7%로 가장 낮았습니다. 다섯 번 중 최소 한 번은 다른 답이 나온 판정이 18.3%에 이릅니다. 그런데 Gemini 3.1 Pro의 다섯 번 다수결 판정은 심사자 합의와 91.8%가 일치했습니다. 자기 자신과 얼마나 일관되는지와 사람 판정에 얼마나 가까운지는 서로 다른 것을 재고 있었습니다.

여기서 저자들은 실무자가 실제로 부딪히는 선택을 묻습니다. 모델을 여러 개 쓸 수 있을 때, 같은 모델에게 같은 판정을 여러 번 시켜야 하는가, 아니면 다른 모델들에게 시켜서 답을 모아야 하는가.

같은 모델에게 같은 판정을 반복시키는 쪽은 다섯 번을 채워도 89.2%에서 더 오르지 않았습니다. 반대로 서로 다른 모델의 답을 다수결로 모으면 세 개일 때 92.1%, 다섯 개일 때 93.3%가 됐습니다. 실행 횟수를 늘릴 예산이 같다면 그 예산을 한 모델에 몰아주기보다 여러 모델에 나눠 쓰는 편이 나았다는 결론입니다.

불일치 자체를 신호로 쓸 수 있다는 관찰이 이어집니다. 두 심사자가 합의한 사례만 모아 놓고 보면, 다섯 번의 판정이 5대 0으로 만장일치였을 때 심사자 합의와 93.2%가 일치했습니다. 4대 1로 갈리면 65.0%, 3대 2까지 가면 55.2%로 떨어집니다. 어느 답이 위태로운지를 모델들이 스스로 표시해 준 셈이고, 사람이 읽어야 할 목록을 여기서 뽑을 수 있습니다.

네 실험의 결과는 한 방향을 가리키지 않습니다. 사람이 기준을 잡아 준 첫 실험은 90%대로 잘 됐고, 프롬프트 작성을 모델에 맡긴 두 번째도 몇 %p 손해로 따라왔습니다. 그런데 문헌을 찾는 일까지 넘긴 세 번째에서는 절반이 사라졌고, 새 데이터셋을 만든 네 번째는 사람 심사자에 근접했지만 사람을 뺄 수는 없었습니다. 얼마나 많이 자동화했느냐보다 어느 일을 넘겼느냐가 결과를 갈랐습니다.

저자들이 결론에서 그리는 그림은 그래서 성능 순위표가 아니라 역할 분담표입니다. 전문가가 질문과 출처와 증거 기준을 정하고, 모델이 여러 시스템에 걸쳐 반복 추출을 수행하며, 사람의 검토는 판정이 갈리는 사례, 맥락이 중요한 사례, 영향이 큰 사례에 집중한다는 것입니다.

실무로 옮기면 규칙 몇 개로 줄어듭니다. 프롬프트마다 최소 다섯 번 돌리고 다섯 번의 다수결을 보고할 것, 실행 예산이 정해져 있으면 한 모델에 몰지 말고 모델을 바꿔 가며 쓸 것, 판정이 갈린 항목을 따로 모아 사람이 읽을 목록으로 만들 것, 그 출처가 애초에 이 질문에 맞는 자료인지는 사람이 먼저 확인할 것입니다. 네 가지 모두 이 논문의 실험에서 그대로 나왔고, 별도 도구 없이 브라우저에서 쓰는 모델만으로 확인된 것들입니다.

이 구조가 데이터 품질 쪽에서 의미 있는 이유는 사람의 시간을 아껴서가 아닙니다. 각 판정에 근거가 남기 때문입니다. 어떤 항목이 몇 대 몇으로 갈렸는지, 그래서 누가 무엇을 판정했는지가 기록으로 남으면, 완성된 데이터셋을 나중에 다시 열어 신뢰도가 낮은 구간을 골라낼 수 있습니다. 한 모델이 한 번에 만들어 낸 데이터셋에는 그 기록이 없습니다.

첫 실험에서 모델들이 2006년 리뷰의 오류를 찾아낸 대목도 같은 원리였습니다. 여러 모델이 같은 지점에서 정답지와 어긋났다는 사실 자체가 신호였습니다. 교차 검증은 모델 출력만 감사하는 장치가 아니라, 정답으로 삼아 온 기준까지 되짚는 장치가 됩니다.

페블러스 블로그에서는 닫힌 모델로 하는 과학의 재현성 문제도, 재현성을 1급 기능으로 삼은 과학 AI 워크벤치도 다룬 적이 있습니다. 이번 논문은 그 논의에 측정값을 더합니다. 논문 원문과 프롬프트·원자료·튜토리얼이 담긴 저장소는 arXiv 2608.19025와 GitHub 저장소에서 확인할 수 있습니다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 8월 22일

학술 논문

• 1.Romanov, V., Bax, M. & Niederer, S. A. (2026). "Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models." arXiv:2608.19025.
• 2.Niederer, S. A., Hunter, P. J. & Smith, N. P. (2006). "A Quantitative Analysis of Cardiac Myocyte Relaxation: A Simulation Study." Biophys. J. 90, 1697–1722. DOI: 10.1529/biophysj.105.069534.
• 3.Clark, J. et al. (2025). "Generative artificial intelligence use in evidence synthesis: A systematic review." Res. Synth. Methods 16, 601–619. DOI: 10.1017/rsm.2025.16.
• 4.Sandoval, S. O. et al. (2024). "Rigor and reproducibility in human brain organoid research: Where we are and where we need to go." Stem Cell Rep. 19, 796–816. DOI: 10.1016/j.stemcr.2024.04.008.

데이터·코드 공개

• 5.Romanov, V. (2026). "romanov-2026-llm-extraction." GitHub. 프롬프트·원자료·정제 데이터·튜토리얼 저장소.