Executive Summary

주요 수치

출처: Mostafa, A. 외 (2026), arXiv:2609.18583v2 · 누락 항목별 건수는 논문 Figure 5

논문 초록의 첫 문장이 이 연구가 붙잡은 문제를 그대로 말한다. 과학 문헌에는 수십 년치 실험 측정값이 들어 있지만, 지금의 AI와 데이터 기반 연구가 쓸 수 있는 구조화된 형태로 꺼내기는 여전히 어렵다. 정보가 한곳에 모여 있지 않다는 점이 어려움의 절반이다. 측정값은 그림에, 그 그림이 무엇을 잰 것인지는 캡션에, 시료를 어떻게 만들었는지는 본문에, 나머지 조건은 표에 흩어져 있다. 이 조각들을 찾아내고, 서로 이어 붙이고, 원문과 맞는지 확인한 다음에야 다시 쓸 수 있는 자료가 된다.

X선 회절은 그 어려움이 특히 두드러지는 분야다. 결정 구조를 확인하려고 찍은 회절 패턴은 대개 그래프 한 장으로 출판되고, 그 그래프를 만든 숫자 배열은 어디에도 공개되지 않는다. 논문을 읽는 사람은 봉우리의 위치를 눈으로 읽어 결론을 납득하지만, 기계는 픽셀 더미를 받을 뿐이다. 같은 물질을 다룬 논문이 수백 편 쌓여도 그 수백 편의 측정값을 한 표에 모을 방법이 없다.

문헌에서 데이터를 캐내려는 시도 자체는 오래됐다. 논문은 규칙과 자연어 처리에 기댄 OSCAR와 ChemDataExtractor를 초기 도구로 꼽는다. 뒤이어 MatScholar와 MaterialsBERT 같은 분야 특화 언어 모델이 나왔다. 최근에는 언어 모델에 도구 사용을 붙여 여러 번 오가며 정보를 캐는 nanoMINER와 DIVE 같은 에이전트 방식이 등장했다. 공통점이 있다. 대부분 본문 텍스트를 읽는 데 머물렀다는 점이다.

비슷한 목표를 내건 opXRD와 무엇이 다른지는 저자들이 직접 밝혔다. 그런 작업이 값진 실험 데이터 자원을 제공하지만, ERAF4XRD가 다루는 것은 기계가 읽을 수 있는 형태로 남아 있지 않은 채 문헌 안에 묻힌 X선 회절 데이터와 그 맥락을 되살리는 훨씬 큰 과제다. 한쪽은 이미 어딘가에 디지털로 존재하는 데이터를 모으는 일이고, 다른 한쪽은 종이에서만 존재하던 것을 다시 데이터로 만드는 일이다.

ERAF4XRD는 사람 손이 들어가지 않는 네 단계로 돌아간다. 각 단계가 무엇을 맡는지 알고 나면 뒤에 나올 수치의 의미가 달라진다.

2.1문서를 모으고 걸러 낸다

먼저 공개 접근과 CC 라이선스 논문을 API로 내려받는다. 지금 붙어 있는 출처는 arXiv와 엘스비어, 스프링거, 크로스레프 넷이다. 검색어는 원소와 기법을 묶는 방식으로 쓴다. 논문이 든 예를 그대로 옮기면 구리 관련 XRD 논문을 찾을 때는 Cu 또는 Copper이면서 X-ray diffraction 또는 XRD인 문서를 부른다.

내려받은 문서를 전부 읽으면 비용이 감당되지 않는다. 그래서 선별 에이전트가 관찰하고 추론하고 행동하는 고리를 돌면서 필요한 문서만 열어 본다. 문서 한 편에 허용된 고리는 기본 여섯 번이고, 여섯 번 안에 판단을 내리지 못하면 그 문서는 탈락한다. 더 촘촘히 봐야 하는 자료에서는 이 예산과 도구 목록을 늘릴 수 있다.

고리를 도는 이 방식이 정말 필요한지는 저자들이 따로 시험했다. 논문 35편에 두 방식을 다 돌린 결과, GPT-5.2는 고리를 도는 방식이든 한 번에 판단하는 방식이든 정확도가 97%로 같았고, 한 번에 판단할 때가 토큰과 비용을 크게 아꼈다. 작은 모델에서는 반대였다. GPT-4.1-nano는 고리 예산을 늘리자 77%에서 89%로 올랐다. 에이전트로 돌려서 얻는 것은 모델이 약할수록 컸다.

문서를 통째로 넣어야 하는지는 같은 35편이 답했다. XRD와 관련된 대목만 골라 넣었을 때가 97%, 논문 전체를 올렸을 때가 94%였다. 넣는 양을 늘렸더니 오히려 떨어졌다. 논문은 문헌 고찰과 참고문헌, 사사처럼 XRD와 무관한 텍스트가 판단 근거를 묽게 만들고 맥락 창을 잡아먹는다고 설명한다. 특히 고리를 여러 번 도는 방식에서는 근거를 모아 둘 자리가 필요해 이 문제가 커진다.

2.2그림을 찾아 값을 읽는다

PDF에서 그림을 꺼내는 데는 두 갈래를 함께 쓴다. 래스터 그림은 문서에 박힌 이미지 객체에서 바로 꺼내고, 벡터 그림은 그래프를 이루는 선과 점 같은 그리기 요소를 묶어 복원한다. 이렇게 모은 후보를 종류와 면적, 파일 크기, XRD 관련 문구와의 거리로 한 번 걸러 낸 다음 시각 인식이 가능한 모델에게 넘긴다.

여기서 나온 실험 결과 하나는 그대로 실무에 옮겨 쓸 수 있다. 그림을 고해상도로 잘라 낸 조각과 그 그림이 놓인 페이지 전체를 함께 보여 줬을 때 성능이 가장 높았다. 저자들은 두 입력이 서로 보완한다고 설명한다. 잘라 낸 조각은 그래프 자체의 생김새를 보여 주고, 페이지 전체는 그 그래프가 어떤 맥락에 놓였는지를 보여 준다. 둘 중 하나만 주면 판단이 나빠진다.

2.3흩어진 조건을 그림에 붙인다

본문과 표에 흩어진 조건을 정규표현식으로 후보만 뽑아 두고, 에이전트가 그중 어느 값이 어느 그림의 것인지를 판단해 연결한다. 논문이 든 예가 이 일의 성격을 보여 준다. 한 논문이 분말 회절에는 구리 Kα를 쓰고 단결정 측정에는 몰리브데넘 Kα1을 썼다고 적어 두었다면, 두 값 모두 그 논문에 실재한다. 어느 쪽이 어느 그림에 붙는지는 그림 주변의 맥락을 읽어야 갈린다. 저자들은 값 하나만 떼어 놓고 보면 맞는데 엉뚱한 그림에 붙이는 순간 그 기록에는 틀린 값이 된다고 경고한다.

남기기로 한 항목에는 근거가 된 원문 대목과 그 값이 어느 경로로 뽑혔는지가 함께 붙는다. 나중에 어느 값이든 원문까지 거슬러 올라갈 수 있게 하려는 설계다. 연결이 끝나면 에이전트가 남긴 흔적은 전부 지운다. 도구 호출 기록도, 모아 둔 근거도, 판단 기록도 다음 단계로 넘기지 않는다. 검증 에이전트가 앞 단계의 추론에 기대지 못하게 하려는 조치다.

2.4독립된 검증이 값마다 근거를 묻는다

마지막 단계는 두 겹이다. 한 겹은 검증 에이전트가 원문으로 되돌아가 근거를 다시 찾고, 항목마다 근거 있음과 근거 없음, 판단 보류 가운데 하나를 매기는 일이다. 이 에이전트에게 주어지는 도구 호출 예산은 항목 묶음마다 기본 열두 번으로, 문서를 걸러 내던 단계의 여섯 번보다 넉넉하다. 앞 단계와 다른 모델을 검증 자리에 세울 수도 있다.

다른 한 겹은 언어 모델을 쓰지 않는 결정론적 규칙이다. 이 규칙이 필요한 이유를 논문이 밝혀 두었다. 이 프레임워크는 원문에 적힌 것을 정답으로 삼기 때문에, 원문에서 제대로 옮겨 온 값이라도 결정학 규칙과는 어긋날 수 있다는 것이다. 점검하는 짝은 셋이다. 공간군과 결정계가 맞는지, 격자상수가 그 결정계에서 나올 수 있는 값인지, 방사선원과 파장이 짝이 맞는지를 본다. 입방정 공간군 Fm3̄m이 정방정계에 붙어 있거나 구리 Kα인데 파장이 0.7107 Å으로 적혀 있으면 걸린다. 규칙에 걸린 항목은 근거 있음에서 근거 없음으로 내려가고, 무엇이 어긋났는지가 사람이 볼 수 있게 기록된다.

벤치마크는 손으로 검수한 논문 273편이다. 여덟 개 하위 묶음으로 나뉘고 순금속부터 고엔트로피 합금, 알루미늄 합금, 몰리브데넘, 산화물까지 물질군이 섞여 있다. 여기서 뽑힌 후보 그림이 3,150개인데, 사람이 확인한 진짜 X선 회절 그림은 282개였다. 후보 열한 장에 한 장꼴이다. 저자들이 이 과제를 불균형 분류라고 부르는 이유가 여기 있다. 다만 이 비율은 묶음마다 크게 다르다. 크로스레프에서 모은 산화물 묶음은 후보 3.4장에 한 장이 진짜였고, arXiv에서 모은 철·구리 묶음은 52장에 한 장이었다. 열다섯 배 차이다. 어느 모델 하나가 모든 묶음에서 가장 좋지도 않았고, arXiv 철·구리 묶음은 네 모델 모두에게 어려웠다.

정확도 98.7%는 GPT-5.2가 낸 값이고, 클로드 소네트 4.5가 98.1%로 뒤를 이었다. 다만 이 숫자는 그대로 믿기에 후한 편이다. 후보의 열에 아홉이 XRD가 아닌 자료에서는 전부 아니라고 답해도 정확도가 90%를 넘는다. 그래서 논문은 맞게 답한 음성을 빼고 계산한 값도 함께 싣는다. GPT-5.2의 정밀도가 94.8%, 재현율이 90.8%, F1이 92.8%다. 그림을 고르는 단계에서 이미 열에 하나 가까이 놓친다. 제미나이 2.5 플래시는 재현율이 96.1%로 가장 높은 대신 정밀도가 79.7%였고, 그록 4.1은 정밀도가 73.3%로 가장 낮았다. 놓치지 않는 쪽으로 기울이면 잘못 넣는 값이 늘어난다.

모델을 새것으로 바꾸면 해결되는 문제도 아니었다. arXiv에서 모은 일반 묶음에서 GPT-5.2를 GPT-5.5로 올렸을 때 그림 식별 정확도는 95.9%에서 96.2%로 올랐다. 0.3%포인트다. 속도는 정확도 순서를 따라가지 않는다. 논문 한 편을 처리하는 데 클로드 소네트 4.5가 0.96분으로 가장 빨랐고, GPT-5.2가 1.29분, 제미나이 2.5 플래시가 1.72분, 그록 4.1이 2.10분이었다. 그런데 가장 빠른 클로드가 API 비용은 가장 비쌌다. 문헌 규모로 돌리는 작업에서 가장 크고 새로운 모델이 늘 정답은 아니라는 얘기다.

검증 단계가 실제로 무엇을 고쳤는지에 그 근거가 남아 있다. 벤치마크 273편 전체에서 처음 만들어진 값은 1,471개였고, 검증을 거친 뒤의 처리 내역은 다음과 같다.

제거된 71개를 쪼개 보면 이 단계가 무엇을 막았는지가 드러난다. 59개는 검증 에이전트가 걸러 냈다. 그중 44개는 원문에 아예 적혀 있지 않은 값, 즉 모델이 지어낸 값이었고, 11개는 엉뚱한 그림에 붙어 있었으며, 4개는 원문과 반대되는 값이었다. 나머지 12개는 언어 모델을 쓰지 않는 규칙이 잡았다. 방사선원과 파장이 어긋난 경우가 11개, 격자상수가 그 결정계와 맞지 않는 경우가 1개다. 지어낸 값 44개가 이 단계를 거치지 않았다면 그대로 데이터베이스에 들어갔을 것이다.

논문 밖의 기준도 끌어왔다. 벤치마크에서 무작위로 고른 논문 다섯 편에 대해, 공개 결정학 데이터베이스에 등록된 결정 정보 파일과 결정계·공간군·격자상수·화학식·단위포 분자 수·방사선원 여섯 항목을 대조했다. 채점 가능한 22개 항목 중 18개가 원문과 결정학 파일 양쪽 모두와 맞았다. 도면이 없어 판정이 애매한 한 건을 빼면 17개 중 16개다. 표본이 다섯 편뿐이라는 점은 저자들도 한계로 꼽았다.

최종 검증을 통과한 기록이 얼마나 쓸 만한지는 사람이 다시 채점했다. 출판물 47편에서 443개 항목을 뽑아 큐레이션한 정답과 하나씩 맞춰 봤다. 402개가 일치했고, 6개가 틀렸으며, 35개가 빠져 있었다. 원문에 근거가 없는 값은 나오지 않았다. 여기서 정밀도 98.5%와 재현율 90.7%가 나온다. 앞 절에서 본 1,400개와는 다른 표본이니 숫자를 섞으면 안 된다.

정밀도와 재현율이 말하는 바는 서로 다르다. 정밀도 98.5%는 이 시스템이 적어 낸 값을 믿어도 된다는 뜻이다. 재현율 90.7%는 있어야 할 값의 열에 하나가 비어 있다는 뜻이다. 비어 있다는 것은 틀린 값보다 안전해 보이지만, 그 빈칸이 어디에 생기느냐에 따라 얘기가 달라진다. 논문은 누락이 주로 격자상수와 방사선원, 파장, Wyckoff 위치, X선 밀도에서 일어났다고 보고하고, 항목별 건수까지 본문에 세어 두었다.

같은 그림에는 항목마다 채점 대상이 몇 개였는지도 함께 적혀 있다. 격자상수는 채점 대상 48개 가운데 10개가 빠져 다섯에 하나꼴이다. Wyckoff 위치는 8개 중 4개, X선 밀도는 6개 중 4개가 빠졌다. 절반과 셋에 둘이다. 건수로 줄을 세우면 격자상수가 맨 앞이지만, 비율로 세우면 논문에 드물게 등장하는 항목일수록 더 자주 비어 있었다. 어느 열을 믿어도 되는지를 묻는 사람에게는 비율로 센 줄이 필요하다.

반대로 거의 놓치지 않은 항목도 있다. 결정계와 온도, 사용한 소프트웨어, 참조한 데이터베이스, 스텝 크기, 봉우리 위치, 반치폭, 화학식량은 일치율이 100%에 가까웠다. 값이 있긴 한데 틀린 6건은 공간군과 공간군 번호, 방사선원, 파장, 밀러 지수, 스캔 범위에서 났다.

두 목록의 경계는 뚜렷하다. 잘 잡아내는 쪽은 그래프에서 바로 읽히거나 캡션에 붙어 다니는 정보다. 놓치는 쪽은 실험 조건에 속하는 정보다. 어떤 X선원을 썼고 파장이 얼마였는지, 격자상수가 얼마로 정련됐는지는 결과 그래프가 아니라 본문 어딘가 한 문장에 적혀 있기 마련이고, 그 한 문장을 찾지 못하면 빈칸으로 남는다. 결과는 남고 조건이 빠지는 셈이다.

모델 전체를 합치면 그림을 고르는 단계에서 XRD가 아닌 것을 XRD로 본 경우가 208건, 진짜 XRD를 놓친 경우가 92건이다. 잘못 넣는 쪽이 두 배 넘게 많다. 논문은 그 유형까지 분류해 두었다. 잘못 넣은 208건은 X선이 아닌 회절 패턴, 봉우리처럼 생긴 일반 그래프, 축과 범례를 잘못 읽은 경우, 회절처럼 보이는 2차원 지도 넷이다. 놓친 92건은 관행과 다른 표현 방식, 해상도가 낮은 그림, 지도 형태의 회절, PDF 자체의 구조 문제 넷이다.

실패의 생김새는 모델마다 다르다. 잘못 넣은 208건을 모델별로 갈라 보면 GPT-5.2가 14건으로 가장 적었고 그마저 한 범주에 몰려 있었다. 클로드 소네트 4.5는 33건이었는데 주로 축과 범례를 잘못 읽었다. 제미나이 2.5 플래시는 69건, 그록 4.1은 92건이 네 범주에 고루 흩어져 있었다. 놓친 92건에서는 순위가 뒤집힌다. 제미나이가 11건으로 가장 적고, 클로드와 GPT-5.2가 각 26건, 그록이 29건이다. 실패가 한 곳에 모여 있으면 그 자리만 사람이 지키면 되지만, 흩어져 있으면 전부를 봐야 한다.

이 프레임워크에서 가장 흥미로운 결정은 성능 수치가 아니라 설계 원칙에 있다. 논문은 근거가 확인된 정보와 검증된 데이터·항목 연결을 최대한의 완전성보다 앞에 둔다고 썼다. 남은 기록은 원문 근거가 확실한 것들로 채우고, 불확실하거나 뽑아내지 못한 정보는 근거 없는 기록을 들이는 대신 빈칸으로 남겨 둔다. 많이 채우기보다 믿을 수 있는 것만 채우기를 골랐다.

데이터 품질을 오래 다뤄 온 자리에서는 이 선택이 익숙하고도 드물다. 완성도 지표를 올리라는 압력은 어디서나 세다. 빈칸이 많은 데이터베이스는 미완성처럼 보이고, 값이 채워진 데이터베이스는 완성처럼 보인다. 그런데 근거 없이 채운 값은 나중에 구별되지 않는다. 지어낸 값 44개가 그대로 들어갔다면 그 44개는 남은 1,400개와 똑같은 모양으로 표에 앉아 있었을 것이다. 논문도 같은 이유를 든다. 정량 분석과 기계학습에 쓰려고 만든 실험 데이터베이스에서는 잘못된 기록 하나가 뒤따르는 과학적 결론까지 오염시킨다.

그래서 이 연구에서 실무가 가장 크게 건질 것은 98.5%라는 정밀도가 아니라 Figure 5라고 본다. 어느 항목이 자주 비는지를 세어 공개한 그림이다. 격자상수가 열 번 비었다는 사실을 알면 그 데이터베이스를 쓰는 사람은 격자상수 열에 무엇을 기대해야 할지 안다. 비어 있다는 것을 아는 빈칸과, 왜 비었는지 모르는 빈칸은 재사용 가능성에서 전혀 다른 물건이다. 과학 데이터의 재사용은 정밀도가 아니라 결손 지도를 갖고 있느냐에서 갈린다. 연구진은 벤치마크와 정답 데이터, 프레임워크 출력, 분석 시트를 제노도에 올리고 코드도 공개했다. 결손 지도를 내놓았다는 말은 다른 사람이 그 지도를 다시 그려 볼 수 있다는 뜻이기도 하다.

빠진 항목이 어디에 몰렸는지도 그냥 지나칠 일이 아니다. 격자상수와 방사선원, 파장, Wyckoff 위치는 그 측정을 다시 해 보거나 다른 측정과 나란히 놓으려 할 때 가장 먼저 필요한 값이다. 봉우리 위치는 잘 살아남고 그 봉우리를 만든 조건이 빠진다면, 만들어진 데이터베이스는 검색에는 쓸 만해도 재현에는 부족하다. 이것은 정확도의 문제가 아니라 데이터가 어느 쪽으로 기울어 있느냐의 문제다.

문헌에 묻힌 측정값을 되살리려는 팀이라면 다음 네 가지를 먼저 확인해 볼 만하다. 이 목록은 논문의 설계와 한계를 실무로 옮긴 페블러스의 정리다.

• 값을 만든 쪽과 검증하는 쪽이 갈라져 있는가. 같은 모델이 자기가 쓴 답을 채점한다면 근거 없는 값 0건 같은 수치는 나오기 어렵다.
• 항목별 누락률을 세어 두었는가. 전체 재현율 하나로는 어느 열을 믿을 수 있는지 알 수 없다.
• 기계가 잡아낼 수 있는 모순을 규칙으로 걸어 두었는가. 이 연구에서 규칙이 잡은 12건은 언어 모델이 놓친 것들이다.
• 빈칸과 0과 미측정을 구별해 적고 있는가. 셋이 같은 칸에 들어가면 나중에 되돌릴 방법이 없다.

여기까지 읽어 주셔서 감사하다. 이 글이 인용한 수치와 설계는 arXiv:2609.18583 원문에서 누구나 확인할 수 있다. 여러분의 조직에서는 문서에만 남아 있는 측정 기록을 어떤 방법으로 되살리고 계신지, 그리고 되살린 뒤 빈칸을 어떻게 표시하고 계신지 나눠 주시면 좋겠다.

• 1.Mostafa, A., Ratcliff, W., Billinge, S. J. L., Abdolrahim, N. (2026). "ERAF4xrd: A multimodal agentic framework for constructing validated experimental X-ray diffraction databases from scientific literature." arXiv:2609.18583v2.