Executive Summary

과학 AI 논문은 모델 구조와 성능 지표로 채워지지만, 그 앞단에서 실제로 시간을 가장 많이 잡아먹은 일은 데이터를 학습에 올릴 수 있는 형태로 바꾸는 전처리다. 문제는 그 전처리가 대개 연구자 한 사람의 로컬 환경 안에서만 굴러갔다는 데 있다. 데이터를 어떤 순서로 내려받아, 어떻게 격자를 맞추고, 무엇을 정규화하고, 어떤 포맷으로 저장했는지는 논문에 실리지 않는다. 결과 숫자만 남고 그 숫자에 이르는 과정은 사라진다. 다음 사람은 같은 데이터를 붙잡고 처음부터 스크립트를 다시 짠다.

미국 오크리지 국립연구소 계열 연구진이 발표한 논문 "Automated Data Readiness for Scientific AI"는 이 소모전을 정면으로 겨눈다. 논문의 진단은 단순하다. 지금까지 자동 변환, 준비도 평가, 출처 추적, 에이전트 통합을 하나의 프레임워크로 묶은 사례가 없었다는 것이다. 각각을 따로 하는 도구는 있었지만, 데이터가 원본에서 학습 가능한 상태로 바뀌는 전 과정을 재현 가능하게 계측하며 흘려보내는 파이프라인은 비어 있었다.

그 빈자리를 메우려는 것이 REDI다. 초대형 과학 데이터셋을 AI 학습용으로 자동 변환하는 다섯 단계 파이프라인으로, 수집(ingest)에서 시작해 전처리(preprocess), 변환(transform), 구조화(structure)를 거쳐 출력(output)으로 끝난다. 풀어 놓으면 데이터를 내려받아(수집) 격자를 맞추고(전처리), 특성을 뽑아 정규화한 뒤(변환) 텐서나 그래프로 구조를 짜서(구조화) 학습용 포맷으로 저장하는(출력) 흐름이다. 각 단계는 하나의 PipelineStep 클래스로 캡슐화되고, 그 단계가 초기화될 때마다 이력을 남기는 계측이 자동으로 따라붙는다. 여기서 이 글이 파고들 질문이 나온다. 그 계측은 정확히 무엇을 남기고, 무엇을 가능하게 하는가.

REDI의 이력 계측은 Flowcept라는 프레임워크가 담당한다. 파이프라인의 각 PipelineStep이 초기화될 때 FlowceptTask가 하나 생성되고, 이 태스크가 그 단계의 실행 전후를 관찰한다. 데이터가 들어오기 전의 상태와 나간 뒤의 상태를 함께 붙잡아, 평균과 표준편차 같은 통계값이 어떻게 달라졌는지, 그 변환에 시간이 얼마나 걸렸는지를 기록한다. 사람이 로그를 심는 것이 아니라, 단계를 만들면 계측이 저절로 따라온다는 점이 핵심이다.

이렇게 쌓인 기록은 PROVENANCE_CARD.md라는 사람이 읽을 수 있는 문서로 자동 정리된다. 이 데이터가 어떤 단계를 어떤 순서로 거쳐 지금의 상태가 됐는지를 되짚을 수 있는 감사 추적 카드다. 원본 숫자만 남고 과정이 사라지던 세계에서, 과정 자체가 산출물로 남는 세계로 넘어가는 자리다. 누군가 여섯 달 뒤에 같은 데이터셋을 다시 열어도, 정규화가 어디서 어떤 계수로 걸렸는지를 카드에서 읽어 낼 수 있다.

계측이 남긴 것은 재현성만이 아니었다. 모든 단계의 실행 시간을 나란히 놓고 보니, 파이프라인 비용을 지배하는 것은 정규화나 인코딩 같은 계산이 아니라 파일을 읽고 쓰는 입출력이었다. 핵융합 시뮬레이션 데이터는 처리 시간의 86%를 데이터를 읽어 들이는 수집 단계에서 썼다. 그래서 논문은 알고리즘을 손대기 전에 저장 포맷 선택이 최적화의 첫 번째 지렛대라고 짚는다. 실제로 청크 배열 포맷인 Zarr는 낱개 배열을 통째로 저장하는 NPZ보다 병렬 접근에서 약 세 배 높은 처리량을 냈다. 이력을 남기는 습관이, 어디를 고쳐야 하는지를 알려 주는 지도를 부산물로 그려 준 것이다.

이력이 남는다는 것만으로는 아직 개인 스크립트를 벗어나지 못한다. 결정적인 한 걸음은 REDI가 이 파이프라인을 사람이 매번 새로 짜는 코드가 아니라 에이전트가 호출할 수 있는 스킬로 노출한 데 있다. 논문의 표현으로는 "프리빌트된 도메인 인식 변환 로직을 에이전트 호출 가능한 스킬로 노출한다". 구체적으로는 다섯 개의 운영 모드가 있고, 각각이 AI 에이전트가 프로그래밍적으로 부를 수 있는 단위다.

이 다섯 모드가 왜 중요한지는 discover 하나만 뜯어봐도 드러난다. 논문의 사례에서 discover는 TaiESM1 기후 모델의 CMIP6 데이터 32.94GB를 받아, 격자를 맞추는 xESMF 리그리딩을 추천하는 계획서를 내놓는다. 동시에 시간축을 섞으면 데이터 누수가 생긴다는 경고까지 붙인다. 사람이 매번 떠올려야 했던 도메인 함정을, 에이전트가 호출하는 표준 모드가 계획 단계에서 미리 짚어 주는 것이다. 실행(run)과 계획(discover)과 평가(assess)가 같은 인터페이스 위에 얹혀 있다는 점이, 스크립트를 손으로 다시 짜는 세계와 결정적으로 갈린다. 동반 도구 SetGo는 여기에 FAIR 준수 검증과 카탈로그 발행을 더한다.

3.1감지만 하던 도구들과 무엇이 다른가

전처리와 품질을 다루는 도구가 없던 것은 아니다. 다만 저마다 한쪽 조각만 쥐고 있었다. 아래는 논문이 관련 연구에서 짚은 도구들과 REDI의 자리를 나란히 놓은 것이다.

• • Great Expectations는 데이터 품질 문제를 감지하지만, 그 문제를 자동으로 변환해 고치지는 않는다.
• • AIDRIN은 준비도를 열다섯 개 차원으로 점수화하지만, 거기서 멈춘다. 채점만 하고 변환은 없다.
• • Nextflow·Snakemake는 워크플로를 잘 엮지만, NetCDF·HDF5·ADIOS2 같은 과학 데이터 포맷을 다루는 손은 약하다.
• • MLflow는 모델 하이퍼파라미터와 지표를 추적하지만, 데이터가 어떤 상태에서 어떤 상태로 바뀌었는지 그 변환 자체는 기록하지 않는다.

지금까지의 조각을 합치면 전환의 윤곽이 잡힌다. 전처리 과정이 계측되어 이력으로 남고(재현), 그 이력이 사람이 읽는 카드로 정리되며(감사), 파이프라인 전체가 에이전트가 부르는 표준 모드로 노출된다(재사용). 이 세 가지가 함께 성립할 때, 데이터를 준비하는 노하우는 개인의 노트북에서 나와 논문이나 코드처럼 공유되고 검증되는 자산이 된다. 매번 새로 짜는 소모전이 아니라, 계보가 이어지는 인프라다.

이 전환은 슈퍼컴 스케일에서도 무너지지 않았다. REDI는 20에서 800 워커까지 늘려도 병렬 효율이 0.95 이상을 유지했고, 변환의 정확도는 단백질 데이터에서 상관계수 1.000에 이르렀다. 규모를 키운다고 이력과 재현성이 흐트러지지 않는다는 것을 실측으로 보인 것이다. 물론 정직하게 남겨 둘 한계도 있다. REDI 스스로 깊이 도메인에 특화된 변환 시퀀스는 아직 자동으로 처리하지 못한다고 밝힌다. 무엇을 어떤 순서로 변환해야 하는지 아는 도메인 지식은 여전히 사람의 몫이고, 자동화가 잘하는 것은 그 지식이 남긴 과정을 빠짐없이 기록하고 재현하는 일이다.

이 문제의식은 페블러스가 데이터를 다뤄 온 방식과 곧장 만난다. DataClinic이 데이터셋을 진단하며 지향해 온 방향도, 정제의 결과만이 아니라 그 정제가 어디서 어떻게 이뤄졌는지를 감사 가능한 이력으로 남기는 것이었다. REDI의 provenance 계측은 그 지향을 국립 슈퍼컴퓨터급 과학 데이터 위에서 구현한 한 사례로 읽힌다. 누가 데이터를 채점하는가라는 인접한 질문은 앞선 글 AI 준비도를 이제 AI가 채점한다가 다뤘다. 그 글이 채점의 주체를 물었다면, 이 글은 준비 과정 자체가 어떻게 흔적을 남기는가를 물었다. 채점표를 손에 쥐기 전에, 데이터가 지나온 길이 먼저 남아 있어야 한다는 것이 두 글을 잇는 실이다.

• 1.Wilkinson, S. R. et al. (2026). "Automated Data Readiness for Scientific AI." arXiv:2607.02771.
• 2.Brewer, W. et al. (2026). "Data Readiness Pipeline Patterns for Scientific AI at Scale." AI Magazine, Wiley. DOI 10.1002/aaai.70056.
• 3.Hiniduma, K. et al. (2025). "Data Readiness for AI: A 360-Degree Survey." ACM Computing Surveys.