Executive Summary

과학 AI 시대에도 학습을 시작하기 전 진짜 시간이 드는 일은 데이터가 쓸 만한지 확인하는 것이다. 그리고 그 확인의 기준은 분야마다 다르다. FAIR 원칙(찾을 수 있고, 접근 가능하고, 상호운용되고, 재사용 가능한)을 완벽히 지킨 데이터도 구조가 부족하거나 표현이 어긋나 있으면 AI 학습에는 여전히 못 쓴다. 이 글은 미국 국립연구소가 내놓은 자동 데이터 준비 프레임워크 REDI를 통해, '완전성·일관성·적합성'이라는 같은 이름의 기준이 도메인마다 전혀 다른 규칙으로 번역된다는 사실을 본다.

REDI는 기후·단백질체·재료·핵융합이라는 네 과학 도메인의 초대형 데이터를 슈퍼컴퓨터 위에서 자동으로 AI 학습용으로 바꾼다. 핵융합 시뮬레이션 데이터는 원본을 298배 압축한 정규화를 거치고, 단백질 데이터는 갭 토큰을 인덱스 21에 정확히 두어야 학습이 조용히 망가지지 않는다. 같은 파이프라인을 쓰지만 도메인마다 손대는 지점이 다르다. 다만 REDI 자신도 깊이 도메인에 특화된 변환은 아직 자동화하지 못한다고 인정한다.

페블러스 DataClinic이 이미지 데이터에서 해온 도메인 특화 진단이 국립 슈퍼컴퓨터급 과학 데이터로 확장될 때, 무엇이 그대로 통하고 무엇이 새로 필요한가. 스케일과 검증의 판정자, 이 둘이 갈리는 지점이다.

298×

핵융합 데이터 압축

XGC1 전자 밀도를 [0,1]로 정규화하며 원본 대비 298배 압축

인덱스 21

단백질 갭 토큰 위치

20으로 잘못 두면 학습이 오류 없이 조용히 손상된다

86%

핵융합 처리 시간의 수집 비중

병목 위치가 도메인마다 다르다 — 기후는 출력 단계 70%

레벨 3–5

도메인별 준비도 도달 위치

재료·기후는 5에 근접, 핵융합·생명과학은 3–4에 머문다

1

'AI-레디'는 분야마다 다른 말이다

모델 아키텍처가 화려해질수록 잊기 쉬운 사실이 하나 있다. 과학 AI 프로젝트에서 학습을 시작하기 전, 실제로 시간을 가장 많이 잡아먹는 일은 데이터가 쓸 만한 상태인지 확인하고 그 상태로 바꾸는 것이다. 이 작업이 지루하다는 이유로 자주 건너뛰거나 급하게 처리되지만, 여기서 어긋난 데이터는 아무리 좋은 모델을 얹어도 성능으로 되돌아온다.

미국 국립연구소 계열 연구진이 발표한 논문 "Automated Data Readiness for Scientific AI"는 여기서 한 가지 오해를 정면으로 반박한다. 데이터가 FAIR 원칙을 지켰다고 해서 AI에 준비된 것은 아니라는 것이다. FAIR 데이터도 구조가 부족하거나, 표현이 서로 어긋나 있거나, 피처 추출에 필요한 메타데이터가 없거나, 학습이 요구하는 형식과 맞지 않을 수 있다. 논문은 이 확장된 개념을 "AI를 위한 데이터 준비도(Data Readiness for AI)"라 부른다. 스키마 일관성, 피처 완전성, 이력(프로버넌스) 추적성, 거버넌스 제약, 그리고 도메인 기대치 대비 검증까지 포함하는 데이터 품질이다.

이 글의 중심 주장은 여기서 한 칸 더 들어간다. 완전성·일관성·적합성이라는 데이터 품질의 이름은 어느 분야에서나 같다. 그러나 그 이름이 실제로 가리키는 규칙은 도메인마다 전혀 다르다. 기후 데이터에서 '완전성'은 격자가 빈틈없이 정렬됐는가를 뜻하고, 유전체 데이터에서는 개인정보가 제대로 익명화됐는가를 뜻하며, 핵융합 데이터에서는 물리 법칙이 정밀도 범위 안에서 보존됐는가를 뜻한다. 같은 단어, 다른 잣대다.

2

REDI, 국립연구소가 만든 자동 점검 파이프라인

논문이 제안한 프레임워크의 이름은 REDI다. 초대형 과학 데이터셋을 AI 학습용으로 자동 변환하는 다섯 단계 파이프라인으로 구성된다. 수집(ingest) → 전처리(preprocess) → 변환(transform) → 구조화(structure) → 출력(output)의 순서를 따르며, 각 단계마다 재현과 배포를 위한 이력 계측이 내장돼 있다. 동반 도구 SetGo는 FAIR 준수와 카탈로그 발행을 자동화한다.

규모는 실험실 수준이 아니다. REDI는 Frontier급 슈퍼컴퓨터에서 100개 노드까지 거의 이상적인 병렬 확장을 달성했다. 목표는 단순한 성능이 아니라, 지금까지 연구자 개인의 스크립트 안에 갇혀 있던 데이터 준비 과정을 재현 가능하고 재사용 가능한 커뮤니티 자산으로 전환하는 것이다. 데이터를 준비하는 노하우 자체가 논문이나 코드처럼 공유되고 검증될 수 있게 하려는 시도다.

REDI의 핵심은 단계 이름은 네 도메인에서 동일하지만 각 단계 안에서 실제로 벌어지는 일은 도메인마다 완전히 다르다는 데 있다. 도메인 중립적인 뼈대에 도메인 특화 매개변수를 끼워 넣는 구조다. 그 차이는 다음 섹션의 실측 수치에서 또렷해진다.

REDI 파이프라인 — 단계 이름은 같고, 안은 다르다 수집 전처리 변환 구조화 출력 기후 (ClimaX) 0.94°×1.25° 리그리딩 균일 격자 정규화 핵융합 (XGC1) 전자 밀도 min-max 정규화, 298배 압축 단백질체 (OpenFold) MSA 서열 인코딩, 갭 토큰 인덱스 21 재료 (HydraGNN) 원자당 에너지 정규화, 6Å 반경 그래프 생성 다섯 단계의 이름과 순서는 도메인 중립적 뼈대다 — 그 안의 실제 변환은 도메인마다 다르다.
▲ REDI 파이프라인 다섯 단계(수집→전처리→변환→구조화→출력)는 네 도메인에서 이름이 같지만, 각 단계 안에서 실제로 벌어지는 변환은 도메인마다 다르다. | 페블러스 원본 도식 (논문 재해석)
3

같은 이름, 다른 잣대 — 네 도메인의 실측

REDI가 검증한 네 도메인은 기후과학(ClimaX), 단백질체학(OpenFold), 재료과학(HydraGNN), 핵융합(XGC1)이다. 여기에 개념적 전신 논문(Brewer 외, AI Magazine 2026)이 다룬 생명과학의 유전체 사례(Enformer, DNA 서열)를 나란히 놓으면 대비가 선명해진다. 아래 표는 각 도메인에서 '원본 데이터'가 'AI-준비 데이터'로 바뀌는 실제 변환과, 그 결과를 무엇으로 검증하는지를 정리한 것이다.

도메인 (사례) 핵심 변환 도메인 특화 검증 기준
기후 (ClimaX) 불균일 격자 0.94°×1.25°를 균일 격자로 리그리딩 + z-score 정규화 격자 정렬과 상관계수 — Pearson r ≥ 0.9999
유전체 (Enformer, DNA) DNA 서열 원핫 인코딩 + 타일 분할, 익명화 개인 식별정보(PHI/PII) 규제 준수와 포맷 정합성
단백질체 (OpenFold) MSA 깊이 보강(5,907 → 8,919 서열) + 서열 인코딩 갭 토큰을 인덱스 21에 정확히 배치 — 어긋나면 학습이 조용히 손상
재료 (HydraGNN) 에너지를 원자당 값으로 정규화(-4.76 eV/원자) + 6Å 반경 그래프 생성 에너지 보존 정밀도 — Pearson r = 1.000, 비물리적 구조 필터링
핵융합 (XGC1) 전자 밀도를 [0,1]로 min-max 정규화(298배 압축) + 3D 메시 투영 물리량 재구성 정밀도 — RMSE = 0.000

표의 두 번째 열을 세로로 읽어 보면 '완전성'이라는 하나의 기준이 얼마나 다르게 갈라지는지 드러난다. 기후에서 완전성은 지구 표면 격자에 빠진 좌표가 없는가의 문제다. 유전체에서는 결측 이전에 개인정보가 남지 않았는가가 먼저 걸린다. 규제를 통과하지 못한 데이터는 아무리 깨끗해도 학습에 올릴 수 없기 때문이다. 핵융합에서는 정규화 뒤에도 전자 밀도의 물리적 관계가 무너지지 않았는가를 소수점 정밀도로 따진다.

단백질체의 갭 토큰 사례는 도메인 특화 검증이 왜 자동화하기 어려운지를 압축해서 보여준다. 다중 서열 정렬에서 빈자리를 나타내는 갭 토큰은 인덱스 21에 놓여야 한다. 아미노산 20종을 세다 보면 무심코 20에 두기 쉽지만, 그렇게 하면 오류 메시지 하나 없이 모델이 잘못된 서열을 학습한다. 범용 데이터 검증 규칙으로는 절대 잡을 수 없는, 단백질 생물학을 아는 사람만 아는 함정이다.

4

병목마저 도메인마다 다른 곳에 있다

도메인 특수성은 검증 기준에서 끝나지 않는다. 데이터 준비에 드는 시간이 어느 단계에 쏠리는지조차 분야마다 다르다. REDI의 계측에 따르면 핵융합은 처리 시간의 86%를 데이터를 읽어 들이는 수집 단계에서, 재료는 73%를 같은 수집 단계에서 쓴다. 반면 기후는 시간의 70%가 결과를 저장하는 출력 단계에 몰린다. "어디를 최적화해야 하는가"라는 질문의 답이 도메인마다 다른 곳을 가리킨다. 이 병목의 상당 부분이 데이터 포맷과 입출력 방식에서 비롯되기 때문에, 논문은 알고리즘을 손대기 전에 포맷 선택이 도메인별 최적화의 첫 번째 지렛대가 된다고 짚는다.

이 관찰은 REDI의 개념적 전신 논문이 제시한 그림과 맞물린다. Brewer 외 연구진은 데이터 준비도를 다섯 레벨로 나눴다. 원시(Raw)에서 시작해 정제(Cleaned), 라벨링(Labeled), 피처 엔지니어링(Feature-engineered)을 거쳐 완전한 AI-준비(Fully AI-ready)에 이르는 척도다. 같은 척도를 대도, 도메인마다 지금 도달해 있는 위치가 다르다.

기후와 재료는 이미 레벨 4–5에 근접해 있다. 파이프라인 패턴이 잘 정립돼 있고 벤치마크 데이터셋도 풍부하기 때문이다. 반면 핵융합은 데이터가 희소하고 잡음이 많으며 접근이 제한돼 레벨 3–4에 머문다. 유전체를 포함한 생명과학은 규제 준수와 포맷 불일치라는 벽 때문에 레벨 3 수준이다. 논문의 표현을 빌리면, "준비도는 이분법이 아니라 스펙트럼"이다. AI-레디냐 아니냐를 예/아니오로 묻는 순간 이미 질문이 틀린 셈이다.

도메인별 데이터 준비도 — 같은 척도, 다른 위치 준비도 높음 → L1 원시 L2 정제 L3 라벨링 L4 피처화 L5 AI-준비 생명과학(유전체) 레벨 3 핵융합(XGC1) 레벨 3–4 재료(HydraGNN) 레벨 4–5 기후(ClimaX) 레벨 4–5
▲ 도메인별 데이터 준비도 위치. 기후·재료는 레벨 4–5에 근접해 있고, 핵융합·생명과학(유전체)은 레벨 3–4에 머문다 — 같은 척도라도 도달한 위치는 다르다. | 페블러스 원본 도식 (Brewer et al. 2026 재해석)
5

DataClinic이 이미 알던 것, 그리고 새로 배울 것

이 발상은 페블러스에게 낯설지 않다. DataClinic은 이미 134개 이미지 데이터셋, 1,200만 장을 진단하며 무결성·균형·픽셀 다양성·피처 분포·분리도라는 다섯 가지 신호를 설계해 ISO 5259 표준과 매핑했다. 이미지라는 도메인에 특화된 진단 항목을 따로 만든 것이다. REDI가 기후·핵융합·유전체에서 하려는 일과 발상이 같다. AI-레디는 범용 체크리스트 하나로 끝나지 않는다는 전제 위에 서 있다.

그렇다면 이미지 데이터에서 통하던 접근이 국립 슈퍼컴퓨터급 과학 데이터로 확장될 때 무엇이 같고 무엇이 달라질까. 같은 것은 도메인마다 진단 항목을 새로 설계해야 한다는 원칙이다. 달라지는 것은 두 가지다. 하나는 스케일이다. 기업 단위 데이터셋이 단일 서버나 클라우드에서 처리된다면, 과학 데이터는 100노드 병렬의 슈퍼컴퓨터를 요구한다. 다른 하나는 검증의 판정자다.

이미지 데이터에서는 픽셀 다양성처럼 사람의 시각적 판단이 신호에 들어간다. 그러나 과학 데이터에서는 물리 법칙 자체가 검증 기준이 된다. 에너지 보존, 정밀도 범위, 갭 토큰의 정확한 인덱스 같은 물리·생물학적 제약이 그렇다. 무엇이 맞는 데이터인가를 판정하는 것이 사람의 눈이 아니라 자연 법칙이라는 점이 본질적 차이다.

이 글은 앞선 글 "AI 준비도를 이제 AI가 채점한다"와 짝을 이룬다. 그 글이 준비도를 누가 채점하는가(사람 체크리스트에서 AI 에이전트로)를 다뤘다면, 이 글은 채점표 자체가 도메인마다 달라야 한다는 한 칸 앞선 질문을 던진다. 두 글을 이어 읽으면 채점 주체의 진화에서 채점 기준의 도메인 분화로 이어지는 흐름이 보인다.

마지막으로 정직하게 덧붙일 것이 있다. REDI 자신도 깊이 도메인에 특화된 변환 시퀀스는 아직 자동으로 처리하지 못한다고 밝힌다. 자동화가 일관성·이력·재현성에서는 분명한 성과를 냈지만, 갭 토큰을 21에 두어야 한다는 것을 아는 지식까지 대체하지는 못한다. 도메인 특수성을 구조에 심는 일은, 그래서 여전히 도메인 전문가의 자리를 남긴다. 데이터 준비의 자동화가 진짜로 확장되려면, 도메인 지식을 어떻게 코드로 옮겨 담을 것인가라는 질문에 계속 답해야 한다.

R

참고문헌