Executive Summary
데이터를 저장소에 예치하는 것과 그 데이터가 AI 학습에 쓰이는 것 사이에는 건너뛸 수 없는 공정(工程)이 있다. "공개하면 재사용된다"는 순진한 개방 담론은 이미 실측 앞에서 무너졌다. 조사 대상 저장소의 상당수가 FAIR의 재사용성 요건조차 채우지 못했고, 정작 연구자들의 FAIR 인지도는 94.7%에 이른다. 문제는 "몰라서"가 아니라 예치와 학습 가능 사이의 공정이 자동화돼 있지 않아서다. 이 리포트는 그 공정을 무엇을, 어떤 표준으로, 어떻게 측정하고, 누가 책임지는가로 답한다.
그 공정은 이제 개념이 아니라 표준으로 존재한다. 발견을 담당하는 메타데이터 위에 ML 학습용 메타데이터 표준 Croissant가 얹혔고, 데이터 품질은 ISO/IEC 5259 시리즈가 완전성·정확성·대표성·라벨 신뢰도를 감사 가능한 지표로 규정했다. 그래서 이 글의 한 축은 FAIR가 하한선이고 AI-Ready는 그 위에 품질·라벨·대표성·기계 로딩·계보를 더한 상위 조건이라는 구분이다. 측정되지 않은 품질이 얼마나 위험한지는 한 숫자가 말해 준다. 주요 ML 벤치마크의 테스트셋조차 평균 3.3%의 라벨이 틀려 있었고, 이를 바로잡자 모델 성능 순위가 뒤집혔다.
2027년 5월 국가연구데이터법 시행을 앞둔 지금, 국제 선도 저장소는 예치 시점의 검증·ML 메타 노출·품질 계측을 이미 파이프라인에 내장했다. 반면 국내 DataON을 포함한 다수 국가 저장소는 발견 계층만 자동화하고 자동 검증·ML 학습 메타·품질 계측·큐레이션 자동화 네 지점이 비어 있다. 이 빈칸을 채우는 것이 과제이며, 그 규모는 사람 수작업으로 감당할 수 없어 자동 품질 진단과 큐레이션이 전제가 된다.
3.3%
벤치마크 라벨 오류
10대 ML 벤치마크 테스트셋 평균 — 최대 QuickDraw는 10.12%
11%
FAIR 전 요소 충족
인지도는 94.7% — 아는 것과 실행하는 것의 격차
70만+
Croissant 데이터셋
ML 학습 계층 표준이 이미 웹 전역으로 확산(2026-02)
4곳
DataON의 빈칸
자동 검증·ML 메타·품질 계측·큐레이션 자동화가 미도입
저장했다고 학습되는 게 아니다
장면 하나를 떠올려 보자. 한 연구팀이 3년간 측정한 실험 데이터를 국가 저장소에 올렸다. DOI가 발급됐고, 라이선스도 붙었고, 검색하면 잘 나온다. 서류상으로는 "공개된 연구데이터"다. 그런데 몇 달 뒤 다른 팀이 이 데이터로 모델을 학습시키려다 손을 든다. 컬럼 이름이 var1, var2, var3이고 단위가 어디에도 적혀 있지 않다. 결측값이 빈칸인지 0인지 -999인지 알 수 없고, 라벨이 무엇을 뜻하는지 설명한 코드북은 저자 노트북 어딘가에 있다. 저장은 됐지만 학습은 안 된다. 이것이 이 리포트의 출발점이다.
이런 단절은 예외가 아니라 규칙에 가깝다. "공개하면 재사용된다"는 개방 담론의 낙관은 실측 앞에서 이미 무너졌다. 조사에 따르면 저장소의 38%가 FAIR의 재사용성(R1) 요건을 충족하지 못했고, 메타데이터가 모호해 해석이 어려운 경우가 30%에 이른다. 유전자발현 데이터베이스 GEO의 25만 개 샘플 중 완전한 메타데이터를 공유한 것은 11.5%뿐이었다. 더 뼈아픈 것은 인식과 실행의 격차다. 연구자의 FAIR 인지도는 94.7%로 거의 포화 상태인데, 정작 FAIR의 전 요소를 충족한 비율은 11%, 기관의 지원 인력이 있는 경우는 23.8%에 그친다. 문제는 몰라서가 아니라 예치와 학습 가능 사이의 공정이 자동화돼 있지 않아서다.
그 공정에서 무엇이 빠지면 학습이 막히는지는 몇 가지 전형적인 실패 모드로 정리된다. 아래는 "저장은 됐는데 학습은 안 되는" 데이터에서 반복적으로 발견되는 다섯 가지 결함이다.
- ·기계 판독 스키마의 부재: 컬럼 타입·단위·의미·코드북이 사람 메모로만 존재해, 코드가 자동으로 해석할 수 없다.
- ·라벨 규약의 불일치: 어느 필드가 정답 라벨인지, 라벨링을 누가 어떤 기준으로 했는지가 문서화·계측되지 않는다.
- ·계보 단절: 원천 데이터가 어떤 전처리를 거쳐 이 파일이 됐는지 추적할 수 없어, 재현도 감사도 불가능하다.
- ·학습 이용 권리의 공백: 재배포는 되지만 AI 학습에 써도 되는지, 개인정보·보안 예외는 어떻게 처리되는지가 명시돼 있지 않다.
- ·대표성·품질의 미계측: 이 데이터가 대상 모집단을 얼마나 대표하는지, 결측·이상치가 얼마나 있는지가 숫자로 남아 있지 않다.
1.1FAIR를 통과해도 학습은 못 한다
여기서 흔한 오해를 짚어야 한다. "FAIR 원칙만 지키면 재사용은 해결된 것 아닌가?" FAIR(Findable·Accessible·Interoperable·Reusable, Wilkinson 외 2016)는 데이터가 찾아지고, 접근되고, 상호운용되고, 재사용되도록 하는 15개 원칙이다. 애초부터 사람이 읽는 문서가 아니라 기계가 실행하는 메타데이터를 겨냥한, 훌륭한 하한선이다. 문제는 FAIR가 원칙이지 표준·명세가 아니라는 데 있다. 특히 재사용성 원칙 R1은 "메타데이터를 풍부하게 기술하라"고 요구할 뿐, ML 학습에 필요한 구체 조건 즉 필드 스키마, 라벨 신뢰도, 대표성, train/test split, 정량 품질 계측을 규정하지 않는다.
그래서 앞의 var1, var2 CSV도 PID와 라이선스, 최소 메타데이터만 갖추면 FAIR를 형식적으로 통과할 수 있다. 그래도 학습은 여전히 불가능하다. FAIR는 "찾고 재사용하기 위한 하한선"이고, AI-Ready는 그 위에 품질 계측·라벨 신뢰도·대표성·기계 로딩 명세·계보를 더한 상위 조건이다. 이 둘을 구분하지 못하면 "FAIR한데 학습 불가"한 데이터가 저장소에 계속 쌓인다.
1.2준비도는 태스크마다 다르다
"AI-Ready"를 하나의 스위치처럼 켜고 끄는 상태로 보면 오해가 생긴다. 닐 로런스가 제안한 데이터 준비도 레벨(Data Readiness Levels, 2017)은 이 오해를 정확히 교정한다. 기술 성숙도를 재는 TRL처럼, 데이터의 성숙도를 접근성·유효성·유용성이라는 세 밴드로 나눠 이야기하자는 틀이다.
준비도 레벨의 가장 중요한 통찰은 유효성(B)에서 유용성(A)으로의 전이가 "데이터에 질문을 던지는 순간"에 결정된다는 점이다. 같은 데이터가 어떤 태스크에는 A급이고 다른 태스크에는 B급일 수 있다. 그래서 "범용 AI-Ready"라는 말은 절반만 맞다. 정확히는 "이 학습 태스크에 대한 준비도"를 물어야 하고, 그 물음에 답하려면 다음 장부터 다룰 표준·품질 계측·계보가 데이터에 새겨져 있어야 한다.
기계가 찾고 읽게 만드는 메타데이터
1장의 실패 모드는 대부분 메타데이터 하나로 수렴한다. 그런데 메타데이터라고 다 같은 게 아니다. 성격이 전혀 다른 두 종류를 반드시 나눠야 한다. 하나는 데이터를 찾게 하는 발견용 메타데이터, 다른 하나는 코드가 데이터를 바로 적재해 학습하게 하는 ML 학습용 메타데이터다. 대부분의 국가 저장소는 앞의 것만 갖추고 뒤의 것은 비워 둔다. 이 이중 구조를 이해하는 것이 공정의 핵심이다.
발견 계층은 이미 성숙했다. DataCite의 DOI, schema.org/Dataset 마크업, DCAT 같은 표준이 "이 데이터셋이 존재하고 어디 있으며 누가 만들었는가"를 알려준다. Google Dataset Search가 이 마크업을 크롤링해 웹 전역 데이터셋을 색인한다. 하지만 이 계층은 "무엇이 어디 있나"까지만 말한다. 각 컬럼의 타입과 단위, 어느 필드가 라벨인지, train/test split이 무엇인지 같은 ML이 코드로 적재하기 위한 정보는 담을 자리가 없다. 그래서 메타데이터가 완비된 연구데이터도 ML 엔지니어가 매번 손으로 파싱 코드를 짜야 한다.
이 간극을 메우는 것이 MLCommons와 Google이 2024년 발표한 Croissant다. schema.org/Dataset을 확장해, 데이터셋을 기계가 발견할 뿐 아니라 ML 프레임워크가 바로 적재할 수 있게 만드는 표준 메타데이터 어휘다. 아래 도식은 두 계층이 어떻게 포개지는지 보여준다.
이 표준이 종이 위 이상론이 아니라는 증거는 채택 규모다. 2024년 출시 시점에 이미 40만 개 이상의 데이터셋이 Croissant 형태였고, 2026년 2월 1.1 버전 기준으로는 70만 개를 넘어섰다. Hugging Face·Kaggle·OpenML·Harvard Dataverse가 채택했고, Google Dataset Search는 Croissant 데이터셋만 걸러내는 필터를 제공한다. 특히 Hugging Face는 모든 데이터셋에 대해 /croissant 엔드포인트로 Croissant JSON-LD를 자동 생성한다. 예치자가 아무 추가 작업을 하지 않아도 ML 학습 메타가 기계 판독 형태로 노출된다는 뜻이다. 발견(schema.org/Dataset)에서 학습(Croissant)으로 이어지는 이중 메타 계층은 이미 산업 표준으로 굳었다.
2.1문서화는 있는데, 읽히지 않는다
메타데이터의 또 다른 축은 사람이 판단하기 위한 문서화다. 이 계보는 명확하다. 기브루 연구팀의 데이터시트(Datasheets for Datasets, 2018)는 전자부품 데이터시트에 착안해, 데이터셋 생성자가 동기·구성·수집·전처리·용도·배포·유지보수라는 생애주기 7단계에 답하는 질문지를 제안했다. 구글의 데이터 카드(Data Cards, 2022)는 여기서 한 걸음 더 나아가, 소비자가 데이터셋을 일관되게 비교·판단할 수 있는 제품화된 투명성 아티팩트를 지향한다.
문제는 실행이다. 대형 조직조차 데이터시트를 형식만 갖춘 "런치 게이트 서류"로 만들어 아무도 읽지 않는 경우가 관찰되고, 소규모 조직은 아예 생략한다. 무엇을 기록할지는 표준이 정해 줬지만, 그것을 실제로 채우고 검증하는 일은 여전히 사람 몫으로 남아 있다. 이 "읽히지 않는 서류" 문제가 뒤에서 다룰 문서화 자동화의 복선이다.
2.2DataON은 발견 계층만 갖췄다
국내로 시선을 돌리면 격차가 선명해진다. 국가연구데이터플랫폼 DataON의 「메타데이터 설계지침서」는 Dublin Core, DataCite 4.1, DDI, ISO 19115, re3data 스키마 등 국제 표준을 폭넓게 참조한다. 메타데이터는 컬렉션·데이터셋·파일·저장소 4계층으로 구조화되고, 각 필드는 필수·권장·선택 3단계로 규정되며, DOI·Handle·URI 중 하나를 발행 데이터셋에 의무화한다. 발견 계층만 놓고 보면 국제 관행에 근접한다.
그러나 설계지침서 어디에도 Croissant 같은 ML 학습 메타, 자동 스키마 검증, 품질 계측, 계보 기록에 대한 요구는 없다. 큐레이션은 "출판 후 지속적으로 진행하여 품질을 보장하도록 안내"하는 수준의 권고이자 수동 프로세스일 뿐, 자동 검증 파이프라인이 아니다. 국제 저장소가 "자동"으로 하는 일을 DataON은 "권고·수동"으로 두고 있다는 것 — 이 대비가 이 리포트가 반복해서 되짚을 격차의 출발점이다.
품질을 숫자로 만든다
"데이터 품질이 좋다"는 말은 오랫동안 정성적 담론이었다. 좋다·나쁘다를 누가 어떤 기준으로 판단하느냐가 사람마다 달랐다. 이 담론을 감사 가능한 숫자로 바꾼 것이 2024년부터 2026년까지 완성된 ISO/IEC 5259 시리즈다. 정식 명칭은 "인공지능 — 분석 및 기계학습을 위한 데이터 품질"로, 안전하고 신뢰할 수 있는 ML을 위해 충분히 고품질인 데이터를 통제·생산·전달하는 표준화된 접근을 규정한다.
시리즈는 여섯 개 문서로 구성된다. 1부(용어), 2부(측정), 3부(관리 요구), 4부(프로세스), 5부(거버넌스)는 정식 국제표준(IS)이고, 2026년 5월 발간된 6부(시각화)는 기술 보고서(TR)다. 흔히 "5259는 파트가 몇 개"라는 식으로 소개되지만 중요한 건 개수가 아니라, 이제 막 완성된 이 표준군이 데이터 품질을 측정·거버넌스·시각화의 전 주기로 다룬다는 점이다. 이 시리즈의 기반에는 데이터 품질 일반의 국제표준 ISO 8000이 있고, 2부가 그 위에 AI/ML 특화 측정 차원을 정의한다.
핵심은 2부가 정의한 정량 품질 차원이다. 아래 표는 각 차원이 무엇을 재고, 어떻게 측정하며, 자동화가 얼마나 가능한지를 정리한 것이다. 자동화 가능성 열이 중요한 이유는 5장에서 드러난다. 대부분의 차원이 이미 오픈소스 도구로 자동 계측된다.
| 품질 차원 | 무엇을 재는가 | 측정 방법 | 자동화 |
|---|---|---|---|
| 완전성 | 필요한 값이 결측 없이 채워졌는가 | 결측률·필수 필드 충족률 | 높음 (프로파일러) |
| 정확성 | 값이 참값과 일치하는가 | 기준값 대조·범위 검증 | 중간 (기준 필요) |
| 일관성 | 단위·코드·형식에 모순이 없는가 | 스키마·제약 규칙 검증 | 높음 (스키마 검증) |
| 최신성 | 현재 상태를 반영하는가 | 갱신일·시점 메타 검사 | 높음 |
| 대표성 | 대상 모집단·태스크를 대표하는가 | 분포 비교·편향 진단 | 중간 (기준 분포 필요) |
| 라벨 신뢰도 | 주석·라벨이 정확·일관적인가 | 교차검증·합의도·재라벨링 | 중간 (ML 특유) |
이 차원들이 왜 선택이 아니라 전제인지는 라벨 신뢰도 하나만 봐도 충분하다. 노스컷 연구팀(2021)이 널리 쓰이는 10대 ML 벤치마크의 테스트셋을 감사했더니, 평균 3.3%의 라벨이 틀려 있었다. 정답으로 삼아 온 데이터 자체가 틀렸던 것이다. 개별 벤치마크로 보면 편차가 더 크다.
"측정되지 않으면 관리되지 않는다"는 원칙에는 경제적 근거도 붙는다. Gartner는 저품질 데이터의 비용을 조직당 연 평균 1,290만 달러로 추산하고, 2027년까지 조직의 70%가 현대적 데이터 품질 솔루션을 채택할 것으로 전망한다. 품질 계측은 규제 대응을 넘어 비용의 문제다.
3.1이미 자동으로 잰다
다행히 이 차원들은 대부분 이미 오픈소스로 자동 계측된다. Frictionless는 Table Schema와 Data Package 패턴으로 예치 시점에 타입 캐스팅 실패·필수 필드 결측·고유성 위반을 자동 검출하고 통합 검증 리포트를 낸다. Great Expectations는 데이터를 단위 테스트하듯 검증하고, 그 결과를 "무엇을 왜 검사했는지" 사람이 읽는 HTML 문서(Data Docs)로 자동 생성한다. Soda의 SodaCL은 missing_count(col) = 0 같은 체크를 평문에 가깝게 선언하게 하고, 4.0부터는 AI 기반 실시간 이상탐지로 프로덕션 데이터를 지속 감시한다. 이 셋을 dbt·데이터 카탈로그와 상보적으로 조합하는 패턴이 이미 정착돼 있다.
핵심은 도구가 없어서 품질을 못 재는 게 아니라는 것이다. 완전성·일관성·최신성은 사실상 완전 자동, 정확성·대표성·라벨 신뢰도는 기준값이나 기준 분포만 있으면 자동에 근접한다. 표준(ISO 5259)이 무엇을 재야 하는지 규정했고, 도구(Frictionless·GX·Soda)가 그것을 잰다. 남은 문제는 이 계측을 예치 시점 파이프라인에 넣느냐 마느냐의 선택뿐이다.
계보·재현성·권리
품질을 숫자로 쟀다 해도, 그 데이터가 어디서 왔고 어떻게 변했는지 모르면 결과를 재현할 수도 감사할 수도 없다. 계보(provenance)와 재현성이 선택이 아니라 전제인 이유다. 그리고 학습에 쓸 권리가 명확하지 않으면 아무리 좋은 데이터도 법적으로 만질 수 없다. 이 장은 공정의 마지막 세 축 — 계보, 재현성, 권리 — 을 다룬다.
4.1어디서 왔는지 추적한다 — PROV와 PID
계보 기록의 표준은 W3C PROV다. 데이터를 생산하는 데 관여한 세 요소 — 산출물인 Entity, 생성·변환 과정인 Activity, 그 활동을 수행한 사람이나 소프트웨어인 Agent — 를 그래프로 엮는다. "이 데이터는 무엇에서 파생됐고(wasDerivedFrom), 어떤 과정으로 생성됐으며(wasGeneratedBy), 누구에게 귀속되는가(wasAttributedTo)"를 기계가 읽을 수 있는 방향성 비순환 그래프로 남긴다. 앞서 본 Croissant도 계보와 이용 허가를 이 PROV 온톨로지 위에서 표현한다 — 계보 표준이 ML 메타 표준으로 흘러든 지점이다.
계보 그래프의 노드를 고정하는 것이 영속 식별자(PID)다. DataCite가 발급하는 DOI는 위치가 바뀌어도 변하지 않아, 데이터·논문·사람(ORCID)·기관(ROR)을 하나의 PID 그래프로 잇는다. "이 데이터가 무엇에서 파생됐고 무엇에 쓰였나"를 추적하는 실무 인프라가 이렇게 완성된다.
4.2재현되지 않으면 과학이 아니다
계보가 끊기면 재현이 무너진다. 그리고 재현성 위기는 이미 수치로 확인된 현실이다. 카푸어와 나라야난(Princeton)은 17개 분야에서 최소 294편의 논문이 데이터 누출(data leakage)로 과대낙관된 결론을 냈음을 밝히고, train/test 오염·시계열 누출·분할 전 전처리 적용 등 8종의 누출 유형을 분류했다. 별도 조사에서 ML 논문의 재현 가능 비율은 약 63.5%에 그쳤고, NLP 분야에서 결과가 정확히 일치한 경우는 14.03%에 불과했다. 데이터-코드-환경이 결속되고 split이 명시되지 않으면 재현도 감사도 불가능하다는 것을, 이 숫자들이 증명한다. 파이누 연구팀이 NeurIPS에 도입한 ML 재현성 체크리스트가 train/val/test split과 하이퍼파라미터 범위를 필수 항목으로 못 박은 이유다.
4.3권리는 문서가 아니라 기능으로
마지막 축은 권리다. 연구데이터에는 개인정보·보안·저작권이 얽혀 있어, 학습에 써도 되는지가 명확하지 않으면 아무것도 시작할 수 없다. 선도 인프라의 방향은 분명하다. 권리·개인정보·학습 이용 조건을 "문서"가 아니라 "파이프라인 기능"으로 처리한다. Hugging Face의 gated datasets는 접근 신청 폼(extra_gated_fields)을 정의하고 자동·수동 승인을 선택하게 하며, EU 사용자 차단 같은 지역 제한을 걸고, 승인을 API로 프로그래밍 자동화한다. 미국 Genesis Mission은 국가 스케일 데이터 파이프라인에서 보안 등급·분류·공급망 보안을 1급 요구사항으로 두고 합성데이터 보강까지 포함한다. 권리가 시스템으로 강제되는 것이다.
국가연구데이터법의 시행령과 하위지침이 실무에서 못 박아야 할 쟁점도 여기서 나온다. 아래는 문서가 아니라 파이프라인 기능으로 규정돼야 할 항목들이다.
- ·학습 이용 라이선스의 기계 판독화: AI 학습·재배포 허용 여부를 사람이 읽는 문장이 아니라 기계가 파싱하는 라이선스 필드로.
- ·개인정보·보안 예외의 게이팅: 민감 데이터는 접근 신청·승인·지역 제한을 시스템 기능으로 강제.
- ·계보·버전의 의무 기록: 전처리·파생 이력과 버전별 식별자를 예치 시점부터 자동 기록.
- ·재현 번들의 요구: 데이터-코드-환경-split을 하나의 재현 가능한 단위로 묶도록 규정.
AI-Ready 국가 저장소의 청사진
지금까지의 이야기는 하나의 파이프라인으로 모인다. 예치된 데이터가 학습 자산이 되기까지는 검증·표준화·계보기록·게이팅·큐레이션이라는 단계를 거쳐야 하고, 각 단계에는 이미 검증된 실존 도구가 있다. 발명이 필요한 게 아니라 조립이 필요하다. 아래는 국제 선도 플랫폼이 실제로 구현한 파이프라인을 단계별로 매핑한 참조 아키텍처다.
5.1DataON은 어디가 비었나
이 참조 아키텍처에 DataON을 겹쳐 보면 갭이 정확히 드러난다. 아래 표는 각 공정 단계에서 국제 선도 저장소가 자동으로 하는 일과, DataON의 현재 위치를 대조한 것이다. DataON의 총 등록·연계 건수는 반기 수집·증감 구조 때문에 스냅샷 수치의 신뢰도가 낮아 인용하지 않고, 운영 모델과 기능 유무로만 비교한다.
| 공정 단계 | 국제 선도 저장소 (자동/수동) | 대표 도구·표준 | DataON의 위치 |
|---|---|---|---|
| ① 예치 시 스키마·파일 검증 | 타입·결측·고유성 자동 검출 | Frictionless, GX, Soda | 수동 권고 (갭) |
| ② 발견용 메타 (Findable) | DOI·schema.org 자동 생성 | DataCite, DCAT, re3data | 갖춤 |
| ③ ML 학습용 메타 | Croissant 자동 노출 | Croissant 1.1, /croissant | 부재 (결정적 갭) |
| ④ 품질 계측 | 완전성·이상치 자동 측정 | GX Data Docs, Soda, ISO 5259 | 부재 (갭) |
| ⑤ 계보·재현성 | 컬럼 계보·버전 DOI 자동 | DataHub, OpenMetadata, PROV | 부분 (버전 DOI만) |
| ⑥ 권리·라이선스·게이팅 | 라이선스 표시·접근 게이팅 자동 | HF extra_gated_*, 통제어휘 | 부분 (수동 기재) |
| ⑦ 큐레이션 규모 확장 | AI 보조 큐레이션 개발 중 | InvenioRDM, EOSC EDEN | 부재 (갭) |
진단은 명확하다. DataON은 발견 계층에서 국제 관행에 근접하지만, AI-Ready의 실질을 좌우하는 ① 자동 검증, ③ Croissant, ④ 품질 계측, ⑦ 큐레이션 자동화 네 지점에서 국제 peer가 "자동"으로 하는 일을 "수동·권고"로 두고 있다. 그리고 이 네 지점 각각에 대응하는 검증된 오픈소스·표준이 이미 존재한다. 새 기술을 발명할 일이 아니라 채택·통합·자동화의 문제다.
5.2AI-Ready의 14개 조건
그렇다면 "AI-Ready"는 정확히 무엇을 만족한 상태인가. 학술·표준 문헌에서 도출한 14개 조건(C1~C14)이 그 답이다. 각 조건은 하나 이상의 표준·논문으로 뒷받침되며, 앞 장들의 논지 — FAIR는 C1~C2까지만 보장한다, 품질 계측은 C5·C7·C8이다, 계보·재현·권리는 C9~C11이다 — 를 하나의 체크리스트로 묶는다.
| # | AI-Ready 조건 | 뒷받침 표준·논문 |
|---|---|---|
| C1 | 영속 식별·발견 가능 | FAIR F1–F4, DataCite, schema.org |
| C2 | 기계 접근 가능 | FAIR A1–A2 |
| C3 | 기계 판독 스키마(타입·단위·코드북) | Croissant, ISO 8000 |
| C4 | ML 로딩 명세(코드 수정 없이 적재) | Croissant |
| C5 | 라벨 정의·신뢰도 | Croissant, ISO 5259-2, Datasheets |
| C6 | train/val/test split 정의(누출 없음) | Croissant, ML 재현성 체크리스트 |
| C7 | 정량 품질 계측 | ISO 5259-2, ISO 8000 |
| C8 | 대표성·편향 문서화 | ISO 5259-2, Data Statements, Croissant-RAI |
| C9 | 계보/provenance 기록 | W3C PROV, FAIR R1.2, Croissant |
| C10 | 재현 가능(데이터-코드-환경 결속) | Pineau et al., Kapoor & Narayanan |
| C11 | 학습 이용 권리 명시(기계 판독) | FAIR R1.1, Croissant license/DUO |
| C12 | 생애주기·거버넌스 문서화 | Datasheets, Data Cards, ISO 5259-3/4/5 |
| C13 | 태스크 준비도 판정 | Data Readiness Levels |
| C14 | 품질 결과의 가시화 | ISO/IEC TR 5259-6 |
이 체크리스트를 관통하는 요지는 두 가지다. 첫째, FAIR는 C1~C2와 C9·C11의 일부만 보장하는 필요조건이지 충분조건이 아니다. C3~C8, C10, C13이 빠지면 "FAIR하지만 학습 불가"한 데이터가 그대로 남는다. 둘째, C5·C7·C8(라벨·정량 품질·대표성 계측)과 C13(태스크 준비도)은 사람이 전수 수작업하기엔 규모가 맞지 않는 지점이다. 이 대목이 자동화 논거의 핵심이다.
5.3무엇에 먼저 투자할 것인가
여기서 흔히 인용되는 통념 하나를 바로잡아야 한다. "데이터 작업의 80%가 정제"라는 말이 오래 회자됐지만, 그 근거는 2016년의 소규모 설문(약 80명)이다. 최신 실측(Anaconda·Kaggle 등)은 정제·준비에 드는 비중을 26~45%로 보고한다. 80%라는 숫자를 사실처럼 인용하면 안 된다. 다만 방향은 바뀌지 않는다. 정제·준비는 여전히 데이터 작업의 큰 몫이고, 그 몫을 자동화로 줄이는 것이 투자의 요체다.
우선순위는 참조 아키텍처의 빈칸 순서를 따른다. 국내 저장소 기준으로는 ① 예치 시 자동 스키마 검증(Frictionless/GX)으로 "스키마 없는 CSV"를 입구에서 막고, ② Croissant ML 메타를 자동 노출해 ML 생태계에서 인식되게 하고, ③ 품질을 ISO 5259 차원으로 계측·기록하고, ④ 큐레이션을 자동화해 규모를 확보하는 순서다. 네 단계 모두 검증된 오픈소스가 있으므로, 관건은 기술이 아니라 이를 예치 파이프라인에 내장하겠다는 결정과 운영이다.
국가 연구데이터를 AI-Ready로 만드는 일은 새 표준을 만드는 프로젝트가 아니다. Croissant도, ISO 5259도, Frictionless도, PROV도 이미 있다. 필요한 것은 이 조각들을 예치→검증→표준화→계보→게이팅→큐레이션의 파이프라인으로 조립하고, 사람이 감당 못 하는 계측·큐레이션을 자동화하는 일이다. 2027년 5월 시행까지 남은 시간은 빈칸을 발명하는 시간이 아니라 채우는 시간이다.
페블러스가 이 주제를 보는 자리
페블러스가 이 주제를 눈여겨보는 이유는 국가 연구데이터 정책 자체가 아니다. 참조 아키텍처의 빈칸 — 예치 시 자동 검증과 정량 품질 계측 — 이 페블러스 DataClinic이 산업 데이터에서 매일 진단하는 문제와 정확히 같은 구조이기 때문이다.
빈칸은 자동화가 들어갈 자리다
앞서 본 대조표의 ①(자동 검증)과 ④(품질 계측)는 결측·이상치·클래스 불균형·중복·라벨 오류라는 전형적 데이터 품질 결함에 그대로 대응한다. 그리고 이 결함들은 DataClinic이 자동으로 진단하는 항목과 겹친다. 1장의 실패 모드(부족·편향·라이선스 공백)를 메우는 데는 AI-Ready Data와 합성·증강이 쓰인다. 요컨대 이 리포트가 그린 참조 아키텍처의 빈 칸마다, 사람이 전수로는 감당 못 하는 계측·큐레이션을 자동화가 대신할 자리가 있다.
품질이 계측돼야 전략 자산이 된다
"학습 데이터의 품질이 모델의 출력으로 이어진다"는 명제를, 이 리포트는 라벨 오류 3.3%가 벤치마크의 순위를 뒤집은 실증으로 보여줬다. 고품질 공개 웹 텍스트가 2026~2032년 사이 고갈될 것이라는 전망(Epoch AI, 웹 텍스트 한정) 속에서, 검증된 도메인 특화 연구데이터의 전략적 가치는 오른다. 단, 품질이 계측된 경우에 한해서다. 계측되지 않은 데이터는 모델에 편향과 오류를 그대로 주입한다. 품질 계측은 선택이 아니라 전제라는 이 리포트의 논지가, 국가 연구데이터를 전략 자산으로 만드는 조건이기도 하다.
자동화는 이미 시작됐다
이것이 먼 이야기가 아니라는 증거는 현장에 있다. State of Open Data 2025 조사에서 메타데이터 생성에 AI를 활용한다는 응답은 1년 사이 16.1%에서 25.1%로 늘었다. 선도 인프라의 최전선 의제도 명시적으로 "AI-ready 큐레이션의 저비용·확장"(InvenioRDM HORIZON-ZEN+, EOSC EDEN/FIDELIS)이다. 사람 큐레이션이 규모를 감당 못 한다는 인식은 이미 표준·기관·도구가 공유한다.
법은 통과됐고, 남은 질문은 "이제 실제로 어떻게 만드나"다. 이 리포트가 그린 공정 — 무엇을, 어떤 표준으로, 어떻게 측정하고, 누가 책임지는가 — 은 그 물음에 답하는 실무 청사진이다. 표준 없이는 비교가 없고, 계측 없이는 신뢰가 없다. 예치와 학습 가능 사이의 공정을 자동화로 채우는 일은, 그 신뢰를 사람이 감당 가능한 규모로 만드는 일이다.
참고문헌
표준·명세
- 1.Maruseac, M. et al. (2024). Croissant: A Metadata Format for ML-Ready Datasets. arXiv:2403.19546; NeurIPS 2024 D&B Track. (ML 학습 메타 표준 원 논문)
- 2.MLCommons (2026). Croissant 1.1 Standard. (70만+ 데이터셋 채택)
- 3.ISO/IEC 5259-2:2024. Data quality measures. (정량 품질 차원 정의)
- 4.ISO/IEC 5259-5:2025 (Governance framework), ISO/IEC TR 5259-6:2026 (Visualization). iso.org (IS 5개 + TR 1개로 완성된 표준군)
- 5.ISO 8000-1:2022. Data quality — Overview. (5259의 기반 표준)
- 6.W3C. PROV-O: The PROV Ontology. (계보 3요소 Entity·Activity·Agent)
- 7.DataCite. DataCite Metadata Schema 4.x. (PID/DOI·PID 그래프)
- 8.Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles. Scientific Data 3:160018.
논문 — 문서화·품질·재현성
- 9.Gebru, T. et al. (2018/2021). Datasheets for Datasets. arXiv:1803.09010 / CACM 64(12).
- 10.Pushkarna, M., Zaldivar, A., & Kjartansson, O. (2022). Data Cards. FAccT '22, arXiv:2204.01075.
- 11.Lawrence, N. D. (2017). Data Readiness Levels. arXiv:1705.02245.
- 12.Northcutt, C. et al. (2021). Pervasive Label Errors in Test Sets. NeurIPS 2021 D&B, arXiv:2103.14749. (10대 벤치마크 평균 라벨 오류 3.3%)
- 13.Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in ML-based science. Patterns 4(9):100804. (17분야 294+편 데이터 누출)
- 14.Pineau, J. et al. (2021). Improving Reproducibility in ML Research. JMLR 22(164). (ML 재현성 체크리스트)
- 15.Bender, E. M., & Friedman, B. (2018). Data Statements for NLP. TACL 6.
기관·인프라·정책
- 16.KISTI. DataON 메타데이터 설계지침서. (연계/등록 이원화·발견 계층 표준)
- 17.EOSC. Multi-Annual Roadmap 2025–2027; InvenioRDM HORIZON-ZEN+. (AI-ready 큐레이션 저비용·확장)
- 18.NIH. Data Management & Sharing Policy (2023); NOT-OD-26-046 구조화 DMP (2026). (machine-actionable DMP)
- 19.The White House (2025). Launching the Genesis Mission. (보안 등급·게이팅·합성데이터)
- 20.Hugging Face. Croissant endpoint / Gated datasets. (자동 노출·게이팅 자동화)
- 21.Frictionless Data Framework; Great Expectations; Soda (SodaCL). (예치 시점 자동 검증 툴체인)
수치·조사
- 22.Are the FAIR Data Principles Fair? IJDC. (FAIR R1 미충족 38%·메타 모호 30%)
- 23.Perceptions and behavior regarding FAIRification. PMC9142513. (인지도 94.7% vs 전 요소 충족 11%)
- 24.Epoch AI. Will we run out of ML data? (공개 웹 텍스트 2026~2032 고갈 전망)
- 25.Digital Science/Figshare. State of Open Data 2025. (메타 생성 AI 활용 16.1%→25.1%)
- 26.Gartner (via Ataccama). 저품질 데이터 비용·2027 DQ 채택 전망. (조직당 연 1,290만 달러·70% 채택)