Executive Summary
AI 에이전트가 기업의 문서와 데이터를 직접 찾아 쓰면서 데이터 품질관리의 범위도 넓어지고 있다. 조직은 자료의 내용뿐 아니라 출처와 기준 시점, 사용할 수 있는 조건을 AI가 이해하고 따르기를 원한다. AI-ready data는 AI가 바로 쓸 수 있게 준비된 데이터를 가리키는 일반 개념이고, 이 글이 검토하는 AIRD(AI-Ready Data)는 이런 요구를 데이터의 설명·품질 측정·목적별 준비 요건으로 구체화한 국내 초안과 실증 체계다.
공개 리콜 사례는 에이전트가 검색·집계할 자료를 준비한 예다. 원천은 품질 판정을 통과했고, 파생 RAG 팩은 결합과 점검을 마쳤지만 목적 적합성 판정이 보류된 상태다. 공개 비교에서 리콜 질문의 정확 일치는 23/42에서 42/42로 개선됐지만, 정답과 팩의 생성 규칙이 연결된 시험 범위를 함께 읽어야 한다.
페블러스는 이런 산업 변화를 두 그린하우스가 협력할 기회로 본다. Data Greenhouse는 여러 기준에 맞춰 데이터를 진단하고 개선한다. Agent Greenhouse는 그 과정에서 드러난 에이전트의 능력 부족을 개선하고 새 판본을 시험·승인하는 플랫폼을 지향한다. 더 잘 준비된 데이터와 더 나아진 에이전트가 서로를 키우는 순환이다.
주요 수치
앞의 두 숫자는 공개 비교 시험의 성적이고, 뒤의 두 숫자는 측정 범위와 자료 규모다. 시험 성적은 업무에 따라 갈렸고, 측정 항목은 데이터 유형에 따라 갈린다.
출처: AIRD 실증 결과·시험 조건·한계(측정일 2026-10-21) · AIRD 지표 목록과 유형별 적용표 · 리콜 검색 꾸러미 설명.
23/42 → 42/42
리콜 질문의 정확 일치
질문 7개를 반복한 값이고, 정답 집계가 꾸러미 규칙과 맞물려 있다
28/28 → 28/28
수소·연료 질문은 전후가 같다
질문 14개 기준. 준비의 효과는 업무마다 다르게 나타났다
3~13개
데이터 유형별 필수 지표 수
이미지는 3개, 구조화 표와 시계열은 13개. 16개 전체가 일률 필수는 아니다
843조각
검색용 꾸러미의 조각 수
원천 공개 CSV는 844행이다. 제품 수나 학습 시연 수가 아니다
에이전트가 찾아 읽을 자료부터 검사를 받았다
사례의 출발점은 평범한 공공데이터다. 국가기술표준원이 공공데이터포털에 올린 국내리콜 보고서이고, 자료 번호는 15040695다. 안전기준을 어긴 제품, 표시사항이 맞지 않은 제품, 사고와 관련된 서술이 행마다 적혀 있다. 공개 CSV를 직접 열어 보면 844행이고, 업무에 쓰는 필드가 3개에 행을 가리키는 식별자가 하나 붙어 있다. 공개된 팩은 모델 학습이 아닌 검색·집계용으로 설명한다.
달라진 것은 이 자료를 다시 포장한 쪽이다. 파생 꾸러미는 같은 내용을 검색 조각 843개로 나누고, 조각마다 어떤 물질이 기준을 몇 배 넘었는지를 태그로 붙였다. 조각이 원천의 어느 행에서 나왔는지도 식별자로 남겼다. 평가용 질문 7개가 함께 들어 있고, 그 가운데 제조사를 묻는 질문은 자료가 모자라므로 답변을 보류하도록 구성돼 있다. 모델에게 외우게 할 교재가 아니라, 질문을 받은 프로그램이 찾아보고 세어 보도록 만든 입력이다.
원천 844행과 조각 843개 사이에는 한 칸 차이가 있다. 이 차이가 무엇 때문인지는 행별 변환 규칙을 확인해야 말할 수 있고, 공개된 설명만으로 '빈 행 하나를 뺐다'고 단정할 수는 없다. 843은 조각 수이지 제품 수도 학습 시연 수도 아니다. 이 숫자를 옮겨 쓸 때는 그 점을 같이 적어야 오해가 없다.
이 한 건이 통념을 흔든다. 'AI가 쓸 데이터를 준비한다'는 말은 보통 학습자료를 정리하는 일로 읽힌다. 그런데 여기서 준비된 것은 검색과 집계에 쓰일 업무자료이고, 검색·집계용 자료에서도 품질과 목적별 준비 상태를 확인했다. 에이전트가 사내 문서를 뒤져 답을 만드는 환경에서는 학습에 한 번도 들어가지 않은 자료가 모델의 답을 좌우한다.
품질 측정과 AI 활용 준비를 함께 보는 법
AIRD는 AI 활용에 필요한 준비 요건을 갖춘 데이터를 가리키는 개념이다. 이번에 공개된 체계는 그 준비를 둘로 나눈다. 하나는 품질 준비(Quality-Ready)로, 정해진 차원과 지표로 데이터 자체를 측정해 일정 등급 이상인지를 본다. 다른 하나는 목적 준비(Purpose-Ready)로, 쓰려는 목적마다 따로 요구되는 조건을 채웠는지를 본다. 공개 해설이 꼽은 목적은 기계학습, 심층학습, 검색증강생성, 미세조정, 지식그래프, 통계분석의 여섯 가지다. 같은 문서는 이 둘 앞에 자료를 찾을 수 있는지를 보는 단계를 하나 더 두어, 발견 가능(G1)·품질 준비(G2)·목적 준비(G3) 세 관문으로 설명한다.
각 관문은 필요한 자료와 기준을 갖춰 순서대로 판정한다. 뒤 관문의 결과가 비어 있으면 준비 상태와 미판정 사유를 함께 확인해야 한다. 목적 프로파일이 아직 등록되지 않아 판정하지 못한 경우를 이전 단계의 품질 실패로 읽어서는 안 된다.
지위는 조심해서 읽어야 한다. 공개 해설이 기준 정본으로 안내하는 것은 TTAK 초안 v0.95와 용어표 v0.10.5이고, 제정 예정 시점은 2026년 12월로 안내돼 있다. 아직 제정을 마친 국제표준도, 법으로 효력을 받는 인증도 아니다. 실증 사이트가 배포하는 꾸러미에는 어휘·스키마·운영기관 기준의 판본이 따로 적혀 있어, 해설의 초안 판본과 개별 구현의 판본을 같은 것으로 묶어 부르면 사실관계가 흐려진다.
나란히 놓이는 쪽의 지위는 다르다. ISO/IEC 5259-2:2024는 2024년 11월에 발행된 국제표준이고, 정식 이름은 분석과 기계학습을 위한 데이터 품질의 제2부 품질 측도다. 이미 쓰이던 ISO/IEC 25012와 25024의 측도를 가져와 기계학습 맥락으로 넓힌 문서라, 데이터셋의 다양성이나 감사 가능성처럼 학습 전후에 문제가 되는 성질까지 측도 목록에 들어 있다.
5259 시리즈를 측정 문서 한 권으로 줄여 부르는 것도 정확하지 않다. 시리즈에는 용어와 측도 외에 데이터 품질 관리 요구사항, 프로세스, 거버넌스 문서가 함께 들어 있다. 'ISO는 파일을 검사하고 AIRD는 활용을 본다'는 이분법이 설명하기엔 편하지만, 두 체계가 겹치는 자리를 통째로 지워 버린다.
5259-2가 정의한 품질 특성과 측도를 항목 단위로 훑고 싶다면 치트시트에 정리해 두었고, 시리즈가 어떤 문서로 나뉘어 어떤 일정으로 움직여 왔는지는 표준화 로드맵에 적어 두었다. 이 글은 그 내용을 되풀이하지 않고 AIRD와 맞닿는 지점만 본다.
무엇을 묻고 어떤 증거를 요구하는가
두 체계를 가르는 실용적인 방법은 둘이 묻는 질문을 나란히 적어 보는 것이다. 무엇을 평가하는지, 어떤 자료를 요구하는지, 합격선을 누가 정하는지가 서로 다르다. 아래 표는 그 질문들을 다섯 줄로 정리하고, 같은 줄에서 페블러스가 어떻게 대응할지를 함께 적었다.
| 비교 질문 | ISO/IEC 5259-2 | 이번 AIRD 체계 | Data Greenhouse의 대응 방향 |
|---|---|---|---|
| 무엇을 평가하는가 | 목적에 맞게 선택한 품질 특성과 측도 | 데이터 유형별 준비 요건, 품질과 목적별 준비 상태 | 사용 목적에 따라 기준과 측정 도구를 연결 |
| 어떤 자료가 필요한가 | 데이터와 측도별 정답·규칙·기준 등 측정 근거 | 데이터와 기계가 읽을 수 있는 설명·판본·진단·운용 자료 | 접수 때 제출 자료와 빠진 증거를 확인 |
| 같은 계산을 재사용할 수 있는가 | 항목의 정의와 단위, 분모가 기준 | 해당 지표의 정의와 적용 조건을 대조해야 함 | 정의가 일치하는 계산만 재사용하고 출처를 유지 |
| 어떻게 합격을 정하는가 | 적용 목적과 품질 요구에 맞춰 평가 | 운영 지침과 기준값, 목적 프로파일에 따름 | 측정과 판정을 나누고 기준 판본과 승인 책임을 기록 |
| 실제 AI 성과를 보장하는가 | 품질 측정 결과만으로 모든 과업의 성공을 보장하지 않음 | 준비 판정과 실제 업무 효과는 따로 확인 | 검색·집계·학습의 성과와 비용도 함께 비교 |
▲ 페블러스의 비교·설계안이다. 두 규격 사이의 공인된 동등성 표가 아니다.
표를 읽을 때 가장 쉽게 빠지는 함정은 이름이다. 완전성·일관성·정확성처럼 두 체계에 똑같이 등장하는 낱말이 적지 않다. 그런데 같은 이름 아래에서 산식과 측정 대상이 다르면 그 값은 같은 수치가 아니다. 한쪽에서 계산한 완전성 점수를 다른 쪽 보고서에 옮겨 적는 순간, 숫자는 남고 근거는 사라진다.
7개 품질 차원, 데이터 유형에 맞춰 적용하기
공개 해설이 밝힌 품질 차원은 완전성·일관성·정확성·적시성·유효성·유일성·기계 판독성의 7개이고, 그 아래 지표가 16개다. 다만 16개가 모든 데이터에 일률로 걸리지는 않는다. 구조화된 표와 시계열은 필수 지표가 13개인 반면 지시문과 응답 쌍은 8개, 문서는 5개, 이미지는 3개다. 최소 측정 지표(MMI)는 4종을 제시하며, 그중 해당 데이터 유형에 적용되는 항목만 측정한다. 이미지 자료에 요구되는 항목과, 물리 시간·좌표계·행동 의미를 함께 확인해야 하는 로봇 멀티모달 시계열에 요구되는 항목은 같을 수 없다.
데이터 유형별 필수 지표 수 (전체 16개 지표 기준)
점수 체계도 한 덩어리가 아니다. 얼마나 측정했는지를 나타내는 진단 성숙도, 품질 등급, 목적별 준비 수준이 각각 다른 질문에 답한다. 품질 등급은 가장 낮은 차원 점수를 운영 지침의 등급 구간에 대응하고 필수 차원의 통과 조건도 확인해 정한다. 눈금은 Tier0부터 Tier4까지 다섯 칸이고, 품질 준비 관문을 넘으려면 그 유형의 필수 지표를 빠짐없이 측정한 상태에서 Tier1 이상을 받아야 한다. 등급 하나를 옮길 때는 통과선이 어디인지도 같이 보여야 뜻이 산다. 반면 목적별 준비 수준은 해당 목적의 프로파일이 등록돼야 판정할 수 있고, 공개 용어 문서는 그 판정 절차를 앞으로 공개하겠다고 적어 둔 상태다.
실무에서 자주 생기는 손해는 여기서 나온다. 아직 측정하지 않은 항목, 그 유형에 해당하지 않는 항목, 기준값이 아직 없는 항목을 모두 0점으로 바꿔 적으면 멀쩡한 데이터가 낙제한 것처럼 보인다. 셋은 성격이 다르므로 따로 기록해야 하고, 해설이 예시로 든 기준값을 공식 등급 계산에 그대로 가져다 쓰는 것도 맞지 않다.
반대 방향의 오해도 있다. 'AIRD에는 합격을 정할 기준이 아예 없다'는 말인데, 공개된 판정서 한 건이 이를 반박한다. 리콜 원천의 품질 판정서는 운영기관 기준 프로파일 TP-KR-2026-1.0을 적용했다고 명시하고, 그 프로파일의 지문과 판정 시각까지 함께 적어 두었다. 그러므로 기준의 유무를 한 문장으로 묻지 말고, 표준 차원의 기준과 운영기관의 기준과 목적별 프로파일의 가용성을 각각 확인하는 편이 정확하다.
원천 품질과 검색용 준비는 따로 확인한다
리콜 사례의 판정 기록은 두 줄로 갈라진다. 원천 자료는 2026년 10월 11일 품질 판정을 통과했고, 판정서에는 운영기관 기준을 적용해 Tier3(Gold)으로 확정했다고 적혀 있다. 통과선이 Tier1이니 다섯 칸 눈금에서 두 칸 위다. 반면 같은 자료에서 나온 검색용 꾸러미는 '판정 보류' 상태다. 공개 설명에는 결합과 점검은 마쳤으나 목적 적합성 판정은 보류했다고 적혀 있고, 목적 적합성 판정(G3) 칸에는 '해당 없음'이라는 표기와 함께 '다음 판에서 판정'이라는 단서가 붙어 있다. 표기는 '해당 없음'이지만 기준이 적용되지 않는다는 뜻이 아니라 아직 판정하지 않았다는 뜻이다.
이 갈림이 규칙 하나를 분명히 해 준다. 원천이 받은 품질 등급은 그 자료를 가공해 만든 결과물의 등급이 되지 못한다. 조각을 나누고 태그를 붙이는 과정에서 새로 생긴 오류나 누락은 원천의 측정에 포함돼 있지 않기 때문이다. 품질과 용도에 맞춘 준비와 실제 업무 성과를 갈라 두어야 하는 이유도 같다.
실제 업무 성과 쪽 숫자도 공개돼 있다. 2026년 10월 21일 측정한 비교 시험에서 리콜 질문의 정확 일치는 원본 조건 23/42에서 꾸러미 조건 42/42로 올랐다. 백분율로 54.8%에서 100%다. 같은 시험에서 수소·연료 질문은 28/28로 두 조건이 같았다. 준비의 효과가 업무에 따라 다르게 나타난다는 뜻이고, 한쪽 성적만 떼어 내면 과장이 된다.
100%라는 숫자에는 운영 쪽이 스스로 붙인 단서가 있다. 리콜 정답을 꾸러미를 만든 규칙으로 집계했기 때문에 정확 일치에서는 꾸러미 조건이 구조적으로 유리하다는 것이다. 질문 수가 적고 통계 검정을 하지 않았다는 점, 연결 실험에서 기준별로 떼어 본 표 10종 가운데 2종은 오히려 불리했다는 점도 같은 페이지에 적혀 있다. 한계를 함께 공개한 태도는 평가할 만하고, 그 한계를 떼고 숫자만 옮기는 쪽이 문제다.
산업의 새 요구를 두 그린하우스의 협력으로
데이터의 품질·출처·이용 조건을 AI가 읽을 수 있도록 명시하는 움직임은 페블러스에 반가운 산업 변화다. 고객이 확인할 요건이 구체적일수록 진단·개선·증빙과 변경 후 재검증의 범위도 분명해진다. 모델 학습자료와 함께 에이전트가 찾아 쓰는 업무자료를 지속해서 관리할 기회가 넓어지고 있다.
페블러스가 Data Greenhouse에 두는 역할은 기준을 하나 고르는 것이 아니라 여러 기준을 받아들이는 것이다. 받아들인다는 말을 두 층으로 나눠 적으면 이렇다.
6.1관리 계층이 적용한 판본과 승인 책임을 남긴다
고객과 목적마다 적용할 기준과 허용오차, 자료의 판본과 출처·이용 조건이 다르다. 거버넌스 계층은 변경 승인과 판정 이력을 연결한다. 하나의 보고서에서도 ISO 기반 측정과 AIRD 준비 판정을 함께 제공하되, 각 결과의 적용 기준·판본·측정값·근거와 승인 책임을 구분해 추적할 수 있어야 한다. 정의가 일치하는 계산은 재사용하고, 기준별 판정은 해당 조건에 따라 남기는 방식이다.
6.2뉴로-심볼릭 진단이 후보 탐지와 판단을 나눈다
신경망이 잘하는 일은 의미가 비슷한 것들을 모으고 분포의 치우침과 공백, 이상해 보이는 사례를 골라내는 일이다. 그 후보가 업무 기준을 어겼는지를 판단하는 근거는 명시된 규칙과 도메인 지식에서 나온다. 계산으로 확정할 수 있는 규칙 검사는 재현 가능한 도구가 수행한다. 대규모 언어모델의 판단이나 임베딩 유사도를 그대로 표준 적합 판정으로 삼지 않는 것이 이 설계의 전제다. 판정은 근거를 요구받는 자리이고, 근거를 되짚을 수 없는 점수는 판정이 되지 못한다.
새 기준이 나왔을 때 해야 할 일도 이 구조에서는 목록으로 나온다. 적용 항목과 측정 도구, 필요한 증거와 판정 조건을 등록하고 기존 데이터 판본을 다시 진단하는 것이다. 5259와 AIRD를 모두 충족하는 데이터 판본을 만들어 인도할 수 있게 하는 것이 제품이 가려는 방향이다.
현재 상태는 분명히 해 둘 필요가 있다. 페블러스가 쌓아 온 측정·개선 기술은 ISO 5259 기반이고, AIRD 쪽은 어댑터와 평가 구현을 검증하는 계획 단계다. 전 항목 자동 평가를 끝냈다거나 인증을 취득했다는 뜻이 아니다. 개별 적합성은 적용한 규격과 프로파일, 데이터 유형, 검증 결과에 따라 그때그때 표시할 일이다.
적용 범위가 넓어진다는 점도 이 사례가 알려 준 것이다. 모델 학습자료만이 아니라 검색증강생성에 쓰는 문서, 업무 조회용 표, 도구에 들어가는 입력, 에이전트를 평가하는 자료가 모두 같은 질문 앞에 선다. 이 데이터는 무엇에 쓰일 준비가 됐는가, 그리고 그 판단의 근거는 어디에 적혀 있는가.
6.3 새로운 기준은 에이전트가 갖춰야 할 능력도 바꾼다
에이전트는 자료를 찾는 데서 더 나아가, 그 자료가 질문에 답하기에 충분한지 판단해야 한다. 출처와 기준 시점을 확인하고, 근거가 부족하면 추가 자료를 요청하거나 답변을 보류할 수 있어야 한다. 리콜 원천의 품질 통과를 파생 RAG 팩의 목적 적합성으로 오해하지 않는 것도 이런 능력의 한 예다.
Data Greenhouse에서 일하는 에이전트는 등록된 규칙과 도구로 새 기준에 대응한다. 작업 기록과 시험에서 지식·스킬·판단 절차의 부족이 드러나면 Agent Greenhouse가 그 능력을 개선하고, 독립 시험과 승인을 거친 새 에이전트 판본을 다음 업무에 투입하는 구조를 개발한다. 기준을 읽어 적용하는 일과 에이전트 자체의 능력을 키우는 일을 연결하는 것이다.
더 잘 준비된 데이터는 에이전트의 판단을 돕고, 개선된 에이전트는 다음 데이터의 품질과 증거를 더 잘 관리한다. 고객이 새 자료와 기준을 적용할 때 반복하는 검토·재작업·승인 부담을 줄이는 것이 이 협력의 사업적 목표다. 현재 공급하는 데이터 품질 기술 위에서, 이러한 순환의 효과를 비교 시험으로 입증해 갈 계획이다.
같은 데이터로 둘을 비교하는 시험안
두 기준의 관계를 말로 정리하는 데는 한계가 있다. 같은 데이터에 둘을 나란히 걸어 보면 어디가 겹치고 어디가 비는지 숫자로 드러난다. 아래는 그 비교를 설계한다면 밟을 여섯 단계다.
- 원천과 파생 데이터의 판본과 해시, 이용 조건과 목적을 먼저 고정한다.
- 5259의 측도와 AIRD 지표를 정의·단위·분모·필요 증거 기준으로 서로 대응시킨다.
- 계산할 수 있는 항목을 측정하고, 비적용·미측정·기준 부재를 각각 따로 기록한다.
- 운영 지침을 확보한 범위에서 품질 판정을 하고, 목적 프로파일이 없으면 목적 판정은 보류한다.
- 원본, 공개 규칙으로 만든 판, 기존 AIRD 꾸러미, 개선판을 같은 질문·모델·도구·비용 조건에서 비교한다. 정답은 개선 규칙과 독립적으로 검수한다.
- 정확도만 보지 않는다. 잘못된 답변, 올바른 보류, 원천 추적, 검토 시간, 갱신 비용을 함께 센다.
다섯 번째 단계의 단서가 특히 중요하다. 정답을 개선 규칙과 같은 손으로 만들면 공개 시험이 스스로 밝힌 구조적 유리함을 그대로 되풀이하게 된다. 여섯 번째 단계의 '올바른 보류'도 마찬가지다. 자료가 모자랄 때 답을 지어내지 않고 멈추는 것은 리콜 꾸러미의 평가 질문이 이미 요구하고 있는 능력이다.
위 여섯 단계는 제안이다. 이번 글이 확인한 범위는 공개된 파일과 구조, 판정 문서를 정적으로 검토한 데까지다. 두 기준의 전 항목을 평가하거나 에이전트를 다시 돌리거나 성능 개선 실험을 수행한 결과가 아니다.
참고문헌
공식 표준 설명과 AIRD 해설, 실증 사이트의 데이터·판정 파일을 기준으로 비교했다. 아래 링크는 모두 공개 자료다.
표준
- 1.ISO/IEC. (2024-11). "ISO/IEC 5259-2:2024 Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 2: Data quality measures." 국제표준.
- 2.ISO. "ISO/IEC 5259 시리즈 구성." 측정 외에 관리·프로세스·거버넌스 문서가 포함돼 있다는 2절 서술의 출처.
- 3.TTA. "TTA 표준 제안." AIRD 관련 국내 표준 제안 문서.
AIRD 공개 해설
- 4.AIRD. "AIRD 개념과 준비 단계." 품질 준비와 목적 준비의 구분, 세 관문 구성, TTAK 초안 v0.95 기준의 출처.
- 5.AIRD. "AIRD 용어." 진단 성숙도와 품질 등급, 목적별 준비 수준의 정의와 판정 절차 공개 예정 표기의 출처.
- 6.AIRD. "지표 목록과 유형별 적용표." 7개 차원 16개 지표와 유형별 필수 지표 수(이미지 3개, 구조화 표·시계열 13개, 지시문 쌍 8개, 문서 5개)의 출처.
- 7.AIRD. "측정과 판정 안내." 미측정·비적용·기준 부재를 구분해 기록해야 한다는 4절 서술의 출처.
- 8.AIRD. "준비 단계 판정." 관문별 판정 조건의 출처.
- 9.AIRD. "공개 도구와 지원 범위."
리콜 사례 실증 자료
- 10.AIRD 실증. "실증 결과·시험 조건·한계." 23/42→42/42, 28/28, 측정일 2026-10-21, 구조적 유리함과 통계 검정 미실시, 연결 실험의 기준별 표 10종 중 2종 불리 서술의 출처.
- 11.AIRD 실증. "원천의 품질 판정서(G2)." 2026-10-11 통과, 운영기관 기준 프로파일 TP-KR-2026-1.0, Tier3(Gold) 확정의 출처.
- 12.AIRD 실증. "리콜 검색 꾸러미와 설명." 조각 843개, 물질·초과 배율 태그, 원천 행 식별자, 평가 질문 7개, '판정 보류' 상태와 목적 적합성 판정(G3) 칸의 '해당 없음 · 다음 판에서 판정' 표기의 출처.
- 13.AIRD 실증. "리콜 원천 데이터." 원천 CSV 844행과 필드 구성 확인.
- 14.공공데이터포털. "국가기술표준원 국내리콜 보고서." 자료 번호 15040695.
페블러스 블로그
- 15.페블러스. "ISO 5259-2 데이터 품질 치트시트." 5259-2의 품질 특성과 측도를 정리한 글.
- 16.페블러스. "ISO 5259 표준화 로드맵." 시리즈 구성과 표준화 일정을 다룬 글.