1. ISO/IEC 5259 표준 및 LLM 데이터 품질 개요

ISO/IEC 5259 시리즈는 "분석 및 머신러닝(ML)을 위한 데이터 품질(Data quality for analytics and machine learning (ML))"에 관한 최초의 국제 표준입니다. 기존의 데이터 품질 표준(예: ISO/IEC 25012)이 데이터 생산자 관점에 초점을 맞춘 반면, ISO/IEC 5259는 외부 데이터를 검색, 수집, 처리하여 사용하는 AI/ML 데이터 사용자의 관점에서 데이터 품질을 재정의합니다.

LLM(Text) 데이터의 품질은 모델의 성능과 신뢰도에 직접적인 영향을 미치며, 특히 모델의 편향성(Bias), 일반화 성능(Generalization), 그리고 설명 가능성(Explainability)을 좌우하는 결정적 요소입니다.

ISO/IEC 5259 표준은 LLM 학습 데이터셋의 품질을 평가하고 관리하기 위해 다음과 같은 포괄적인 프레임워크를 제공합니다.

1.1. ISO/IEC 5259-2의 데이터 품질 측정 항목 (LLM 중립적)

ISO/IEC 5259-2는 AI/ML 데이터 품질을 측정하기 위한 24개의 품질 특성(Data Quality Characteristics)을 정의합니다. 이러한 특성들은 데이터의 본질적 속성, 시스템 의존성, 추가 특성으로 구분되며, 모든 유형의 AI/ML 데이터(텍스트, 이미지, 테이블 등)에 적용 가능한 LLM 중립적인 평가 기준입니다.

※ 위 24개 품질 특성은 LLM뿐만 아니라 모든 AI/ML 모델의 학습 데이터에 적용 가능한 범용적인 평가 기준입니다. 각 특성에는 정량적 측정을 위한 구체적인 Quality Measures가 정의되어 있습니다.

2. LLM 텍스트 데이터 품질 평가 방법론 (ISO/IEC 5259-2 기반)

LLM 텍스트 데이터셋을 평가하기 위한 핵심은 ISO/IEC 5259-2에서 제시하는 AI/ML 특화 품질 특성들을 측정하는 것입니다. 이 표준은 기존 ISO/IEC 25012의 15가지 특성을 계승하며, AI 모델 성능과 직결되는 추가적인 특성들을 포함합니다.

2.1. LLM 텍스트 데이터에 필수적인 품질 특성 (DQC)

2.2. 정량적 지표 적용 예시: 텍스트 요약 (Completeness)

LLM을 이용한 텍스트 요약(Summarization) 작업의 학습 데이터 품질을 평가할 때, 완전성(Completeness)을 측정하는 구체적인 지표로 ROUGE-L (Recall) 점수를 활용할 수 있습니다.

• 배경: ROUGE(Recall-Oriented Understudy for Gisting Evaluation)는 기계가 생성한 요약문이 사람이 작성한 참조 요약문과 얼마나 유사한지를 평가합니다.
• 측정: ROUGE-L의 재현율(Recall)은 참조 요약문의 핵심 정보(최장 공통 부분 서열 기준)가 생성된 요약문에 얼마나 누락 없이 포함되었는지를 측정하며, 이는 정보의 누락 여부를 평가하는 완전성의 개념과 직접 연결됩니다.
• 평가 활용: 학습 데이터셋 내의 참조 요약문(Ground Truth)과 모델이 생성한 요약문을 비교하여, 데이터셋 자체가 모델에게 완전한 정보를 제공하고 있는지 간접적으로 확인할 수 있습니다.

3. LLM 학습 데이터셋에 대한 평가 및 개선 프로세스

ISO/IEC 5259는 데이터 품질 평가를 일회성 활동이 아닌, 데이터 수명 주기(DLC) 전반에 걸쳐 지속적으로 반복되는 순환적 프로세스(DQPF)로 규정합니다.

3.1. 데이터 수명 주기(DLC)에 따른 품질 관리

LLM 학습 데이터셋의 품질 관리는 다음 6단계의 DLC 모델에 따라 관리되어야 합니다.

1. 데이터 요구사항 (Data requirements): LLM 프로젝트(예: 과학기술 QA LLM)에 필요한 데이터 특성, 필요한 데이터 양, 허용 가능한 편향 수준 등을 정의하고, 관련 DQC 및 목표(Target)를 설정합니다.
2. 데이터 계획 (Data planning): 데이터 확보 및 준비를 위한 리소스, 시간, 아키텍처(데이터 모델)를 설계하고, DQ 측정 실행 계획을 수립합니다.
3. 데이터 확보 (Data acquisition): 계획에 따라 텍스트 데이터를 수집하며, 데이터의 출처(Provenance), 편향(Bias), 신뢰도 등을 고려합니다.
4. 데이터 준비 (Data preparation): 실질적인 품질 평가 및 개선 활동이 수행되는 핵심 단계입니다. 이 단계에서 데이터 정제(Cleaning), 변환, 레이블링/어노테이션, 그리고 데이터 품질 평가(Data quality assessment)가 이루어집니다.
5. 데이터 프로비저닝 (Data provisioning): 준비된 데이터를 LLM 학습 및 평가에 적용하고, 모델 성능 평가 결과에 따라 데이터 품질을 개선하기 위한 피드백을 이전 단계(준비/확보)로 제공합니다.
6. 데이터 폐기 (Data decommissioning): 사용이 종료된 데이터의 보관, 이전 또는 파기를 관리하며, PII(개인 식별 정보) 처리 및 규제 준수를 확인합니다.

3.2. 데이터 품질 개선 활동 (ISO/IEC 5259-4)

데이터 품질 평가(Evaluation) 단계에서 설정된 목표에 미달할 경우, ISO/IEC 5259-4에 명시된 데이터 품질 개선(Improvement) 프로세스를 적용해야 합니다. LLM 텍스트 데이터의 경우 다음과 같은 방법론이 적용될 수 있습니다:

• 데이터 클리닝 (Data Cleaning): 불완전, 부정확하거나 관련 없는 텍스트 데이터를 제거하거나 수정합니다. 데이터셋을 결합하여 발생한 중복 레코드를 제거하거나, 잘못된 형식의 텍스트 데이터 항목을 수정하는 활동을 포함합니다.
• 데이터 증강 (Data Augmentation): 데이터셋의 양이나 다양성을 증가시켜 불균형(Balance) 문제를 해결하고 모델의 일반화 성능을 높입니다.
  • 텍스트 데이터 증강 방법: 동의어 대체(Synonym replacement), 엔티티 대체(Entity replacement), 백 트랜슬레이션(Back translation), 문장 순서 교란(Disrupting sentence order), 또는 생성형 모델을 이용한 문장 생성(Generating sentences) 등이 있습니다.
• 결측치 처리 (Data Imputation): 텍스트 데이터의 결측값(Null data items)을 통계적 방법(평균, 중앙값, 최빈값)이나 반복적인 다변량 대체(Iterative Imputer)를 사용하여 적절한 값으로 채웁니다.
• 데이터 비식별화 (Data De-identification): 학습 데이터에 PII(예: 이름, IP 주소)가 포함된 경우, 익명화, 가명화, 집계(Aggregation) 등의 방법을 적용하여 데이터 주체의 프라이버시를 보호합니다.

4. 실제 사례: ISO/IEC 5259 기반 LLM 학습 데이터셋 평가 및 관리

제공된 자료는 ISO/IEC 5259 표준을 LLM 학습 데이터셋에 적용하기 위한 구체적인 'Agentic AI Data Scientist (AADS)' 플랫폼 개발 사례를 제시하고 있습니다. 이 사례는 LLM 텍스트 데이터를 어떻게 평가하고 관리해야 하는지에 대한 실질적인 청사진을 제공합니다.

4.1. 프로젝트 목표 및 평가 항목

AADS 플랫폼은 데이터 수집, 품질 진단, 개선, 규제 보고까지 전 과정을 자율 에이전트(Autonomous Agent)로 자동화하는 것을 목표로 합니다. 이 프로젝트의 LLM 학습 데이터셋 평가에는 다음과 같은 항목이 포함됩니다.

4.2. ISO/IEC 5259 프로세스 적용 시나리오

이 사례에서 ISO/IEC 5259는 다음과 같이 적용됩니다.

1. 계획 및 요구사항 정의: AADS는 AI 프로젝트의 요구사항(예: 로봇/제조/공공 도메인 특화 LLM)을 기반으로 균형성, 대표성, 다양성 등 ISO/IEC 5259-2의 AI 특화 지표를 핵심 진단 기능으로 정의하고 목표 QI를 설정합니다.
2. 평가 및 진단: 개발된 텍스트 품질 진단 LLM(AADS-LLM)이 텍스트 학습 데이터셋을 분석하고, ISO/IEC 5259-2 기반의 품질 지표(QI)를 측정합니다. 특히, 데이터셋의 편향성, 대표성 부족, 데이터 드리프트 가능성 등의 문제를 정량적 지표와 시각화를 통해 파악합니다.
3. 개선 활동 자동화: 평가 결과, 품질 문제가 발견되면 AADS는 ISO/IEC 5259-4에 명시된 데이터 정제(Data cleaning), 데이터 증강(Data augmentation), 결측치 처리(Imputation) 등의 개선 활동을 자율적으로 수행합니다. 예를 들어, 불균형 문제 해결을 위해 데이터 증강이나 재샘플링 같은 구체적인 전략을 자동으로 추천할 수 있습니다.
4. 거버넌스 및 보고: AADS는 수행하는 모든 데이터 품질 활동의 로그, 의사결정 과정, 최종 결과를 자동으로 기록하며, ISO/IEC 5259-5의 거버넌스 프레임워크를 내재화하여 감사 준비된 (audit-ready) 컴플라이언스 리포트를 생성합니다. 이를 통해 AI 모델의 투명성과 책임성을 보장합니다.

4.3. LLM 학습 데이터셋의 품질 정량화: QI 지수

ISO/IEC 5259 표준은 데이터 품질 측도(Measure)들의 값 범위를 특정 등급으로 정의하지 않으며, 기준은 사용 목적과 컨텍스트에 따라 달라집니다.

AADS 사례에서는 각 품질 지표의 점수를 산출한 후, 이를 종합하여 가중치 기반의 단일 종합 품질 점수(QI)를 도출하는 모델을 적용합니다.

여기서 $s_i$는 각 품질 지표(metric)의 정규화된 점수(0과 1 사이), $w_i$는 해당 지표의 중요도를 나타내는 가중치($\sum w_i = 1$)입니다. LLM 학습 데이터셋의 경우, 텍스트 데이터의 활용 목적에 따라 가중치($w_i$)가 달라집니다.

• 가중치 설정 예시: 로봇 작업지시서 텍스트 데이터의 경우, 명령어의 일관성(Consistency)과 완전성(Completeness)에 높은 가중치를 부여할 수 있습니다 (예: $w_{\text{consistency}}=0.4$, $w_{\text{completeness}}=0.3$).

5. 거버넌스 및 규제 대응을 통한 신뢰 확보

ISO/IEC 5259는 단순한 기술적 평가를 넘어, 데이터 품질 활동이 조직 전체의 전략적 방향성과 연계되도록 거버넌스 체계를 강조합니다.

5.1. 거버넌스 프레임워크 (ISO/IEC 5259-5)

ISO/IEC 5259-5는 조직의 거버닝 바디(Governing body)와 경영진(Management)의 역할과 책임을 명확히 정의하여 데이터 품질 전략이 비즈니스 목표와 일치하도록 보장합니다.

• 거버닝 바디의 역할: 데이터 품질 전략 수립, 조직의 비즈니스 목표(ML 지원 비즈니스 목표)와 데이터 품질 목표를 연계하도록 지시 및 감독.
• 경영진의 역할: 데이터 품질 전략 이행, 포괄적인 데이터 품질 정책 수립 및 강제, 데이터 품질 관리 프로세스(ISO/IEC 5259-3) 구현, 위험 관리 시스템 구축.

5.2. 규제 준수 및 감사 (Auditability)

AI 시대에는 감사 가능한 데이터 품질이 필수적인 비즈니스 요건이 됩니다. ISO/IEC 5259 표준을 준수하는 LLM 데이터 평가 솔루션은 다음과 같은 경쟁 우위를 가집니다.

• 감사 가능성 확보: ISO/IEC 5259-2는 감사 가능성(Auditability)과 추적성(Traceability)을 중요한 품질 특성으로 정의합니다. 이는 LLM 데이터가 어디서 왔고, 어떻게 처리되었는지에 대한 기록(Data provenance)을 유지하는 것을 요구합니다.
• 자동 리포팅: AADS 사례에서 보듯이, ISO 42001(AI 경영시스템 국제 표준)의 핵심 통제 항목에 대한 증빙 자료(로그, 리포트)를 자동으로 생성하는 기능은 규제가 강한 산업(금융, 헬스케어)의 엔터프라이즈 고객에게 '신뢰'와 '책임성'을 제공하는 핵심 요소가 됩니다.

ISO/IEC 5259 표준은 LLM 텍스트 데이터의 품질을 단순히 정확성이나 완전성을 측정하는 것을 넘어, AI 시대의 고유한 문제인 편향성, 일반화 성능, 그리고 규제 준수 문제를 체계적으로 해결할 수 있는 포괄적인 청사진을 제공합니다.