• 공통 품질 특성 (Accuracy, Completeness, Consistency, Credibility, Currentness 등) — 데이터 유형과 무관한 기본 품질. 파일이 열리는가, 중복이 있는가, 메타데이터가 완전한가를 측정한다.
• AI/ML 추가 품질 특성 (Balance, Diversity, Effectiveness, Similarity, Representativeness) — 이미지 ML에 특화된 분포 품질. 클래스 균형, 특징 공간 내 대표성, 샘플 독립성을 측정한다.
• 작업별 확장 — 검출 데이터셋의 IoU, VLP 데이터셋의 CLIP 유사도 등 라벨과 주석의 품질을 작업 유형에 맞춰 측정한다.

유형 A 순수 이미지 (주석 없음)

생성 AI 학습용 이미지, 비지도 학습용 데이터셋이 여기에 해당한다. 라벨이 없으므로 라벨 관련 QM은 적용되지 않는다.

핵심 관심사: 픽셀 품질, 중복 제거, 분포 균형, 대표성
적용 QM: Com-ML-1, Con-ML-1, Cre-ML-1, Bal-ML-1/2, Sim-ML-1/2/3, Rep-ML-1

유형 B 분류/검출/세그멘테이션 주석 포함

ImageNet(분류), COCO(검출), Cityscapes(세그멘테이션) 등 지도학습 데이터셋이다. 유형 A의 모든 QM에 더해 라벨 품질 QM이 추가된다.

핵심 관심사: 라벨 정확도, 클래스 균형, 바운딩 박스 품질
추가 QM: Acc-ML-6(IoU), Acc-ML-7(라벨 정확도), Bal-ML-3/4/5/6/7/8, Div-ML-1/2/3

유형 C 이미지-텍스트 쌍 (VLP/CLIP/캡셔닝)

LAION-400M, COCO Captions, Conceptual Captions 등 이미지와 텍스트가 쌍을 이루는 데이터셋이다. 이미지-텍스트 간 의미 정합성이 핵심이다.

핵심 관심사: 이미지-텍스트 의미 정합성, 캡션 완전성
추가 QM: Acc-ML-2(CLIP 유사도), Com-ML-2(객체 존재 확인), Con-ML-2(라벨 일관성)

Com-ML-1 Value Completeness — 파일 무결성 ✅ L1 자동

정의: 이미지 파일이 정상적으로 열리고 읽힐 수 있는 비율

측정: 파일 헤더 파싱 성공 수 / 전체 파일 수

이미지 적용: PIL/OpenCV로 파일 읽기 시도. IOError 발생 시 null 값으로 처리한다.

Com-ML-2 Value Occurrence Completeness — 객체 존재 확인 ❌ 외부

정의: 주석에서 지정한 객체가 실제로 이미지에 존재하는 비율

측정: 객체 검출 모델로 확인된 이미지 수 / 전체 주석 이미지 수

이미지 적용: YOLO/Faster-RCNN으로 주석 클래스 객체 탐지 확인. 유형 B/C에만 해당한다.

Com-ML-3 Feature Completeness — 특징 완전성 ❌ 외부

정의: 이미지에 특정 특징(마스크, bbox, 키포인트)이 누락 없이 주석된 비율

주석 스키마 검증이 필요하다.

Com-ML-4 Record Completeness — 메타데이터 완전성 ⚠️ 부분

정의: 메타데이터 필드(촬영일시, 해상도, 카메라 정보 등)가 누락 없는 비율

DataClinic은 파일 메타 읽기를 부분 지원한다.

Com-ML-5 Label Completeness — 라벨 완전성 ✅ L1 자동

정의: 전체 이미지 중 라벨이 부여된 비율 (지도학습 전용)

측정: 라벨 있는 이미지 / 전체 이미지

Con-ML-1 Data Record Consistency — 중복 이미지 ✅ L1 자동

정확한 중복: SHA-256 해시로 바이트 단위 동일 파일을 검출한다.

유사 중복: pHash(Perceptual Hash), dHash를 사용한다. pHash 거리 < 10이면 중복으로 간주한다.

Con-ML-2 Data Label Consistency — 라벨-이미지 일관성 ⚠️ L2/L3

동일한 시각적 패턴이 다른 라벨을 받는 경우를 탐지한다. pHash 유사 이미지 쌍에서 라벨 불일치를 확인한다.

DataClinic은 L2/L3에서 유사 샘플의 라벨 불일치를 시각화한다.

Con-ML-3 Data Format Consistency — 포맷 일관성 ✅ L1 자동

RGB vs Grayscale 혼재 비율, 채널 수 통일성(1ch vs 3ch vs 4ch)을 측정한다.

Con-ML-4 Semantic Consistency — 의미 이상 탐지 ❌ 외부

이미지 내 논리적 비정합을 탐지한다. 예를 들어 여름 장면인데 눈 배경이 있는 경우다.

Qwen-VL, LLaVA 등 멀티모달 LLM 기반 검증이 필요하다.

Cre-ML-1 Values Credibility — 픽셀 품질 ⚠️ L1 부분

BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator): 낮을수록 좋다 (0~100).

Laplacian Variance: 흐림(블러) 감지에 사용한다. 값이 낮으면 블러다.

워터마크 탐지: template matching 또는 CLIP 기반으로 수행한다. DataClinic은 밝기/채도 분포를 지원하지만, BRISQUE는 외부 도구가 필요하다.

Cre-ML-2 Source Credibility — 데이터 출처 신뢰성 〰️ 수동

C2PA(Content Credentials) 디지털 서명 확인, 검증된 공급자 메타데이터 확인이 필요하다.

Cre-ML-3 Data Dictionary Credibility — 데이터 사전 일관성 〰️ 수동

헤더 메타데이터와 주석 파일 속성 매핑을 확인한다.

Cre-ML-4 Data Model Credibility — 표준 스키마 준수 ❌ 외부

COCO JSON, Pascal VOC XML, YOLO TXT 형식 준수 여부를 검증한다.

Acc-ML-3 Data Accuracy Assurance — 품질 보증 〰️ 수동

검증된 출처에서 수집된 데이터 비율과 전문가 이중 검토가 완료된 비율을 측정한다.

Acc-ML-4 Risk of Dataset Inaccuracy — 부정확성 리스크 (RPN) ⚠️ L2/L3

FMEA 기반 위험 우선 순위를 계산한다.

\[ \text{RPN} = S \times O \times D \]

여기서 \(S\)는 심각도(Severity), \(O\)는 발생빈도(Occurrence), \(D\)는 탐지용이성(Detection)이다.

이미지 위험 유형: 라벨 오류, 클래스 누락, 블러/노이즈, 메타데이터 오류, 클래스 편향. DataClinic은 이상치 탐지를 통해 발생빈도(\(O\))를 추정할 수 있다.

Acc-ML-5 Data Model Accuracy — 온톨로지 정합성 ❌ 외부

클래스 계층 구조가 도메인 온톨로지(WordNet, ImageNet 계층 등)와 일치하는지 확인한다.

Bal-ML-1 Brightness Balance — 밝기(평균 픽셀값) 분포의 변동 계수 ✅ L1

\[ CV_{\text{brightness}} = \frac{\sigma_{\text{brightness}}}{\mu_{\text{brightness}}} \]

Bal-ML-2 Resolution Balance — 해상도 분포 균일성 ✅ L1

Sim-ML-1 Sample Similarity — 특징 공간 내 샘플 간 평균 cosine 유사도 ✅ L2/L3

Sim-ML-2 Samples Tightness — 클러스터 응집도 (고밀도 영역 집중도) ✅ L2/L3

Sim-ML-3 Samples Independency — 최근접 이웃 거리 분포로 독립성 측정 ✅ L2/L3

Rep-ML-1 Representativeness — 고밀도 클러스터가 전체를 대표하는지 측정 ✅ L2/L3

특징 공간 내 편향을 탐지한다. Antoine Blanchard 효과(특정 시각적 패턴 과대 대표), 공작새 효과(화려한 샘플 과집중) 등이 여기에 해당한다.

Eft-ML-1 Feature Effectiveness — 특징 유효성 (클래스 간 분리 가능성) ✅ L2/L3

Eft-ML-2 Class Size Effectiveness — 클래스 크기가 학습에 효과적인지 ✅ L2/L3

Eft-ML-3 Label Effectiveness — 라벨이 특징 공간에서 효과적으로 구분되는지 ✅ L2/L3

Acc-ML-7 라벨 정확도 ✅ L2/L3

ViT/ResNet 임베딩 공간에서 각 샘플의 클래스 중심까지 거리를 계산한다. 다른 클래스 중심에 더 가까운 샘플은 라벨 오류 후보다.

ImageNet 사례: Northcutt et al. 2021 — 6% 오류율, 약 85,870장의 라벨 오류가 발견되었다. DataClinic은 L2/L3에서 저밀도 샘플 탐지를 통해 이런 오류 후보를 자동으로 식별한다.

Bal-ML-3 클래스 간 균형 ✅ L1

최대 클래스 수 / 최소 클래스 수로 불균형 비율을 계산한다.

실제 사례: SpectralWaste 19.6:1, WikiArt 133:1. 불균형 비율이 높을수록 소수 클래스의 학습이 어려워진다.

다양성 (Diversity) — Div-ML-1/2/3 ✅ L1

Div-ML-1 Label Richness — 데이터셋의 총 고유 클래스 수

Div-ML-2 Relative Label Abundance — 평균 클래스당 샘플 수

Div-ML-3 Category Size Diversity — 클래스별 샘플 수 분포의 다양성

라벨 분포 — Bal-ML-7/8 ❌ 외부

Bal-ML-7 Label Proportion Balance — 전체 라벨 중 각 클래스 비율의 균등성

Bal-ML-8 Label Distribution Balance — 이미지당 라벨 수 분포 균등성 (멀티라벨 분류용)

Acc-ML-6 바운딩 박스 정확도 (IoU) ❌ 외부

\[ \text{IoU} = \frac{|\text{Pred} \cap \text{GT}|}{|\text{Pred} \cup \text{GT}|} \geq \text{threshold} \]

threshold는 보통 0.5(AP50) 또는 0.75(AP75)를 사용한다. 이중 주석(dual annotation) + 전문가 검토로 검증한다.

바운딩 박스 균형 — Bal-ML-4/5/6 ❌ 외부

Bal-ML-4 Bbox H/W Ratio Balance — 바운딩 박스 높이/너비 비율 분포 균등성. 세로형 vs 가로형 객체 불균형을 탐지한다.

Bal-ML-5 Bbox Area Balance by Category — 클래스별 평균 bbox 면적 균등성. 작은 객체 vs 큰 객체 클래스 불균형을 측정한다.

Bal-ML-6 Bbox Area Balance by Sample — 샘플당 bbox 총 면적 분포 균등성.

Acc-ML-1 Syntactic Accuracy — 캡션 문법 정확도 ❌ 외부

캡션 텍스트의 문법 오류, 특수문자 오염을 탐지한다. 텍스트 처리 도구가 필요하다.

Acc-ML-2 Semantic Accuracy — CLIP 의미 정확도 ✅ L3

\[ \text{CLIP cosine similarity}(\text{image}, \text{text}) \geq \text{threshold} \]

threshold는 보통 0.25~0.30을 사용한다. DataClinic L3에서 BLIP 이미지-텍스트 매칭을 지원한다.

Con-ML-2 라벨-이미지 일관성 ⚠️ 부분

동일 캡션이 다른 이미지에 사용된 경우를 탐지한다. DataClinic은 부분적으로 지원한다.