본 보고서는 ISO/IEC 5259-2:2024의 품질측정기준(QM, Quality Measure)을 WikiArt 이미지 데이터셋에 독립적으로 적용한 평가입니다. DataClinic의 3단계 진단 결과를 ISO QM 항목의 정의에 따라 매핑하고, 각 항목별로 독자적으로 해석 및 판정합니다. 특히 이 보고서에서는 DataClinic API의 텍스트 설명과 실제 차트 데이터 사이의 4가지 불일치를 비판적으로 지적합니다.

Com-ML-1 — 클래스 완전성: 주의

WikiArt는 27개 미술 사조를 포함하고 있어 서양 미술사의 주요 흐름을 폭넓게 다루고 있습니다. 그러나 일부 희귀 사조의 샘플 수가 ML 학습에 부적합한 수준입니다. Action Painting(98장), Analytical Cubism(98장), Synthetic Cubism(120장)은 딥러닝 모델의 최소 학습 요건(통상 300장 이상)에 크게 못 미칩니다. 27개 사조가 모두 "존재"하지만, 일부는 실질적으로 학습 불가능한 수준이므로 완전한 Pass를 줄 수 없습니다.

Con-ML-2 — 픽셀 채널 일관성: 주의

L1 픽셀 히스토그램(아래)에서 RGB 채널 간 분포가 극적으로 다른 양상을 보입니다. Blue 채널은 30-40 구간에서 뚜렷한 좌편향 정점을 나타내고, Red 채널은 이중봉 구조에 255 부근 스파이크가 존재하며, Green은 비교적 완만한 중간 분포를 보입니다.

이러한 분포는 미술사적으로 설명 가능합니다. Blue 저값은 전통 회화의 갈색 그라운드(유화 바탕)에서 기인하고, Red 255 스파이크는 카드뮴 레드, 주사(朱砂) 등 고채도 안료의 순색이 디지털 이미지에서 포화되는 현상입니다. 예술적으로 유의미하지만, ML 파이프라인에서 채널 정규화 전략이 필요함을 의미합니다.

▲ L1 픽셀 히스토그램 — Blue(좌편향 30-40), Red(이중봉 + 255 스파이크), Green(중간 완만). 채널별 극적 차이 확인

Bal-ML-1 — 133배 클래스 불균형

ISO 5259-2의 Bal-ML-1은 클래스별 샘플 수의 균형 정도를 측정합니다. 통상 최대/최소 비율이 10:1을 초과하면 심각한 불균형으로 간주됩니다. WikiArt의 Impressionism(13,060장) 대 Analytical Cubism(98장) 비율은 133:1로, 이는 재활용 데이터셋 SpectralWaste의 19.6:1보다 약 7배 더 심각한 수준입니다.

더 구조적인 문제는 표준편차(3,269)가 평균(3,016)을 초과한다는 점입니다. 이는 "평균적인 클래스"라는 개념 자체가 무의미함을 뜻합니다. 데이터셋이 소수의 대형 사조(인상주의, 사실주의, 낭만주의)와 다수의 소형 사조(큐비즘 계열, 미니멀리즘)로 이분되어 있습니다.

이 불균형은 미술사적으로 필연적입니다. 인상주의는 19세기 후반 수십 년간 유럽 전역에서 수천 명의 화가가 참여한 대중적 운동이었고, 분석적 큐비즘은 1907-1912년 피카소와 브라크 두 명이 주도한 단기 실험이었습니다. 그러나 미술사적 필연이 ML 학습 문제를 면제하지 않습니다. 모델은 Analytical Cubism을 거의 학습하지 못한 채 Impressionism에 과적합될 것입니다.

Eft-ML-1 — L2에서 클래스 분리 불가

ISO 5259-2의 Eft-ML은 데이터셋의 각 클래스가 학습을 통해 구분 가능한지를 평가합니다. L2 범용 렌즈(Wolfram ImageIdentify Net V2, 1280차원) PCA와 등고선에서 27개 클래스가 하나의 연결된 구름을 형성합니다. 클래스 간 경계가 전혀 보이지 않으며, 이는 범용 형태 인식 AI가 미술 사조를 시각적으로 구분하지 못한다는 것을 의미합니다.

DataClinic은 L2 Geometry 등급을 "좋음(Good)"으로 평가했지만, 이는 차트 데이터와 일치하지 않습니다(아래 불일치 D3 참조).

Acc-ML-7 — 라벨 정확도 실패

두 가지 유형의 라벨링 오류가 관찰됩니다.

1. 체계적 사조 오분류: Salvador Dali의 작품이 Abstract Expressionism으로 라벨링되어 있습니다. Dali는 미술사에서 명확하게 Surrealism으로 분류되며, Abstract Expressionism과는 시대, 지역, 기법 모두에서 구분됩니다. 이러한 오류가 개별 사례를 넘어 체계적으로 존재할 가능성을 시사합니다.

2. 매체 혼입: Pop Art 클래스에 전통 회화뿐 아니라 설치미술 사진, 건축 사진 등 회화가 아닌 이미지가 혼입되어 있습니다. "예술 = 회화"라는 암묵적 가정이 Pop Art 장르에서 무너지며, 이는 L3 분석에서 Pop Art의 극단적 분리로 이어집니다.

Sim-ML-2 — Minimalism과 Color Field Painting의 융합

Sim-ML-2는 서로 다른 클래스의 샘플들이 임베딩 공간에서 지나치게 가까운 경우를 측정합니다. L2 분석에서 Minimalism과 Color Field Painting이 거의 동일한 위치에 군집합니다. 이 두 사조는 미술사에서도 밀접하게 연결되어 있으며(1960년대 뉴욕, 색면과 기하학적 단순성을 공유), 범용 형태 인식 AI가 양자를 구분하지 못하는 것은 어느 정도 예측 가능합니다.

그러나 ML 관점에서 이 두 클래스를 별도 클래스로 유지하면 분류기가 경계를 학습하지 못합니다. 클래스 병합 또는 계층적 라벨링(Minimalism → "기하학적 추상" 상위 카테고리)을 검토해야 합니다.

▲ L2 등고선 — 하나의 연속 질량 내 2개 밀도 중심. 27개 클래스가 분리되지 않고 단일 구름을 형성

Rep-ML-1 — L2 특징 공간: Minimalism/Color Field 편향

L2 범용 렌즈의 특징 공간 핵심부(고밀도 영역)를 Minimalism과 Color Field Painting이 지배합니다. 이 두 사조는 시각적으로 단순한 구성(단색 화면, 기하학적 형태)을 특징으로 하며, 범용 형태 인식 AI에서 "가장 보편적인 시각 패턴"으로 해석됩니다.

그 결과, 27개 사조의 풍부한 시각적 다양성(Baroque의 극적 명암, Ukiyo-e의 판화 질감, Expressionism의 왜곡된 형태)이 특징 공간에서 적절히 대표되지 못합니다. 이는 범용 렌즈의 한계이자, 동시에 데이터셋의 대표성 부족을 보여줍니다.

▲ L2 Box Chart — 클래스별 밀도 분포. Minimalism/Color_Field_Painting의 고밀도 편중 확인

Div-ML-1 — L2에서 다양성 실패

ISO 5259-2의 Div-ML-1은 데이터셋의 실효 차원수와 특징 분포의 다양성을 측정합니다. L2 범용 렌즈에서 27개 미술 사조가 하나의 연속 구름으로 뭉쳐 있다는 것은, 이 렌즈 관점에서 "미술 사조 다양성"이 존재하지 않는다는 뜻입니다.

Wolfram ImageIdentify Net은 일상 객체 분류를 위해 학습된 범용 모델입니다. 이 모델에게 모든 회화는 "이미지"라는 단일 카테고리에 가깝습니다. 사조 간 차이(붓터치, 색감, 구도)는 이 렌즈의 1280차원 공간에서 미세한 차이로만 나타나, 클래스 분리가 이루어지지 않습니다.

▲ L3 등고선 — BLIP 렌즈에서는 L2와 달리 구조가 드러남. Pop Art 극적 분리 + 시대별 층화