Executive Summary

왕산들사거리는 청계지하차도사거리 방면에 설치된 고정 CCTV가 24시간 촬영하는 교차로입니다. 공공 교통 영상분석 협회가 제공한 이 데이터셋은 해당 CCTV에서 추출한 61,545장의 프레임으로 구성되어 있습니다. 해상도는 1280x720 RGB, 총 용량은 약 20GB입니다.

특이한 점은 이 데이터셋에 라벨이 없다는 것입니다. 차량, 보행자, 신호등 같은 객체 레이블이 붙어 있지 않고, 단일 클래스로만 구성되어 있습니다. 그렇다면 라벨이 없는 데이터에 진단이 필요할까요? DataClinic은 라벨 없이도 데이터의 내부 구조를 들여다봅니다.

아래는 DataClinic이 생성한 콜라주입니다. 6만 장의 프레임 중 대표적인 샘플들을 한눈에 볼 수 있습니다. 같은 교차로를 촬영했지만, 밝은 주간 장면과 어두운 야간 장면이 섞여 있는 것이 눈에 띕니다.

▲ DataClinic 콜라주 — 왕산들사거리 61,545장 중 대표 샘플

DataClinic Level 1은 데이터의 기본 무결성을 검사합니다. 이미지 크기, 채널 수, 결측값 여부, 클래스 균형 등을 확인하는 단계입니다. 왕산들사거리 데이터셋은 이 단계를 깨끗하게 통과합니다. 61,545장 모두 1280x720 RGB로 일관되고, 결측값은 0개, 단일 클래스이므로 균형 문제도 없습니다.

그렇다면 L1을 통과한 데이터에 왜 추가 진단이 필요할까요? 답은 평균 이미지(Mean Image)에 있습니다. 6만 장을 픽셀 단위로 평균하면, 변하지 않는 것과 변하는 것이 극명하게 분리됩니다.

아래 평균 이미지를 보면 차선과 도로 구조는 선명하게 남아 있지만, 차량은 유령처럼 흐릿합니다. 이것은 차선은 고정된 배경이고 차량은 위치가 계속 바뀌는 전경이라는 뜻입니다. 즉, 이 데이터 안에는 "항상 같은 것"과 "매번 다른 것"이 공존하고 있으며, 그 비율과 분포가 AI 학습 품질을 결정합니다.

▲ 전체 평균 이미지 — 차선은 선명하고 차량은 유령처럼 흐릿하다

Level 2는 사전학습된 범용 AI 모델(ImageNet 기반)의 눈으로 데이터를 분석합니다. 각 이미지를 고차원 임베딩 공간에 투영한 뒤, PCA로 2차원으로 압축하면 데이터의 전체 구조가 드러납니다.

3.1 PCA 분포 — 두 클러스터의 분리

아래 L2 PCA 차트를 보면, 6만 장의 데이터가 두 개의 뚜렷한 덩어리로 나뉩니다. 하나의 교차로를 촬영했는데 AI는 이것을 완전히 다른 두 장소로 인식하고 있는 것입니다. 왼쪽 클러스터는 주간 이미지, 오른쪽 클러스터는 야간 이미지입니다.

▲ L2 PCA 분포 — 데이터가 두 개의 클러스터로 분리된다

3.2 밀도 분포 — 핫스팟과 주변부

밀도 차트는 임베딩 공간에서 이미지들이 얼마나 밀집해 있는지를 보여줍니다. 고밀도 핫스팟이 2개 이상 관찰되며, 그 사이에 저밀도 주변부가 존재합니다. 이것은 데이터 분포가 연속적이지 않고 불연속적인 간극을 갖고 있다는 뜻입니다.

▲ L2 밀도 분포 — 핫스팟 사이 저밀도 간극이 보인다

3.3 고밀도 vs 저밀도 — 주간과 야간의 단면

두 클러스터의 실체를 확인하기 위해, 밀도가 가장 높은 이미지(전형적)와 가장 낮은 이미지(이상치)를 나란히 비교합니다. 고밀도 이미지는 주간, 맑은 날씨, 차량이 적고 차선이 선명합니다. 저밀도 이미지는 야간, 헤드라이트 글레어, 차량이 밀집하고 보행자가 횡단하는 장면입니다.

고밀도 샘플 (주간, 전형적)

00003743 0.698

00003741 0.697

00058613 0.694

00058624 0.693

저밀도 샘플 (야간, 이상치)

00050330 0.136

00048385 0.152

00050663 0.154

00050352 0.179

▲ 위: 주간 고밀도 샘플 (전형적) / 아래: 야간 저밀도 샘플 (이상치) — 같은 교차로의 완전히 다른 두 얼굴

Level 3는 범용 렌즈 대신 835차원 도메인 최적화 렌즈를 사용합니다. 해당 데이터셋의 특성에 맞게 파인튜닝된 임베딩 공간에서 데이터를 다시 관찰합니다. L2에서 포착된 주간/야간 이분화가 L3에서는 어떻게 달라지는지가 핵심입니다.

4.1 L3 PCA — 더 뚜렷한 분리

L3 PCA 차트에서 두 클러스터의 분리는 L2보다 더 선명해집니다. 도메인 최적화 렌즈가 교통 영상의 특성을 더 정밀하게 포착하기 때문입니다. 주간과 야간 사이의 간극이 더 넓어졌다는 것은, 이 두 조건이 AI 관점에서 근본적으로 다른 도메인이라는 의미입니다.

▲ L3 PCA 분포 — 835차원 도메인 최적화 후, 두 클러스터 분리가 더 뚜렷하다

4.2 L3 밀도 — 세분화된 하위 구조

L3 밀도 차트에서는 L2의 2개 핫스팟이 3개 이상으로 세분화됩니다. 주간 클러스터 내부에서도 맑은 날과 흐린 날, 또는 이른 아침과 한낮이 구분되기 시작합니다. 야간 클러스터 역시 헤드라이트 방향이나 차량 밀도에 따라 하위 구조가 형성됩니다.

▲ L3 밀도 분포 — L2의 2개 핫스팟이 3개 이상으로 세분화되었다

이 데이터셋에는 한 가지 더 중요한 문제가 숨어 있습니다. DataClinic의 nearest(가장 유사한) 이미지 분석에서, 상위 유사 이미지들이 연번으로 몰려 있습니다.

▲ 연번 프레임 00003741~00003745 — 거의 동일한 주간 교차로 장면이 5장의 "독립" 데이터로 취급된다

00003741, 00003742, 00003743 — 이것은 같은 시간대에 연속으로 촬영된 프레임입니다. 비디오 CCTV에서 초당 수십 프레임이 추출되므로, 인접 프레임끼리는 거의 동일한 장면을 담고 있습니다. 또 다른 연번 그룹인 00058638~00058642도 마찬가지입니다.

반대로, farthest(가장 다른) 이미지들은 야간 장면에 집중되어 있습니다. 00039949(density 0.268), 00050352(0.179), 00050330(0.136) — 이 이미지들은 전형적인 주간 패턴과 가장 동떨어진, 헤드라이트 글레어가 강하고 차량이 밀집한 야간 장면입니다.

왕산들사거리 데이터셋의 주간/야간 이분화와 비디오 프레임 중복이 실제 AI 시스템에 미치는 영향을 시나리오별로 살펴봅니다. 이것은 가상의 이야기가 아닙니다. 교통 영상 데이터로 학습하는 모든 자율주행, 스마트 시티, 교통 관제 AI에 해당하는 현실적인 위험입니다.

시나리오 1: 주간 편향 학습

고밀도(전형적) 이미지가 주간에 집중되어 있으므로, AI는 "교차로 = 밝고 한산한 도로"로 학습합니다. 주간 테스트에서는 높은 정확도를 기록하지만, 이것은 데이터의 주류를 반영한 결과일 뿐 실제 일반화 성능이 아닙니다.

시나리오 2: 야간 성능 급락

야간 이미지는 저밀도 이상치로 분류되어 학습 시 영향력이 약합니다. 결과적으로, 야간 교차로에서 보행자 횡단, 차량 정체, 신호 변경 같은 핵심 상황을 인식하지 못합니다. 가장 위험한 시간대에서 가장 낮은 성능을 보이는 역설이 발생합니다.

시나리오 3: Sim-to-Real Gap

혼합 교통 시뮬레이션에서 이 데이터의 주간 분포만 학습한 가상 환경은, 실제 야간 교차로 상황을 재현하지 못합니다. 시뮬레이터와 현실 사이의 간극(Sim-to-Real Gap)이 데이터 수집 단계에서 이미 시작되는 것입니다. 이것은 혼합 교통 AI 시뮬레이션 리포트에서 지적한 Evaluation Crisis의 데이터 버전입니다.

왕산들사거리 데이터셋은 라벨이 없는 단일 클래스 데이터입니다. 클래스 분류도, 객체 검출 레이블도 없습니다. 그럼에도 DataClinic은 이 데이터 안에 숨겨진 환경 조건별 하위 구조를 정밀하게 포착했습니다.

같은 교차로에서 촬영한 6만 장이 주간과 야간이라는 두 개의 세계로 갈라지고, 연속 프레임 중복이 실질적 다양성을 떨어뜨리며, 이 데이터로 학습한 AI가 야간 교차로에서 실패할 수 있다는 사실은, 데이터 품질 진단이 라벨 유무와 무관하게 필수적이라는 것을 보여줍니다.

아래는 DataClinic으로 진단한 다른 데이터셋들과의 구조적 비교입니다. 도메인과 클래스 수가 달라도, "데이터 내부의 숨겨진 구조"라는 공통 과제가 존재합니다.

DataClinic 진단의 핵심 가치는 "라벨에 의존하지 않는 데이터 품질 분석"입니다. 라벨이 있든 없든, 이미지가 1천 장이든 6만 장이든, 데이터의 내부 구조를 먼저 이해하지 않으면 학습 결과를 예측할 수 없습니다. 왕산들사거리 사례가 그것을 증명합니다.

References

• [1] DataClinic Report #204 — 왕산들사거리 공공 교통 영상. dataclinic.ai/en/report/204
• [2] 혼합 교통 AI 시뮬레이션 리포트 — Evaluation Crisis와 Sim-to-Real Gap. /report/mixed-traffic-ai-simulation/ko/
• [3] DataClinic Report #227 — PBLS_Drone_classification 드론 분류 진단. dataclinic.ai/en/report/227
• [4] DataClinic Report #225 — PBLS_Military_vehicle_3class 군사 차량 진단. dataclinic.ai/en/report/225