Executive Summary

감사원은 2025년 9월부터 12월까지 「인공지능산업 육성 실태Ⅲ(AI 학습용 데이터)」 감사를 실시했다. 대상은 과학기술정보통신부와 행정안전부, 개인정보보호위원회, 한국지능정보사회진흥원(NIA) 등이었고 결과는 2026년 8월 12일 공개됐다. 감사가 센 것은 두 가지다. 하나는 2017년부터 2024년까지 AI 학습용 데이터 구축 사업에 들어간 예산 1조 6328억 원이고, 다른 하나는 그렇게 만들어져 AI 허브에 공개된 데이터 908종이다(2025년 11월 기준).

두 숫자는 기준 시점이 다르다. 1조 6328억 원은 8년치 예산이고 908종은 특정 시점의 공개 종수다. 그러니 나눠서 데이터 한 종에 얼마가 들었다고 계산하는 것은 사실이 아니다. 다만 두 숫자가 함께 말해 주는 것은 있다. 이 사업이 그동안 스스로를 무엇으로 측정해 왔는가 하는 것이다. 예산 집행률과 구축 종수, 이 두 축으로 성과가 보고돼 왔고 2023년 833종에서 2025년 11월 908종으로 종수는 계속 늘었다.

그런데 이번 감사가 무대로 삼은 곳은 그 908종의 바깥이다. 26개 공공기관이 AI 허브가 아닌 자체 포털에 따로 공개한 데이터가 313종 있었다. 지자체와 공기업이 각자 예산을 받아 각자 만들고 각자의 사이트에 올린 데이터다. 이 313종은 908종과 한자리에서 검색되지 않는다. 어느 쪽에서 무엇을 만들었는지 서로 보이지 않는 상태에서, 두 목록은 각각 자라났다.

세지 못한 것은 그 반대편에 있다. 무엇이 이미 있는지, 그중 무엇이 다시 쓸 수 있는 상태인지는 이번 감사가 사람 손으로 표본을 뽑기 전까지 아무도 집계하지 않았다. 감사원 스스로 밝힌 대로 이 감사는 전수가 아니라 표본에 기초한다. 상위 20개 기관, 5개 기관 114종, 경기도와 한국도로공사 6종처럼 표본의 크기가 결과마다 다르게 붙는 이유다. 표본에서 이 정도가 나왔다는 사실이 전체를 확정하지는 않지만, 표본을 뽑기 전까지 아무도 몰랐다는 사실은 전체에 해당한다.

쓰이지 않는 데이터를 만들었다는 이야기로 읽으면 이 감사는 절반만 읽힌다. AI 허브 데이터는 2026년 7월까지 누적 151만 건 이상 활용됐다. 활용도가 큰 인프라이기 때문에, 여기 섞여 있는 중복과 결손은 조용히 아래로 퍼진다. 감사원의 총평도 낭비를 지적하는 데서 끝나지 않고 수요 쪽을 함께 가리킨다. 쓸 만한 데이터가 없다는 AI 기업의 호소가 계속되고 있으니 데이터의 양과 질을 함께 개선해야 한다는 것이다.

감사원이 확인한 중복은 두 가지 층위로 보고됐다. 하나는 묶음 단위다. 야생동물·생활폐기물·콘크리트 균열·계란 네 종류에서 과학기술정보통신부가 73억 8000만 원을 들여 데이터를 만든 뒤 5개 기관이 6억 1000만 원을 더 들여 비슷한 데이터를 만들었고, 알약·구강·자율주행 계열에서는 과기정통부가 2021년부터 2023년까지 233억 원을 쓴 사업과 별개로 식품의약품안전처를 포함한 3개 기관이 8억 4000만 원을 따로 투입했다. 다른 하나는 개별 데이터셋 단위이고, 이쪽이 중복의 모양을 더 정확히 보여 준다.

표를 세로로 읽으면 한 가지 특징이 눈에 들어온다. 나중에 만든 쪽은 모두 규모가 작다. 대전 서구는 9000장, 개인정보보호위원회는 1000장, 한국도로공사는 6만 장이다. 앞서 만들어진 15만 장과 14만 5140장, 33만 장에 비하면 훨씬 적은 양을 훨씬 적은 예산으로 만들었다. 큰 사업을 흉내 낸 것이 아니라, 자기 업무에 필요한 만큼을 각자 조달한 결과에 가깝다. 대전 서구는 생활폐기물 수거 행정에 쓸 이미지가 필요했을 것이고 한국도로공사는 도로 위 야생동물이 필요했을 것이다.

감사원이 지적한 표현은 사전 검토 체계의 부재다. 그런데 그 표현이 가리키는 실체는 회의체나 협의 절차의 부재가 아니다. SBS가 전한 감사원의 서술은 더 구체적이다. 각 기관이 사업계획을 세울 때 이미 구축된 데이터를 확인하지도 않은 채 개별적으로 사업을 수행했다는 것이다. 확인하지 않았다는 문장의 앞에는 확인할 수 있었다는 전제가 필요하다. 그 전제가 이 사건에서는 성립하지 않는다.

앞 절에서 본 대로 AI 허브의 908종과 26개 기관 자체 포털의 313종은 한자리에서 검색되지 않는다. 검색이 된다 해도 문제가 남는다. 어떤 조건에서 찍은 어떤 클래스의 이미지가 몇 장 들어 있는지 데이터셋 설명에 적혀 있지 않으면, 목록에서 제목만 보고 우리 업무에 쓸 수 있는지 판단할 수 없다. 독일의 오픈데이터 포털을 정량 평가한 연구도 같은 결론에 도달했다. 메타데이터에 의미 있는 설명이 빠져 있어 포털을 넘나드는 발견과 고유성 판정이 어렵다는 것이다. 카탈로그가 있어도 설명이 비면 못 찾는다.

여기에 이 감사가 남긴 공백을 하나 적어 둔다. 감사원이 유사하다고 판정한 기준이 무엇인지는 공개된 보도에 나오지 않는다. 픽셀 단위 비교인지 이미지 해시인지 클래스 구성의 겹침인지 알 수 없고, 감사 보고서 원문은 게시판이 자동으로 조회되지 않아 이 글도 확인하지 못했다. 방법론을 추정해서 쓸 생각은 없다. 다만 이 공백은 그 자체로 다음 절의 주제와 이어진다. 유사도 판정 기준이 공개되지 않으면 각 기관은 사업을 시작하기 전에 스스로 같은 검사를 해 볼 수 없고, 결국 4년 뒤에 감사로만 알게 된다.

감사원은 구축 실적 상위 20개 기관을 놓고 품질관리가 어디까지 이루어졌는지 확인했다. 결과는 세 개의 서로 다른 숫자로 보고됐다. 이 셋은 층이 다르므로 섞어 읽으면 안 된다. 품질관리 기준 자체가 없는 기관이 4곳, 납품 전 제3자 품질검증을 하지 않은 기관이 9곳, 제3자 검증은 물론 수행기관의 자체 점검조차 요구하지 않은 기관이 2곳이다. 마지막 2곳은 식품의약품안전처와 한국동서발전으로 실명이 확인됐다.

검사를 건너뛴 기관만 문제인 것도 아니다. 검사를 하려 해도 할 수 없는 데이터가 있었다. 5개 기관이 만든 114종 가운데 96종은 구문규칙규격서가 없었다. 규격서는 이 데이터가 어떤 필드로 이루어지고 각 필드가 어떤 형식을 지켜야 하는지 적어 둔 문서다. 그 문서가 없으면 기계가 대조할 기준선이 없으므로, 품질검사는 실행할 수 없는 작업이 된다. 84.2%라는 비율은 불합격률이 아니라 채점 자체가 불가능했던 비율이다.

검사가 가능했던 쪽의 성적도 기준에 못 미쳤다. 감사원이 경기도와 한국도로공사의 6종을 전문기관에 맡겨 표본 검증한 결과, 1종은 검사가 불가능했고 나머지 5종의 형식 정확성은 77.3%에서 99.2% 사이에 분포했다. 이 사업이 스스로 정한 기준값은 99.5%다. 100장 중 한 장이 규격을 어긴 정도라면 눈으로는 티가 나지 않지만, 학습 파이프라인은 그 한 장에서 멈추거나 조용히 잘못된 값을 읽는다.

기준도 도구도 이미 나와 있다

국제표준 쪽부터 보면 상황은 분명하다. ISO/IEC 5259 시리즈는 분석과 기계학습을 위한 데이터 품질을 다루는 표준으로, 개요와 용어(1부), 품질 측정(2부), 품질관리 요구사항(3부), 품질 프로세스 프레임워크(4부)가 2024년에 나왔고 거버넌스 프레임워크(5부)가 2025년에 나왔다. 특히 3부는 시리즈 가운데 유일하게 요구사항 형식으로 쓰여 있어, 무엇을 해야 하는지가 권고가 아니라 조건으로 적힌다. 감사가 진행된 2025년 하반기에 이 표준들은 이미 발행돼 있었다.

어노테이션 오류를 찾는 일도 사람 눈에만 의존하는 단계를 지났다. 학습된 검출 모델을 이용해 빠진 박스와 잘못 놓인 박스, 잘못 붙은 클래스를 자동으로 진단하는 방법이 2023년에 공개됐고, 학습 없이 특징공간의 분포만으로 객체 검출 데이터셋의 오염을 탐지하는 연구도 나와 있다. 도구가 완벽하다는 뜻은 아니다. 다만 품질검사가 불가능했다는 말이 기술의 한계를 뜻하지는 않는다는 것은 분명하다.

자기가 가진 것을 세지 못하는 문제는 한국만의 것이 아니다

미국 감사원(GAO)은 2023년 12월 보고서에서 연방 23개 기관의 AI 활용 목록을 점검했다. 총 1200건가량이 보고됐는데, 모든 활용 사례에 완전한 정보를 제출한 기관은 5곳뿐이었다. 15곳의 목록에는 불완전하거나 부정확한 데이터가 들어 있었고, 2개 기관의 목록에는 나중에 AI가 아닌 것으로 밝혀진 항목이 포함돼 있었다. GAO는 19개 기관을 대상으로 35건의 권고를 냈다.

이 대비를 조롱의 반대 방향으로 읽어야 한다. 정부가 자기 손에 무엇이 있는지 정확히 세지 못하는 일은 어디에서나 일어난다. 한국 기관들이 유별나게 부주의해서 생긴 사건이 아니다. 차이는 문제의 유무가 아니라 그 문제를 상시로 잡아내는 장치가 있느냐에 있고, 그 장치가 무엇인지는 5절에서 다룬다.

보도는 감사 결과의 저품질 사례를 한 덩어리로 전했지만, 데이터를 실제로 학습에 넣는 쪽에서 보면 성질이 전혀 다른 두 가지가 섞여 있다. 한쪽은 있어야 할 것이 비어 있는 결손이고, 다른 쪽은 있는데 틀린 오염이다. 앞의 것은 버리면 끝나지만 뒤의 것은 걸러 내지 않으면 모델 안으로 들어간다.

결손의 사례는 한국도로공사가 2025년에 만든 도로주행 CCTV 학습데이터다. 이미지 2680장에 바운딩 박스의 위치 좌표가 비어 있었다. 여기서 좌표는 촬영 지점의 GPS가 아니라 이미지 안에서 객체가 어디에 있는지 표시하는 어노테이션을 말한다. 사진은 정상이지만 이 자리에 차가 있다는 표시가 없으니, 자율주행 학습에 넣으면 모델이 배울 신호가 없다. 데이터는 있고 학습 신호는 없는 상태다.

오염의 사례는 서울시가 2020년에 만든 대형폐기물 학습데이터다. 2303장 중 538장에서 파일명과 실제 이미지가 어긋났다. 가방이라고 적힌 파일을 열면 상자나 탁자가 들어 있는 식이다. 비율로는 23.4%다. 이 데이터를 그대로 학습에 넣으면 모델은 가방의 생김새로 상자를 배운다. 결손이 학습 신호를 0으로 만드는 반면, 오염은 틀린 신호를 주입한다.

도식은 두 유형을 갈라 놓았지만, 결손을 걸러 내지 않고 그대로 학습에 넣으면 경계가 흐려진다. 객체 검출 모델을 학습시키는 표준 손실함수는 박스가 없는 영역을 배경으로 간주하기 때문이다. 어노테이션이 비어 있는 이미지를 그대로 넣으면 거기 찍힌 차와 사람을 배경이라고 가르치게 된다. 누락된 박스를 배경이 아니라 아직 라벨이 붙지 않은 영역으로 다시 정의하자고 제안한 연구가 이 지점을 실험으로 보였다. 라벨이 빠질수록 기존 방식의 학습 신호가 혼란스러워지고, 그 혼란은 라벨 누락이 늘어날수록 커진다. 결손은 버리면 끝나지만, 버리지 않으면 오염과 같은 방식으로 작동한다.

23.4%는 어느 정도 크기의 숫자인가

라벨이 틀린 비율을 감각으로 잡으려면 비교 대상이 필요하다. Northcutt 등은 널리 쓰이는 벤치마크 10개의 테스트셋을 사람이 다시 검수해 라벨 오류가 평균 최소 3.3% 존재한다고 보고했고, ImageNet 검증셋에서는 최소 6%를 찾아냈다. 이 정도만으로도 모델의 우열이 뒤집힌다. 정정한 라벨을 기준으로 삼으면 원래 라벨에서 오분류로 잡히던 표본의 비중이 6%포인트만 늘어도 ResNet-18이 ResNet-50을 앞선다. 즉 우리가 어떤 모델이 더 낫다고 말할 때, 그 판단의 일부는 라벨 오류가 만든 착시다.

서울시 데이터의 23.4%는 그 기준의 네 배에서 일곱 배다. 벤치마크는 연구자들이 오랫동안 다듬어 온 데이터셋이고 이쪽은 실무용으로 새로 만든 데이터셋이라 조건이 같지는 않다. 그래도 방향은 분명하다. 3%대 오류로도 순위가 흔들리는 세계에서 20%대 불일치는 모델의 우열을 논하기 전에 학습 자체를 신뢰할 수 없게 만드는 크기다.

더 중요한 결과가 하나 더 있다. 라벨 오류는 모델이 도달할 수 있는 성능의 천장을 내린다. Tschirschwitz와 Rodehorst는 서로 모순되는 어노테이션 때문에 어떤 모델도 그 이상 올라갈 수 없는 지점이 존재한다고 보고, 객체 검출 데이터셋 LVIS에서 그 상한을 62.63에서 67.52 mAP 사이로 추정했다. 최신 모델들은 이미 그 구간의 위쪽에 도달해 있다. 남은 성능은 모델을 키워서 나오지 않는다. 라벨을 고쳐야 나온다.

고쳐 줄 사람이 이미 없다

세 번째 문제는 오류의 종류가 아니라 오류의 수명이다. NIA는 2021년부터 2024년까지 1270개 업체와 함께 721종을 구축했다. 그중 65개 업체가 폐업하거나 내부사정으로 사라졌고, 그 업체들이 납품한 데이터가 213종으로 전체의 29.5%다. 오류 민원이 제기된 11종은 구축 업체 폐업을 이유로 수정이나 제3자 보수 없이 종결됐다. 그 데이터는 지금도 AI 허브에 공개돼 있다. 감사원은 NIA에 직접 수정하거나 제3자 유지보수 체계를 갖추라고 통보했다.

소프트웨어에서는 이런 상황에 대응하는 관행이 있다. 유지보수자가 사라진 패키지는 포크되거나 관리 권한이 넘어가고, 그것도 안 되면 보관 상태로 표시돼 새로 쓰는 사람에게 경고가 뜬다. 데이터에는 그 관행이 아직 없다. 규범이 없는 것도 아니다. 데이터셋 문서화의 고전인 Datasheets for Datasets는 문서화 항목에 유지보수를 이미 넣어 두었다. 누가 이 데이터를 관리하고, 오류를 어디로 신고하며, 갱신은 어떻게 이루어지는지를 데이터셋 스스로 밝히게 하는 항목이다. 있는 표준이 쓰이지 않았다.

이제부터는 페블러스의 해석이다. 감사 결과의 요약은 앞의 네 절에서 끝났다. 감사원이 4년치 사업을 사람 손으로 표본 조사해 알아낸 사실은 결국 세 문장으로 줄어든다. 이 데이터는 규격서가 없어 검사 자체가 불가능하다, 이 기관은 제3자 검증을 하지 않았다, 이 데이터셋은 이미 공개된 것과 상당 부분 겹친다. 이 세 문장은 감사기구가 특별한 권한으로만 알아낼 수 있는 종류의 사실이 아니다. 등록된 메타데이터를 기계가 읽으면 나오는 판정이다.

실제로 그렇게 하는 곳이 있다. EU의 공공데이터 포털 data.europa.eu는 메타데이터 품질 검사(MQA)를 수집 과정과 나란히 돌린다. 데이터셋 단위로 DCAT-AP 규격 준수를 검사해 필수 필드가 하나라도 빠지면 비준수로 표시하고, 검사 결과를 표준 어휘로 저장하며, 카탈로그마다 품질 리포트를 발행한다. 등록하기 전에 자기 메타데이터를 미리 검증해 볼 수 있는 API도 함께 제공한다. 미국 data.gov의 DCAT-US는 제목·설명·키워드·갱신일·발행기관·연락처·식별자·공개수준을 포함한 필수 필드 10개를 등록 요건으로 요구한다.

표의 가운데 열을 읽을 때 한 가지는 덧붙여야 공정하다. 등록 요건이 강한 쪽에서도 품질에 관한 필드는 대체로 선택이다. DCAT-US에서 이 데이터가 기관의 정보품질 지침을 충족하는지 표시하는 dataQuality 필드와, 데이터 사전이나 스키마의 주소를 적는 describedBy 필드는 둘 다 필수가 아니다. 이번 감사에서 96종이 없다고 지적된 구문규칙규격서에 해당하는 자리가 저쪽에서도 비어 있을 수 있다는 뜻이다. 등록 요건은 무엇이 어디에 있는지를 세게 해 줄 뿐이고, 그 데이터가 쓸 만한 상태인지는 그다음 층이 맡는다.

EU에는 여기에 더해 고가치 데이터셋 시행규정이 2024년 6월 9일부터 적용되고 있다. 지리공간·환경·기상·통계·기업소유·모빌리티 여섯 개 주제의 데이터를 무료로, 기계가 읽을 수 있는 형태로, API나 대량 다운로드로 제공하도록 의무화한 규정이다. 다만 이 규정은 이미 공개 의무가 있는 고가치 데이터셋에 한정된 것이므로, 모든 학습데이터를 다루는 AI 허브와 범위를 나란히 놓고 비교할 수는 없다. 비교할 수 있는 것은 검사 주체와 시점이고, 표의 세 번째 열이 그것이다.

중복이 예산만 축내는 것도 아니다

많이 만들수록 좋다는 전제는 학계에서 이미 흔들렸다. Abbas 등이 제안한 의미 기반 중복 제거는 웹에서 모은 대규모 이미지-텍스트 데이터에서 의미가 겹치는 표본 절반을 걷어내도 성능 손실이 거의 없고 학습 시간은 절반으로 줄며 분포 밖 데이터에서는 오히려 성능이 올랐다고 보고했다. Lee 등은 언어모델 학습 데이터의 중복을 제거하자 학습 데이터를 그대로 뱉는 암기 출력이 10배 줄고, 더 적은 학습 스텝으로 같거나 더 나은 정확도에 도달했다고 보고했다. 같은 연구에서 표준 데이터셋의 검증셋 4% 이상이 학습셋과 겹쳐 평가 자체를 부풀리고 있다는 사실도 함께 나왔다.

이 결과들을 공공 학습데이터에 그대로 옮길 수는 없다. 두 연구가 다룬 것은 웹에서 긁어모은 대규모 코퍼스이고, 이번 감사가 다룬 것은 사람이 라벨을 붙인 도메인 데이터셋이라 층위가 다르다. 그래도 방향은 같은 쪽을 가리킨다. 중복은 6억 원을 더 쓴 문제이면서, 그렇게 부풀린 데이터가 학습 효율과 평가 신뢰도를 함께 갉아먹는 문제다. 중복 데이터를 걷어내는 일은 절약이 아니라 품질 작업이다.

세 층을 쌓아야 다시 쓸 수 있다

다시 쓸 수 있는 상태를 만드는 장치는 세 층으로 쌓인다. 첫째는 등록 요건이다. 무엇을 적지 않으면 등록이 되지 않는지를 정하는 층이고, DCAT 계열의 필수 필드가 여기 해당한다. 둘째는 상시 검사다. 등록된 것이 요건을 지키는지 기계가 반복해서 확인하고 결과를 공개하는 층이다. 셋째는 기계학습을 염두에 둔 문서화다. 이 데이터가 어떤 목적으로 어떻게 수집됐고 누가 유지보수하는지를 적는 Datasheets와 Data Cards, 여러 도구가 같은 방식으로 읽을 수 있게 데이터셋을 기술하는 Croissant, 그리고 품질 측정과 관리 프로세스를 규정한 ISO/IEC 5259가 이 층에 있다.

이 세 층은 페블러스가 앞선 리포트들에서 각각 다뤄 온 주제이기도 하다. 카탈로그가 파이프라인의 첫 계층이라는 이야기는 오픈메타데이터를 다룬 리포트에서, 공개와 재사용 가능성이 다른 문제라는 이야기는 연구데이터 파이프라인 리포트에서 다뤘다. 자기가 가진 데이터를 스스로 찾지 못하는 문제는 한국만의 것이 아니어서, 마오리 연구데이터의 발견 가능성을 다룬 글에도 같은 구조가 나온다. 앞으로 지을 데이터 저장소를 다룬 제조 데이터 라이브러리 리포트와 이 글을 나란히 놓으면 대비가 분명해진다. 저쪽은 아직 비어 있는 반입 규칙의 이야기이고, 이쪽은 그 규칙 없이 8년을 지은 결과의 이야기다.

감사 결과가 나왔으니 제도는 움직인다. 감사원은 과학기술정보통신부에 행정안전부와 협의해 기존 데이터를 대체 활용할 수 있는지 사전에 검토하고 기관별 구축계획을 공유·조정하는 체계를 마련하라고 통보했고, 공통 품질관리 기준과 자체 점검, 제3자 검증 절차를 갖추라고 함께 통보했다. NIA에는 폐업 업체가 만든 데이터의 오류를 직접 수정하거나 제3자 유지보수 체계를 구축하라고 통보했다. 과기정통부는 범부처 전수조사로 기존 데이터의 품질을 검증하고 부실한 자료는 데이터·AI 전문기업을 통해 보완하겠다고 밝혔으며, AI 허브를 AI학습용데이터 통합제공시스템으로 개편해 연내 시범운영하고 3분기 중 AI 데이터 구축·활용 가이드를 배포할 계획이다.

공공 학습데이터가 어딘가의 모델로 실제로 흘러 들어가고 있다는 사실도 함께 봐야 한다. 소프트웨어정책연구소가 2023년 9월에 낸 공공부문 AI 활용현황 실태조사를 보면, 학습데이터 확보 경로를 답한 295개 기관 가운데 공공데이터를 활용한다고 답한 곳이 36.3%였다. 내부데이터 56.3% 다음으로 큰 경로다. 감사보다 3년 앞선 조사이고 대상도 기업이 아니라 공공기관이지만, 공공 학습데이터가 실험실 밖에서 쓰이는 재료라는 것은 이 숫자로 확인된다.

그 사이에도 데이터를 내려받아 쓰는 쪽의 일정은 멈추지 않는다. 그래서 지금 당장 쓸 수 있는 점검 목록을 남긴다. 감사에서 실제로 문제가 된 항목을 그대로 뒤집은 것이라 특별한 도구 없이도 확인할 수 있다.

내려받은 뒤에 할 일은 세 가지다. 첫째, 라벨 오류를 표본으로 검사한다. 수백 장 단위로 무작위 추출해 사람 눈으로 대조하는 것만으로도 20%대 불일치는 금방 드러난다. 둘째, 중복을 제거한다. 파일 해시가 같은 것부터 걷어내고, 여력이 되면 특징 공간에서 의미가 겹치는 표본까지 정리한다. 셋째, 검증셋과 학습셋이 겹치지 않는지 확인한다. 여러 출처의 공개 데이터를 합쳐 쓸 때 이 겹침이 가장 자주 생기고, 겹치면 평가 점수만 좋아진다.

이번 감사가 없다고 지적한 층은 공공 데이터가 만들어져 쓰이기까지의 경로에서 정확히 한 자리를 가리킨다. 데이터를 받아 쓰기 전에 결손과 중복과 규격 위반을 계량해 보여 주는 단계다. 그 단계가 비어 있었기 때문에 감사원이 4년치 표본 조사로 대신했다. 페블러스가 데이터 품질 진단으로 하는 일이 그 자리에 있다.

결손과 오염은 대응이 정반대다

4절의 구분이 실무에서 가장 자주 뭉개진다. 좌표가 빠진 이미지는 학습 신호가 없는 데이터이고 파일명과 다른 이미지는 틀린 신호를 넣는 데이터인데, 두 가지가 저품질이라는 한 단어로 묶이면 대응도 하나로 뭉뚱그려진다. 앞의 것은 걸러 버리면 되지만 뒤의 것은 찾아내지 못하면 그대로 학습된다. 학습 데이터의 결손이 모델 내부 표현으로 옮겨 간다는 명제는 추상적인 주장이 아니라, 라벨 오류가 모델 성능의 상한을 정한다는 정량 결과로 이미 확인돼 있다.

공짜로 받은 데이터에도 검수는 필요하다

공공 데이터는 무료로 받을 수 있기 때문에, 유상 데이터에는 당연히 적용하는 검수 절차가 생략되는 일이 잦다. 이번 감사가 그 관행의 비용을 보여 준다. 폐업한 업체가 납품한 213종처럼 고칠 주체가 없는 데이터가 계속 공개돼 있고, AI 허브 데이터는 2026년 7월까지 누적 151만 건 이상 활용됐다. 조달 시점의 점검은 선택이 아니라 전제이며, 6절의 목록은 그 점검을 시작하기 위한 최소한이다. 데이터 계보와 안전신뢰문서의 관계를 다룬 지난 리포트가 제도 쪽 배경을 함께 다룬다.

학술

• 1.Abbas, A., Tirumala, K., Simig, D., Ganguli, S., Morcos, A. S. (2023). SemDeDup: Data-efficient learning at web-scale through semantic deduplication. arXiv:2303.09540. (의미 중복 50% 제거 시 성능 손실 최소, 학습 시간 절반)
• 2.Lee, K., Ippolito, D., Nystrom, A., Zhang, C., Eck, D., Callison-Burch, C., Carlini, N. (2021). Deduplicating Training Data Makes Language Models Better. arXiv:2107.06499. (암기 출력 10배 감소, 검증셋 4% 이상이 학습셋과 겹침)
• 3.Northcutt, C. G., Athalye, A., Mueller, J. (2021). Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks. arXiv:2103.14749. (벤치마크 10종 라벨 오류 평균 최소 3.3%, ImageNet 검증셋 최소 6%)
• 4.Tschirschwitz, D., Rodehorst, V. (2024). Label Convergence: Defining an Upper Performance Bound in Object Recognition through Contradictory Annotations. arXiv:2409.09412. (LVIS 라벨 수렴 상한 62.63~67.52 mAP)
• 5.Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., Crawford, K. (2018/2021). Datasheets for Datasets. arXiv:1803.09010. (문서화 항목에 유지보수 포함)
• 6.Pushkarna, M., Zaldivar, A., Kjartansson, O. (2022). Data Cards: Purposeful and Transparent Dataset Documentation for Responsible AI. arXiv:2204.01075.
• 7.Akhtar, M. et al. (2024). Croissant: A Metadata Format for ML-Ready Datasets. arXiv:2403.19546.
• 8.Tkachenko, U., Thyagarajan, A., Mueller, J. (2023). ObjectLab: Automated Diagnosis of Mislabeled Images in Object Detection Data. arXiv:2309.00832.
• 9.Wenige, L., Stadler, C., Martin, M., Figura, R., Sauter, R., Frank, C. W. (2021). Open Data and the Status Quo. arXiv:2106.09590. (독일 오픈데이터 포털 메타데이터 설명 결손과 발견 가능성)
• 10.Yang, Y., Liang, K. J., Carin, L. (2020). Object Detection as a Positive-Unlabeled Problem. arXiv:2002.04672. (누락된 박스가 표준 손실함수에서 배경으로 학습돼 학습 신호를 혼란시킴)

정책·표준·통계

• 11.감사원 (2026). 「인공지능산업 육성 실태Ⅲ(AI 학습용 데이터)」 감사 결과. 2026-08-12 공개. (보고서 원문은 확보하지 못해 보도를 경유해 인용)
• 12.U.S. Government Accountability Office (2023). Artificial Intelligence: Agencies Have Begun Implementation but Need to Complete Key Requirements. GAO-24-105980, 2023-12-12. (23개 기관 중 5곳만 완전, 15곳 불완전·부정확, 권고 35건)
• 13.Commission Implementing Regulation (EU) 2023/138. 고가치 데이터셋 목록과 공표 방식. 2024-06-09 적용.
• 14.DCAT-US v1.1 metadata schema. resources.data.gov. (필수 필드 10개)
• 15.data.europa.eu. Metadata Quality Assurance(MQA) 방법론 및 검증 서비스 문서. (DCAT-AP 준수 자동 판정, 카탈로그별 품질 리포트, 등록 전 검증 API)
• 16.ISO/IEC 5259-1~4:2024, ISO/IEC 5259-5:2025. Artificial intelligence — Data quality for analytics and machine learning (ML). ISO/IEC JTC 1/SC 42.
• 17.소프트웨어정책연구소(SPRi) (2023). 「공공부문 AI 활용현황 실태조사」. 2023-09-22. (408개 기관 중 400개 응답. 학습데이터 확보 경로 중 공공데이터 활용 36.3%, 내부데이터 56.3%. AI 미개발 사유 1위 전문인력 부족 80.9%)

보도

• 18.경향신문 (2026). 감사원 공공 AI 학습데이터 감사 결과 보도. 2026-08-12. 및 후속 기사 「1조6000억 쏟은 공공 AI 데이터」.
• 19.아주경제 (2026). 감사원 AI 학습용 데이터 감사 결과 상세 보도. 2026-08-12. (F3·F5·F9·F10·F15·F16·F19의 단독 근거)
• 20.서울경제 (2026). 「1.6조 투입 공공 AI 학습 데이터 저품질·관리 부실」 및 「74억짜리 AI 학습데이터 만들었더니 6억 들여 중복 구축」. 2026-08-12. (야생동물 사례의 연도·종수·모수)
• 21.디지털데일리 (2026). 감사 결과 및 과기정통부 후속 대응 보도. 2026-08-13. (바운딩 박스 좌표 명시, 통합제공시스템 개편, 누적 활용 151만 건)
• 22.SBS (2026). 감사원 AI 학습데이터 감사 결과 보도. 2026-08-12. (사업계획 수립 시 기존 데이터 미확인 서술)

페블러스 선행 리포트

• 23.페블러스 (2026). 카탈로그가 파이프라인의 첫 계층이다.
• 24.페블러스 (2026). 연구데이터 AI-Ready 파이프라인.
• 25.페블러스 (2026). 무엇을 정답으로 적을지 정하지 않은 제조 데이터 라이브러리. 2026-08-12.
• 26.페블러스 (2026). 마오리 연구데이터의 발견 가능성.