Executive Summary

이 번역이 어디에 발을 딛는지는 네 개의 숫자가 먼저 말해 준다. '오류 없음'이 완벽의 선언이 아니라 측정의 문제라는 사실, 대표성을 재는 어노테이터 일치도, 새 품질 체계를 갖추는 데 드는 비용, 그리고 조직들이 아직 착수하지 못한 채 벌어져 있는 격차다.

어노테이터가 이미지 위에 박스를 하나 그리고, 드롭다운에서 "보행자"를 고르고, 다음 프레임으로 넘어간다. 하루에 수천 번 반복되는 이 클릭은 오랫동안 회사 내부의 일이었다. 라벨이 정확한지, 가이드라인이 일관됐는지, 누가 어떤 기준으로 판단했는지는 팀의 성실성에 맡겨진 문제였다. EU AI법 10조는 바로 이 작업대를 법조문 안으로 끌어들인다.

고위험 AI의 분류 기준이나 유예 협상의 경과는 이미 여러 차례 다뤘으므로 여기서는 반복하지 않는다. 배경이 필요한 독자는 고위험 유예와 데이터 거버넌스, 그리고 Annex III 유예의 실무 영향을 참고하면 된다. 이 글이 파고드는 것은 그 배경 어디에서도 다루지 않은 한 지점, 10조가 라벨링 공정 자체를 이름으로 불러냈다는 사실이다.

여섯 개의 동사

10조 2항 (c)를 원문 그대로 읽으면 데이터 준비 작업이 여섯 개의 동사로 열거돼 있다. annotation(주석), labelling(라벨링), cleaning(정제), updating(갱신), enrichment(보강), aggregation(집계). 규제 텍스트가 데이터 준비의 각 단계를 이렇게 구체적으로 호명한 전례는 없었다. 이 열거는 단순한 예시가 아니라 감사의 좌표다. 규제가 어떤 작업을 이름으로 부르는 순간, 그 작업이 남긴 산출물은 감사관이 요구할 수 있는 대상이 되기 때문이다.

3항은 여기에 품질의 문언을 얹는다. 학습·검증·시험 데이터셋은 "관련성 있고(relevant), 충분히 대표성 있으며(sufficiently representative), 가능한 한 오류 없고(to the best extent possible, free of errors), 완전(complete)"해야 한다. 그리고 이 데이터가 "의도된 목적에 비추어 적절한 통계적 속성"을 갖출 것을 요구한다. 뒤에서 보겠지만 이 네 형용사는 각각 라벨 레벨에서 측정 가능한 값으로 번역된다.

마지막으로 2항 (f)~(h)는 의무를 세 갈래로 못 박는다. (f) 가능한 편향을 조사(examination in view of possible biases)하고, (g) 그 편향을 예방·완화할 적절한 조치를 취하며, (h) 데이터 공백이나 결함을 식별하고 어떻게 다룰지 정한다. 세 항목의 공통점은 전부 "무언가를 했다"가 아니라 "무언가를 문서로 남겼다"를 전제한다는 것이다. 편향을 조사했다는 주장은, 그 조사의 기록 없이는 감사에서 성립하지 않는다.

라벨링은 클릭 한 번으로 끝나는 작업이 아니라 여러 단계가 이어진 공정이다. 라벨 스키마를 정하고, 가이드라인을 쓰고, 어노테이터가 주석을 달고, 일치도와 품질을 표본 검사하고, 필요하면 다시 라벨한다. 10조가 요구하는 증거는 이 단계들이 흘려보내는 부산물 안에 이미 들어 있다. 문제는 그것을 증거로 남기느냐, 아니면 지나가게 두느냐다.

각 단계가 어떤 조문 요건에 대응하고, 무엇을 증적으로 남기며, 그 기록을 어떤 도구가 이미 자동으로 만들어 주는지를 한 표로 정리하면 아래와 같다. 오른쪽 끝 열이 특히 중요하다. "규제가 온다"는 예고가 아니라, 증적 인프라가 이미 상품이 됐다는 현재형 사실이기 때문이다.

표의 오른쪽 열이 말해 주는 것은 분명하다. 라벨링 벤더는 규제를 기다리지 않았다. Label Studio는 모든 생성·수정·스킵·거부 이벤트를 추적하는 "Iteration History"와 시점별 데이터셋을 고정하는 "Snapshots"를 이미 제공한다. Encord는 라벨 하나하나의 계보(label lineage)와 설정형 컨센서스를 자동 IoU 지표로 남긴다. Appen의 "Quality Audit"은 필드별로 정오답과 그 사유까지 기록한다. 규제 언어로 옮기면, 이 기능들은 그대로 10조의 증적 생성 도구다.

10조 3항의 네 형용사 가운데 감사에서 가장 오해받기 쉬운 것이 "오류 없음"이다. 문구만 보면 0% 오류율을 요구하는 것처럼 읽히지만, 조문은 "가능한 한(to the best extent possible)"이라는 단서를 분명히 단다. 이 단서가 실무에서 무엇을 뜻하는지는 데이터를 실제로 측정해 보면 드러난다.

Northcutt 등(2021)은 confident learning 기법으로 널리 쓰이는 열 개 ML 벤치마크 테스트셋의 라벨 오류를 측정했다. 평균 오류율은 최소 3.3%였고, 데이터셋별로는 0.15%에서 10.12%까지 퍼져 있었다. ImageNet 검증셋 단독으로는 약 6%였다. 사람이 여러 겹으로 검수한 대표 벤치마크조차 이 정도의 오류를 품는다. 크라우드소싱으로 급하게 모은 라벨의 저품질 기준선은 18%에 이른다. "오류 없음"을 0%로 읽으면 세상의 어떤 데이터셋도 이 요건을 통과하지 못한다.

그렇다면 라벨링 팀이 감사에 제출할 수 있는 것은 완벽이 아니라 세 가지 측정값이다. 첫째는 방금 본 라벨 오류율이다. confident learning이나 QA 표본 검사로 오류율을 산출하고 문서화하면, 그 수치 자체가 10조 3항 "오류 없음"에 대한 정량 응답이 된다. 둘째는 어노테이터 간 일치도(IAA)다. Krippendorff α는 학술 관행상 0.80 이상을 신뢰할 만한 수준, 0.667~0.80을 잠정 수준으로 본다. 법정 임계값은 없으므로 수치 자체보다 과제·클래스·하위집단별로 α나 κ를 측정하고 공표했다는 사실이 10조 3항 대표성과 2항 (f) 편향의 직접 증거가 된다. 셋째는 데이터 공백과 클래스 불균형의 기록이다. 어떤 하위집단이 과소대표됐는지를 식별하고 어떻게 다뤘는지를 남기면 2항 (h)에 대응한다.

표준이 규제 언어를 수치로 바꾼다

이 측정값들을 어떤 틀에 담아 문서화할지는 이미 만들어져 있다. Datasheets for Datasets(Gebru 2018), Data Statements for NLP(Bender & Friedman 2018), Model Cards(Mitchell 2019)의 필드는 10조 요건과 거의 1:1로 대응한다. 데이터 출처, 수집 방법, 어노테이터 구성, 알려진 편향과 한계를 묻는 항목들이 그대로 10조가 요구하는 문서 구조다. 기계판독형 후속 규격인 Croissant-RAI는 아예 EU AI법을 명시적 설계 근거로 삼는다. 여기에 ISO/IEC 5259 시리즈, 특히 라벨링을 거버넌스 프로세스로 명시한 -4와 측정 가능한 데이터 품질 특성을 정의한 -2, 그리고 그 토대인 ISO/IEC 25012·25024가 "정확성·완전성·일관성"이라는 10조 3항과 거의 어휘가 일치하는 척도를 제공한다.

한 가지 단서는 붙여 둔다. CEN-CENELEC JTC 21이 준비 중인 EU 조화표준(prEN 18284 "데이터셋 품질·거버넌스")은 2026년 중반 현재 아직 EU 관보(OJEU)에 인용되지 않았다. 조화표준을 따르면 적합성이 추정되는 법적 이점이 생기지만, 그 지위를 얻기 전까지 오늘의 사실상 템플릿은 ISO 표준과 위 문서화 프레임워크다. 규제가 조화표준을 확정하기를 기다릴 이유는 없다. 요건의 문언과 측정법은 이미 손에 있다.

10조 2항 (f)~(g)가 요구하는 편향 조사·완화는 종종 모델 단계의 문제로 오해된다. 학습이 끝난 모델의 출력에서 편향을 측정하고 고치는 일로 보는 것이다. 그러나 편향의 상당 부분은 그보다 앞선 라벨링 단계에서 이미 유입된다. 그리고 이 인과는 직관이 아니라 학술적으로 입증된 사실이다.

Sap 등(2019)은 혐오 표현 탐지 데이터셋에서 아프리카계 미국 영어(AAE)로 쓰인 트윗이 표준 미국 영어 트윗보다 최대 2배 더 자주 "공격적"으로 라벨된다는 것을 보였다. 후속 연구인 "Annotators with Attitudes"(2022)는 한 걸음 더 들어간다. 어노테이터의 신념과 정체성, 인종적 태도가 라벨을 체계적으로 이동시킨다는 것이다. 같은 문장을 두고도 누가 라벨하느냐에 따라 결과가 갈린다. 편향은 데이터에 몰래 스며드는 것이 아니라, 라벨을 다는 사람과 그 사람이 받은 지시를 통해 들어온다.

이 인과가 규제 언어로 번역되면 10조 2항 (f)~(g)는 두 가지 통제의 문서화 의무가 된다. 하나는 "누가 라벨하는가"다. 어노테이터의 인구통계 구성과 훈련 이력을 기록하는 일이다. 다른 하나는 "과제를 어떻게 규정하는가"다. 가이드라인이 모호하면 어노테이터의 개인적 판단이 그 빈틈을 메우고, 그 판단이 곧 편향의 통로가 된다. 방언·맥락 프라이밍, 어노테이터 인구통계 문서화, 불일치 보존은 모두 감사 가능한 통제다. 편향 완화는 의도의 문제가 아니라 종이 흔적의 문제다. 완화 조치를 취했다는 주장은, 그 조치가 무엇이었고 어떤 효과를 냈는지의 기록 없이는 감사에서 성립하지 않는다.

지금까지 본 요건들을 하나로 묶으면, 컴플라이언스는 문서 작성이 아니라 파이프라인 계측의 문제로 바뀐다. 라벨 오류율을 산출하고, 어노테이터 일치도를 측정하고, 대표성 공백을 식별하고, 편향 통제를 기록하는 일은 전부 데이터셋을 진단하는 작업이다. 그리고 진단은 사후에 한 번 하는 것이 아니라 파이프라인이 도는 동안 계속 돌아가야 한다. 이 진단 지표들이 10조의 개별 조항으로 어떻게 대응하는지를 정리하면 다음과 같다.

이 진단을 갖추는 데는 비용이 든다. CEPS가 재구성한 EU 영향평가에 따르면 고위험 시스템에 필요한 신규 품질경영시스템(QMS) 구축에 €193K~330K, 연간 유지에 €71.4K가 든다(라벨링 공정은 이 전체 비용의 하위 구성요소이지, 그 자체로 이 금액이 드는 것은 아니다). 반대로 준비 격차도 크다. Deloitte 조사에서 AI법 발효 1개월 시점에 착수한 조직은 26.2%에 그쳤고, 절반이 넘는 53.8%는 전담 조직조차 없었다(이 수치는 AI법 전반의 준비도이지 라벨링에 특정된 값은 아니다). 비용은 확실하고 준비는 더디다. 이 격차가 바로 진입 장벽이 만들어지는 자리다.

제재의 무게도 정확히 짚어 둘 필요가 있다. 10조 위반은 Article 99의 Tier 2에 해당해 최대 €15M 또는 전 세계 매출의 3% 가운데 높은 쪽이 부과된다. 흔히 인용되는 €35M/7%는 금지관행 전용인 Tier 1로, 10조에는 적용되지 않는다. 그리고 제재는 의무가 적용된 뒤의 위반에만 문제가 되므로, "8월부터 벌금"이라는 서술은 성립하지 않는다. 10조의 적용일은 2027년 12월 2일이고, 제재는 그 이후의 위반에 대한 것이다.

페블러스가 주목하는 이유

"AI-Ready Data"라는 표현의 지위가 여기서 바뀐다. 그동안 데이터가 학습에 적합한지, 대표성이 있는지, 편향이 검사됐는지는 성능을 끌어올리려는 팀의 자발적 관심사였다. 10조는 그 관심사를 법적 요건으로 승격시킨다. 마케팅 슬로건이던 "학습에 준비된 데이터"가, 감사관 앞에서 증명해야 할 상태가 되는 것이다.

데이터 품질의 관점에서 이 전환이 특히 중요한 이유는, 품질이 상류에서 결정되기 때문이다. 라벨 노이즈와 클래스 불균형, 데이터 공백은 모델 내부 표현의 편향으로 이어진다. Sap 등이 보인 라벨에서 모델로의 증폭 인과가 그 경로를 실증하고, Model Cards의 하위집단 분리 평가가 그 결과를 사후에 확인한다. 10조는 바로 이 인과의 출발점, 곧 학습 데이터 단계에서 편향을 검사하고 완화하고 문서화하라고 못 박는다. 규제가 데이터 품질을 성능 최적화의 문제에서 컴플라이언스의 문제로 재정의한 셈이며, 이는 "품질은 상류에서 결정된다"는 명제의 법제화다.

고위험 AI를 EU에 출시하는 고객과 라벨링 벤더 파트너에게 이 이야기는 곧 실무 부담이다. 감사관이 요구하는 것은 문서가 아니라 프로덕션에서 실제로 돌아간 것을 반영하는 증거다. 이 글의 표 1과 표 2가 그 부담을 두 장의 체크리스트로 옮겨 놓았다. 라벨링 워크플로우의 각 단계가 어떤 증적을 남겨야 하는지, 그리고 데이터 진단 지표가 10조의 어느 조항에 대응하는지를 확인하는 일이 준비의 첫 걸음이다. 진단과 문서화를 마감에 몰려 소급하는 대신, 파이프라인의 산출물로 자동 생성하는 도구가 여기서 직접 수요가 된다.

이 글은 아래 1차 규제 원문·학술 논문·표준·업계 문서를 교차검증해 작성했다. 적용 시점은 Digital Omnibus(2026년 6월 29일 이사회 최종 승인)를 1차 기준으로 삼았다.

법령·1차 규제

• 1.EU AI Act (Reg. (EU) 2024/1689), Article 10 — Data and data governance. 링크
• 2.EU AI Act, Article 99 — Penalties. 링크
• 3.European Commission, "Regulatory framework for AI" (Digital Omnibus 반영 타임라인). 링크
• 4.Council of the EU 보도자료(2026-05-07), "Council and Parliament agree to simplify and streamline rules." 링크

학술 — 문서화·라벨 품질·편향

• 5.Gebru et al., "Datasheets for Datasets," arXiv:1803.09010 (2018; CACM 2021). 링크
• 6.Bender & Friedman, "Data Statements for NLP," TACL 6:587–604 (2018). 링크
• 7.Mitchell et al., "Model Cards for Model Reporting," FAccT 2019, arXiv:1810.03993. 링크
• 8.Northcutt, Athalye & Mueller, "Pervasive Label Errors in Test Sets," NeurIPS 2021, arXiv:2103.14749. 링크
• 9.Sap et al., "The Risk of Racial Bias in Hate Speech Detection," ACL 2019, P19-1163. 링크
• 10.Sap et al., "Annotators with Attitudes," NAACL 2022. 링크

표준

• 11.ISO/IEC 5259-1..5 (2024–2025), JTC 1/SC 42 — Data quality for analytics and ML (특히 -4 라벨링 프로세스, -2 데이터 품질 특성).
• 12.ISO/IEC 25012:2008 & 25024:2015 — SQuaRE 데이터 품질 모델·측정.

업계·실무

• 13.Label Studio, "Operationalizing Compliance with the EU AI Act's High-Risk Requirements." 링크
• 14.Encord, "What the European AI Act Means for You." 링크
• 15.Bird & Bird, "European Union Artificial Intelligence Act Guide" (2026). 링크
• 16.Holistic AI, "AI Regulation in 2026: Navigating an Uncertain Landscape." 링크

※ 시장 규모·컴플라이언스 비용·준비도 통계(TBRC, CEPS, Deloitte)는 정의 범위와 조사 시점이 기관마다 달라 본문에 출처와 단서를 함께 표기했다.