Executive Summary

2026년 5월 7일, EU 이사회와 유럽의회는 AI Act를 처음으로 손질하는 '디지털 옴니버스'에 잠정 합의했다. 6월 16일 의회 표결을 통과한 이 개정에서 가장 조용하지만 근본적인 변화는 Article 10에 담겼다. AI의 편향을 감지하고 바로잡기 위해서라면, 그동안 GDPR이 원칙적으로 금지해 온 인종·건강·생체·성적 지향 같은 특수 범주 개인정보를 처리할 수 있는 법적 근거가 처음으로 명시된 것이다. 공정성을 높이려는 규제가, 가장 민감한 데이터의 빗장을 스스로 여는 장면이다.

배경에는 하나의 역설이 있다. AI가 특정 집단을 차별하는지 확인하려면, 바로 그 집단을 식별하는 데이터가 있어야 한다. 측정할 수 없으면 수정할 수 없기 때문이다. 그런데 GDPR Article 9는 인종·건강 같은 데이터를 원칙적으로 봉인해 두었고, 그 결과 편향 검증 자체가 자주 막혀 왔다. 미국에서도 연방기관 25곳 중 21곳이 인구통계 데이터가 부족해 형평성 평가를 하지 못했다는 조사가 있다. EU의 개정은 이 막힘을 풀되, 다섯 가지 조건이라는 좁은 문으로만 열었다.

페블러스 독자에게 이 변화가 중요한 이유는 규제 일정이 아니라 데이터 권리 자체가 갈렸다는 데 있다. 앞서 다룬 8월 투명성 의무나 채용 AI 유예가 '언제 지켜야 하는가'의 문제였다면, 이번은 '무엇을 먹여도 되는 데이터인가'의 문제다. 깨끗한 데이터를 넘어, 법이 먹여도 된다고 인정한 데이터가 무엇인지가 이제 조문으로 갈린다.

21 / 25

평가 못 한 기관

인구통계 데이터가 부족해 형평성 평가를 못 한 미 연방기관 (Stanford HAI)

Art. 9 → 10

봉인에서 예외로

GDPR이 금지하던 특수 범주 데이터에 편향 감지용 처리 경로가 열림

5가지

허용 조건

민감 데이터를 편향 테스트에 쓰기 위해 모두 충족해야 하는 관문

2026-05-07

첫 개정 합의

2024년 채택 이후 처음으로 AI Act를 손질한 디지털 옴니버스 잠정 합의

1

편향을 잡으려면 그 대상을 알아야 한다

어떤 채용 AI가 여성 지원자를 조용히 걸러내고 있다고 해 보자. 이 편향을 증명하려면 합격·불합격 결과를 성별로 나눠 비교해야 한다. 그러려면 지원자의 성별 데이터가 있어야 한다. 인종 차별을 검증하려면 인종 데이터가, 장애 차별을 검증하려면 장애 여부 데이터가 필요하다. 공정성을 확인하는 일은 언제나 가장 민감한 정보를 손에 쥐는 데서 시작한다. 측정할 수 없으면 수정할 수 없다는 말이 여기서 문자 그대로 작동한다.

문제는 바로 그 데이터를 법이 봉인해 두었다는 것이다. GDPR Article 9는 인종·민족, 건강, 생체정보, 성적 지향 같은 특수 범주 개인정보의 처리를 원칙적으로 금지한다. 개인을 보호하려는 이 조항이, 역설적으로 그 개인이 차별받는지 확인하는 작업까지 함께 막아 왔다. 데이터 최소화 원칙에 충실한 개인정보팀일수록 편향 테스트 팀에 "그 데이터는 수집하면 안 된다"고 제동을 거는 일이 실제로 흔했다.

이 교착이 추상적인 우려가 아니라는 것을 스탠퍼드 HAI의 조사가 보여 준다. 미국 연방기관 25곳 가운데 21곳이 인구통계 데이터를 충분히 확보하지 못해 자신들이 쓰는 시스템의 형평성 평가를 수행하지 못했다. 흔히 대안으로 거론되는 합성 데이터나 익명화 데이터는 통계적 편향의 미세한 패턴을 재현하지 못하는 경우가 많아, 정작 실제 차별을 잡아내는 데는 한계가 뚜렷하다. 공정성과 프라이버시가 같은 데이터를 놓고 정면으로 부딪치는 지점이 바로 여기다.

편향 감지 팀 "측정해야 수정할 수 있다" → 데이터 필요 인종 · 건강 · 성별 특수 범주 개인정보 (GDPR Art.9 봉인 대상) GDPR Art. 9 특수 범주 처리 금지 ← 데이터 봉인 ✕ 같은 데이터를 편향 팀은 '필요'하고, GDPR은 '봉인'한다 — 이번 개정이 풀어야 했던 교착
▲ AI 편향 감지에 필요한 데이터와 GDPR이 봉인한 데이터가 일치한다 | 페블러스 원본 도식
2

EU가 연 좁은 문, 다섯 가지 조건

디지털 옴니버스는 AI Act가 2024년 6월 채택된 이후 처음으로 본문을 손질한 개정 패키지다. 여러 조항을 간소화하고 일부 시행일을 늦추는 내용이 대부분이지만, 데이터 실무자에게 가장 실질적인 변화는 Article 10이 편향 감지·교정을 명시적 사유로 인정했다는 점이다. 이제 고위험 AI 제공자는 편향을 탐지하고 바로잡는 목적에 한해 특수 범주 개인정보를 처리할 수 있다. 그동안 법률·개인정보팀에서 막히던 작업에 처음으로 분명한 근거가 생긴 셈이다.

다만 문은 활짝 열린 것이 아니라, 아래 다섯 가지 조건을 모두 통과해야 지날 수 있는 좁은 통로다. 하나라도 충족하지 못하면 처리 근거는 성립하지 않는다.

# 조건 실무 의미
1 대체 불가 합성·익명화 데이터로는 편향 감지가 효과적으로 불가능한 경우에만 허용된다.
2 기술적 보호 가명화를 포함한 최신 수준의 보안·프라이버시 보존 조치와 재사용 제한을 갖춰야 한다.
3 접근 통제 인가된 인원만 접근할 수 있도록 엄격히 통제하고 그 내역을 문서화해야 한다.
4 이전 금지 수집한 민감 데이터를 제3자에게 전달·이전하거나 접근을 허용해서는 안 된다.
5 삭제 의무 편향 교정이 끝나거나 보유 기간이 종료되면 해당 데이터를 즉시 삭제해야 한다.

이 다섯 가지는 서로 맞물려 하나의 원칙을 이룬다. 편향을 바로잡는 데 꼭 필요한 만큼만, 최소한의 사람이, 봉인된 환경에서 다루고, 목적이 끝나면 지운다는 것이다. 규제가 데이터의 문을 열면서도 그 문에 자동 잠금장치를 함께 달아 둔 구조에 가깝다.

핵심은 이 조항이 '민감 데이터를 마음껏 쓰라'는 허가가 아니라, '편향을 잡는 이 좁은 목적에 한해, 이 다섯 가지를 지키면 예외를 인정하겠다'는 조건부 통로라는 데 있다. 공정성을 위해 프라이버시를 완전히 포기하는 것도, 프라이버시를 위해 편향을 방치하는 것도 아닌 중간 지점을 조문으로 그은 셈이다.

3

예외의 대가, 더 넓은 옴니버스

편향 감지 예외 조항만 놓고 보면 대체로 환영받을 만한 변화다. 그러나 이 조항은 디지털 옴니버스라는 훨씬 큰 개정 패키지 안에 들어 있고, 그 패키지 전체에는 인권단체의 강한 경고가 따라붙는다. 국제앰네스티는 2026년 4월 이 간소화 입법을 두고 "온라인 권리의 전례 없는 후퇴"라고 비판했다.

우려의 초점은 편향 예외가 아니라 그 주변 조항들에 있다. 기업이 자사 시스템의 위험 수준을 스스로 판정하도록 재량을 넓힌 부분, 그리고 GDPR상 개인정보의 정의를 다시 손질해 빅테크의 학습 데이터 수집 범위가 넓어질 수 있다는 부분이다. 데이터 권리를 넓히는 조항과 좁히는 조항이 한 패키지 안에 섞여 있는 셈이다.

그래서 이 개정은 "EU가 프라이버시를 풀었다"로 단순화하기 어렵다. 편향을 잡기 위한 민감 데이터의 문은 조건을 걸어 신중하게 열렸지만, 같은 패키지의 다른 문들은 반대 방향으로 열렸다는 비판을 함께 받고 있다. 하나의 조문을 평가할 때, 그것이 놓인 패키지 전체를 함께 봐야 하는 이유다.

4

데이터 실무자가 지금 확인할 것

이 개정을 읽는 가장 정확한 방식은 "이제 민감 데이터를 쓸 수 있다"가 아니라 "언제, 어떻게 쓸 수 있는가"다. 다섯 가지 조건은 예외를 허용하는 열쇠인 동시에, 그 예외를 쓰기 위해 넘어야 할 문턱이다. 대체 불가를 입증할 근거, 가명화와 접근 통제의 기술적 장치, 삭제 시점을 관리할 절차가 갖춰지지 않으면, 조항이 열려 있어도 실제로 쓸 수는 없다.

실무의 순서로 옮기면 세 가지 질문이 남는다. 첫째, 우리가 편향을 검증하려는 시스템에 정말 특수 범주 데이터가 필요한가, 아니면 합성·익명화로 충분한가. 둘째, 필요하다면 그 데이터를 봉인된 환경에서 다룰 기술적·조직적 장치가 준비돼 있는가. 셋째, 편향 교정이 끝난 뒤 그 데이터를 언제 어떻게 지울지 미리 정해 두었는가. 세 질문에 답하는 과정 자체가 곧 편향 검증 파이프라인의 설계도가 된다.

시야를 한국으로 옮기면 이 논의는 남의 일이 아니다. 한국의 AI 기본법은 편향 검증에 필요한 민감 데이터의 처리 근거를 EU만큼 구체적으로 정해 두지 않았고, 개인정보 보호법의 민감정보 규정과 공정성 평가 사이의 관계도 아직 실무에서 정리 중이다. EU에서 쓰이거나 EU 이용자를 대상으로 하는 AI라면 이 조항이 곧바로 적용되고, 그렇지 않더라도 EU의 다섯 가지 조건은 편향 검증 데이터를 다루는 사실상의 국제 기준으로 자리 잡을 가능성이 크다.

편향 검증 파이프라인 — 실무자 3단계 확인 Q1 특수 범주 데이터가 반드시 필요한가? 합성·익명화로 충분하다면 그것을 사용. 그렇지 않다면 ↓ Q2 봉인 환경(가명화·접근 통제)이 갖춰져 있는가? 기술적·조직적 장치가 없다면 먼저 구축. 있다면 ↓ Q3 편향 교정 후 삭제 시점·방법이 미리 정해져 있는가? 삭제 계획이 없다면 먼저 수립. 있다면 ↓ ✓ 편향 검증 파이프라인 시작 가능
▲ Article 10(5)를 실무에 적용하는 3단계 확인 절차 | 페블러스 원본 도식

Editor's Note — 페블러스의 시선

페블러스는 학습·검증 데이터의 출처와 품질, 처리 이력을 기록·추적하는 일을 다룬다. 그 관점에서 이번 개정의 핵심은 '민감 데이터를 써도 되느냐'가 아니라, '썼다는 사실을 어떻게 증명하고 언제 지웠는지 어떻게 남기느냐'다. 다섯 가지 조건은 모두 기록으로만 입증된다. 대체 불가의 판단도, 접근 통제의 내역도, 삭제의 시점도, 그 일이 일어나는 동안 남긴 기록이 있어야 나중에 설명할 수 있다. 공정한 AI가 가장 민감한 데이터를 필요로 한다면, 그 데이터를 다뤘다는 기록은 그만큼 더 필요해진다.

R

참고문헌

공식 문서

학술·정책 보고서

법률·규제 분석

시민사회