Executive Summary

전통적인 사이버보안 프레임워크는 지킬 대상이 분명하다. NIST 사이버보안 프레임워크(CSF)가 보호하는 것은 코드와 데이터의 기밀성·무결성·가용성이다. 소프트웨어는 한 번 배포되면 입력이 같으면 출력이 같은 결정론적 자산이고, 위협은 대체로 바깥에서 온다. 침입자, 랜섬웨어, 서비스 거부 공격처럼 경계 안으로 밀고 들어오는 힘을 막는 것이 목표다.

AI 시스템은 이 전제를 거의 모두 깬다. 같은 입력에도 출력이 확률적으로 달라지고, 학습 과정에서 아무도 명시적으로 프로그래밍하지 않은 행동이 창발한다. 무엇보다 위협의 상당수가 바깥이 아니라 안에서, 정확히는 학습 데이터에서 온다. 편향된 데이터는 편향된 결정을, 특정 집단이 과소 대표된 데이터는 그 집단에 대한 체계적 오류를 만든다. NIST AI RMF 1.0이 CSF의 문법을 그대로 쓰지 않고 새로 쓰인 이유가 여기 있다. 이 프레임워크는 코드가 아니라 모델의 행동을, 그리고 그 행동이 개인·조직·사회에 미치는 영향을 리스크의 단위로 삼는다. RMF는 이것을 사회기술적(sociotechnical) 리스크라고 부른다. 기술의 정확도만이 아니라 그 기술이 사회 속에서 작동할 때 생기는 해악까지 관리 대상에 넣는다는 뜻이다.

두 세계의 차이를 네 개의 축으로 나란히 놓으면 이동의 방향이 분명해진다.

표의 세 번째 행이 이 글의 출발점이다. 전통 IT에서 데이터 문제는 "누가 접근하는가"였지만, AI에서 데이터 문제는 "무엇이 모델 안으로 굳었는가"다. AI에서 지킬 자산은 코드가 아니라, 학습 데이터가 모델 내부 표현으로 굳은 결과물이다. 편향된 데이터는 편향된 표현을, 계보가 없는 데이터는 감사할 수 없는 표현을, 낡은 데이터는 현실과 어긋난 표현을 남긴다.

그리고 이 작업은 실제로 어렵다. 조직의 83%가 AI 도구를 쓰지만 강한 거버넌스 체계를 갖춘 곳은 25%에 불과하다는 조사(Compliance Week, 2026)는 조직의 게으름을 보여주는 숫자가 아니다. 그 격차의 상당 부분은 뒤에서 볼 MAP·MEASURE의 데이터 작업이 문서 작업이 아니라 엔지니어링 작업이기 때문에 벌어진다. 규정을 읽는 것과 파이프라인에 계보·공정성·드리프트 계측기를 다는 것은 전혀 다른 난이도의 일이다.

AI RMF는 위험 관리를 한 번의 점검이 아니라 반복되는 순환으로 본다. 그 순환을 네 개의 함수가 지탱한다. GOVERN은 조직 전체에 책임과 문화를 심는 토대이고, MAP은 시스템이 놓인 맥락을 파악하며, MEASURE는 그 리스크를 측정하고, MANAGE는 측정된 리스크에 실제로 대응한다. GOVERN이 나머지 셋을 감싸고, 그 안에서 MAP → MEASURE → MANAGE가 흐르는 구조다.

이 글의 논지는 이 그림 안에 있다. GOVERN과 MANAGE는 "누가 책임지고 무엇을 조치하는가"의 조직·실행 레이어이고, MAP과 MEASURE는 "무엇을 알고 무엇을 측정하는가"의 인식 레이어다. 그리고 그 인식 레이어야말로 데이터 작업의 본체다. 먼저 GOVERN과 MANAGE를 간결히 짚고, 다음 두 섹션에서 MAP과 MEASURE를 데이터 관점으로 풀어낸다.

GOVERN: 리스크를 아는 문화를 만든다

GOVERN은 나머지 세 함수가 실제로 돌아가도록 조직에 책임을 심는 토대다. 실무에서는 대체로 세 가지로 요약된다. 첫째, 법무·엔지니어링·컴플라이언스가 함께 참여하는 감독 기구(예: AI 안전 위원회)를 둔다. 둘째, 조직이 쓰는 모든 파운데이션 모델·서드파티 API·파인튜닝 데이터셋을 자산으로 추적한다. 셋째, 허용 가능한 모델 오류와 배포 리스크의 경계, 즉 리스크 허용도를 명시적으로 정한다. 이 자산 목록과 허용도 기준이 없으면 뒤의 MAP·MEASURE는 기준선 없이 헛돈다.

MANAGE: 측정한 것을 조치로 옮긴다

MANAGE는 MAP과 MEASURE가 밝혀낸 리스크를 실제 대응으로 바꾼다. 이상 행동을 보이거나 오염된 모델을 즉시 오프라인으로 내리는 자동 페일세이프(kill switch), 유해하거나 위법한 출력을 걸러내는 콘텐츠 필터와 프로그램적 가드레일, 그리고 고위험 결정을 사람에게 넘기는 수동 폴백이 대표적이다. 다만 무엇을 내리고 무엇을 걸러야 하는지를 아는 일은 결국 MEASURE가 만든 숫자에 달려 있다. 조치의 품질은 측정의 품질을 넘지 못한다.

MAP은 모델을 배포하기 전에 그것이 놓인 환경과 의도, 작동의 한계를 파악하는 함수다. RMF 문서에서 MAP은 세 갈래의 실행 항목으로 제시된다. 사용자와 취약 집단을 프로파일링하고, 모델이 독립적으로 결정해서는 안 되는 데이터 갭을 식별하며, 오픈웨이트 모델·클라우드 인프라·서드파티 학습 파이프라인에서 오는 의존성 리스크를 분류하는 것이다. 이 세 가지는 거버넌스 언어로 쓰여 있지만, 파이프라인으로 내려오면 모두 데이터에 대한 질문으로 바뀐다.

표현성: 누가 데이터에 없는가

사용자와 취약 집단을 프로파일링하라는 지시는, 데이터로 옮기면 "이 집단이 학습 데이터에 충분히 담겨 있는가"라는 표현성 질문이 된다. 채용이나 대출 승인처럼 사람의 삶을 가르는 결정에서, 특정 집단이 과소 대표된 데이터로 학습한 모델은 그 집단에 대해 체계적으로 틀린다. 일부 연구는 비표현적 데이터셋에서 발생하는 모델 오류의 최대 30%가 이런 표본 편향에서 비롯된다고 본다. 표현성 감사는 이 오류를 배포 전에 드러내는 작업이다. 데이터를 집단별로 쪼개 커버리지를 세어 보는, 언뜻 단순하지만 실제로는 라벨과 메타데이터가 갖춰져야만 가능한 일이다.

분포의 경계: 모델이 침묵해야 할 곳

모델이 독립적으로 결정하면 안 되는 영역을 식별하라는 항목은, 학습 분포의 경계를 그리는 작업이다. 모델은 학습 데이터가 촘촘한 구간에서는 그럭저럭 신뢰할 만하지만, 데이터가 비어 있던 구간에서는 자신 있게 틀린 답을 내놓는다. 어디가 분포 안이고 어디가 밖인지를 데이터로 표시해 두어야, "여기서는 모델이 결정하지 말고 사람에게 넘긴다"는 MANAGE의 폴백 규칙이 근거를 갖는다. 경계를 모르면 폴백을 어디에 걸어야 할지도 알 수 없다.

계보: 무엇으로 학습했는지 말할 수 있는가

의존성 평가는 가장 노골적으로 데이터 작업이다. 오픈웨이트 모델을 가져다 파인튜닝했다면 원본 모델이 무엇으로 학습됐는지, 서드파티 데이터셋을 섞었다면 그 출처와 라이선스가 무엇인지 추적할 수 있어야 한다. 이것이 데이터·모델 계보(provenance/lineage)다. 계보가 없으면 나중에 편향이나 저작권 문제가 터졌을 때 어느 데이터가 원인인지 되짚을 수 없고, 감사 자체가 성립하지 않는다. 데이터 계보·관측성 도구 시장이 2026년 기준 대략 20억~40억 달러 규모로 추정되며 연 12~24%씩 성장하는 배경에는, EU AI Act가 고위험 시스템에 데이터 계보·품질 로깅을 요구하기 시작하면서 계보 추적이 모범 관행에서 컴플라이언스 요건으로 옮겨가는 흐름이 있다(시장 수치는 조사기관마다 정의가 달라 범위로 인용).

MAP이 지도라면 MEASURE는 계기판이다. MAP이 "무엇을 학습했고 무엇이 빠졌는가"를 정성적으로 파악한다면, MEASURE는 그 리스크가 지금 얼마인지를 숫자로 만든다. RMF에서 MEASURE는 세 갈래로 나온다. 편향을 감사하고(bias audit), 적대적 공격을 시뮬레이션하고(red-teaming), 드리프트를 추적하는 것이다. 이 셋은 각각 측정 가능한 데이터 품질 지표로 번역된다.

편향 감사: 지표 하나로는 증명되지 않는다

bias audit는 먼저 편향의 유형을 구분하는 데서 시작한다. NIST SP 1270은 편향을 시스템적(systemic)·통계적(statistical)·인간 인지적(human-cognitive) 세 종류로 나눈다. 그다음 보호 속성별로 공정성 메트릭을 계산한다. 각 집단이 긍정 판정을 같은 비율로 받는지 보는 demographic parity, 실제 정답이 같을 때 판정도 같은지 보는 equalized odds, 특정 집단에 불리한 결과가 쏠리는지 보는 disparate impact가 대표적이다. 중요한 것은 이 지표들을 학습 데이터와 추론 결과 양쪽에서 재야 한다는 점, 그리고 어느 지표 하나로 공정성을 증명할 수 없다는 점이다. 메트릭끼리 서로 상충할 수도 있다. 하나를 만족시키면 다른 하나가 무너지는 경우가 있어, 맥락에 맞는 지표를 고르고 그 선택의 근거를 남기는 일이 감사의 실질이다.

red-teaming: 데이터가 새는지 두드려 본다

red-teaming은 모델을 공격자의 눈으로 두드려 보는 작업이다. 프롬프트 인젝션으로 가드레일을 우회할 수 있는지, 데이터 추출 공격으로 학습에 쓰인 원문이 그대로 튀어나오는지, 멤버십 추론으로 특정 개인의 데이터가 학습에 포함됐는지 알아낼 수 있는지를 시험한다. 뒤의 두 공격이 성공한다는 것은 곧 학습 데이터가 모델을 통해 새고 있다는 뜻이다. red-teaming의 성공률은 그래서 데이터 프라이버시의 직접 지표가 된다. 벤치마크와 red-team 결과를 어디까지 신뢰할 수 있는가는 그 자체로 별도의 주제이며, 이는 AI 에이전트 벤치마크의 신뢰성에서 더 다뤘다.

드리프트: 천천히 틀려지는 것을 잡는다

드리프트 추적은 배포 후에도 모델이 여전히 맞는지를 계속 재는 일이다. 세 축으로 나뉜다. 성능 지표가 서서히 떨어지는 정확도 감쇠, 입력과 정답의 관계 자체가 바뀌는 개념 드리프트(concept drift), 입력 데이터의 분포가 옮겨가는 공변량 이동(covariate shift)이다. 드리프트의 가장 고약한 성질은 급격한 장애가 아니라 점진적 저하라는 것이다. 서버가 멈추면 즉시 알지만, 모델이 조금씩 나빠지는 것은 이미 고객과 직원, 의사결정에 영향을 준 뒤에야 드러나기 쉽다. 그래서 최소한 한 개의 드리프트 지표라도 배포 후 지속적으로 모니터링하는 것이 MEASURE의 마지막 요건이다.

이 측정이 왜 절실한지는 격차 하나로 요약된다. 실패한 AI 프로젝트의 85%가 데이터 품질을 원인으로 지목하지만, 정작 AI를 지탱할 만큼 품질이 충분한 데이터를 가진 조직은 12%뿐이다(Gartner, 2025). 대다수 조직이 MEASURE가 요구하는 것을 하지 못하고 있다는 뜻이다. 다만 이 85%는 설문에 기반한 자기보고 수치라는 점을 덧붙여야 공정하다. 140개 기업 사례를 사후 근본원인 분석한 다른 연구는 실패의 23%만이 실제 모델·데이터·통합 문제였고 나머지는 전략·거버넌스·변화관리 쪽이었다고 본다. 두 숫자는 방법론(자기보고 설문 대 사후 분석)이 달라 상충이라기보다 서로 다른 각도의 진실이다. 그래도 방향은 분명하다. 측정 없는 신뢰는 주장일 뿐이다.

이 격차가 추상적인 경고로만 들린다면, 측정을 건너뛴 대가가 어떻게 청구되는지 보면 된다. 미국 고용평등위원회(EEOC)가 처리한 iTutorGroup 사건에서 채용 소프트웨어는 55세 이상 여성과 60세 이상 남성 지원자를 자동으로 탈락시켰고, 확인된 피해자만 200명이 넘었다. 회사는 36만 5천 달러에 합의했다. 배포 전에 연령대별 합격률을 재는 공정성 감사가 한 번이라도 돌았다면, 이 편향은 소송 서류가 아니라 대시보드의 지표로 먼저 드러났을 것이다. 편향 감사와 드리프트 모니터링이 하는 일이 바로 이것이다. 법정에서 뒤늦게 확인될 결과를 배포 전후의 숫자로 앞당겨 보는 일이고, 그 숫자의 출처는 언제나 모델이 학습한 데이터다.

RMF는 신뢰할 수 있는 AI(Trustworthy AI)를 일곱 개의 차원으로 정의한다. 이것들은 추상적인 덕목처럼 들리지만, 실은 상당수가 데이터 품질 지표의 집합으로 분해된다. 먼저 일곱 개를 늘어놓으면 다음과 같다.

• 유효하고 신뢰할 수 있음(Valid & Reliable) — 다양한 조건에서 의도한 작업을 일관되게 정확히 수행한다.
• 안전함(Safe) — 사람의 생명·건강·재산을 위협하지 않는다.
• 보안·복원력(Secure & Resilient) — 데이터 오염, 모델 역전 공격, 예상 밖 입력을 견딘다.
• 책임·투명성(Accountable & Transparent) — 데이터 흐름을 기록하고 중요한 출력의 감사 추적을 남긴다.
• 설명·해석 가능성(Explainable & Interpretable) — 예측의 근거와 작동 원리를 이해할 수 있다.
• 프라이버시 강화(Privacy-Enhanced) — 학습과 사용 과정에서 데이터 소유권을 존중하고 노출을 막는다.
• 공정함(Fair) — 체계적·계산적 편향을 찾아내고 완화하며 관리한다.

이 가운데 넷은 데이터에 직접 뿌리를 둔다. 각각이 요구하는 것을 데이터 작업으로 옮기면 이렇게 된다.

나머지 세 차원, 곧 안전과 보안·복원력과 책임·투명성도 데이터 레이어와 얽히지만, 무게중심은 시스템과 조직 쪽에 있다. 안전은 배포 환경의 페일세이프 설계에, 보안·복원력은 인프라와 공격 표면 관리에, 책임·투명성은 로깅 정책과 거버넌스 절차에 더 크게 기댄다. 그럼에도 이 셋조차 데이터에서 완전히 자유롭지 않다. 무엇이 오염됐는지, 무엇이 감사 추적에 남아야 하는지를 결정하는 순간 다시 데이터 계보로 돌아오기 때문이다. 신뢰성은 이렇게 추상적 구호가 아니라 잴 수 있는 데이터 품질 지표의 묶음으로 내려앉는다.

프레임워크를 문서로 읽는 것과 실무로 옮기는 것 사이에는 큰 간극이 있다. NIST는 이 간극을 메우려고 RMF와 함께 여러 동반 자료를 냈고, 산업은 인증 표준과 자동화 도구로 그것을 감쌌다. 여기서는 그 경로를 짧게 정리한다.

Playbook과 ISO/IEC 42001: 무엇을, 그리고 증명

RMF Playbook은 네 함수 각각에 대해 "구체적으로 무엇을 하면 되는가"를 제안 형태로 풀어 놓은 동반 자료다. 생성형 AI에는 별도의 프로파일(NIST AI 600-1)이 더해졌다. 여기에 ISO/IEC 42001을 겹치면 그림이 완성된다. RMF가 무엇을 할지를 정의한다면, ISO 42001은 그것을 경영시스템으로 문서화하고 외부 감사로 증명하는 인증 껍데기(certifiable shell)다. 둘은 경쟁하지 않는다. RMF로 실행 내용을 채우고 ISO 42001로 그 실행을 증명하는 식으로 함께 매핑된다. 2025년 기업 설문에 처음 등장한 ISO 42001(36%)과 NIST AI RMF(33%)가 등장 첫해에 GDPR 다음가는 인용률을 기록한 것은, 자발적 표준이 얼마나 빠르게 사실상의 기준으로 굳는지를 보여준다(Stanford HAI AI Index 2026).

AI-SPM과 관측성: 계측기를 파이프라인에 단다

MAP·MEASURE의 데이터 작업을 사람 손으로만 하기는 어렵다. AI 보안 태세 관리(AI-SPM), 데이터 계보·관측성, 드리프트 모니터링 같은 도구 범주가 이 작업의 자동화를 표방하며 성장하고 있다. 다만 도구가 커버하는 범위를 마케팅 문구가 아니라 실제 기능으로 따져야 한다. 계보 추적은 MAP의 의존성 평가를, 드리프트 모니터링은 MEASURE의 추적을 자동화하지만, 어떤 공정성 메트릭을 어떤 맥락에서 볼지 같은 판단은 여전히 사람의 몫이다. 자동화는 계측기를 달아 줄 뿐, 무엇을 재고 어떻게 해석할지는 조직이 정한다.

규제 지형: 유예이지 폐지가 아니다

규제 타임라인은 최근 크게 바뀌었고, 여기서 사실관계를 정확히 잡아 두는 것이 중요하다. 흔히 "2026년 8월"로 알려진 EU AI Act의 고위험 시스템 시한은 2026년 6월 29일 확정된 Digital Omnibus 패키지로 2027년 12월 2일까지 연기됐다. 그러나 이는 폐지가 아니라 유예다. AI와의 상호작용 고지·AI 생성물 라벨링 같은 투명성 의무(Article 50)는 변동 없이 유지되고, 워터마킹 요건은 2026년 12월에 발효된다. 미국 쪽에서는 콜로라도의 이른바 "세이프하버"가 사라졌다. 원래의 SB 24-205는 SB 26-189로 대체됐고(2027년 1월 1일 시행 예정, 소송 계류 중), RMF 정렬이 곧 법적 항변이 된다는 통념은 성립하지 않는다. 이 개정의 구체적 내용은 콜로라도 SB 26-189 분석에서 다뤘다.

소규모 팀의 최소 실행 세트

완전한 RMF 구현은 부담스럽다. 하지만 리스크의 대부분은 네 가지로 잡힌다. 첫째, 어떤 데이터로 학습·튜닝했는지 계보를 기록한다. 둘째, 배포 전에 대상 집단 커버리지를 점검한다. 셋째, 배포 후 최소 한 개의 드리프트 지표를 모니터링한다. 넷째, 고위험 결정에는 사람이 개입하는 폴백을 둔다. 유예 기간은 이 네 가지를 갖추기 위한 시간이지, 아무것도 하지 않아도 되는 시간이 아니다. 프레임워크를 실무로 옮기는 길은 문서를 준수하는 데 있지 않고, 데이터 파이프라인에 계보·공정성·드리프트 계측기를 다는 데 있다.

페블러스 관심의 이유

이 글의 논증은 한 방향으로 수렴한다. RMF가 다루는 위협, 곧 데이터셋 편향과 학습 누출과 시스템 드리프트는 모두 "모델 내부 표현이 학습 데이터의 결함을 그대로 물려받는다"는 한 문장으로 요약된다. 편향된 데이터는 편향된 표현을, 계보 없는 데이터는 감사 불가능한 표현을, 드리프트한 데이터는 낡은 표현을 만든다. 그렇다면 RMF의 추상적 신뢰성 차원들도 결국 학습 데이터 품질의 문제로 되돌아온다.

참고문헌

NIST 1차 문서를 중심으로, 본문에 인용한 표준·정책·통계 출처를 정리했다. 인용 정보는 아래 버튼으로 내려받을 수 있다.

학술 · 표준 · 정부 1차 문서

• 1.National Institute of Standards and Technology. (2023-01). "Artificial Intelligence Risk Management Framework (AI RMF 1.0)." NIST AI 100-1.
• 2.National Institute of Standards and Technology. "NIST AI RMF Playbook." Trustworthy & Responsible AI Resource Center.
• 3.National Institute of Standards and Technology. (2024-07). "Artificial Intelligence Risk Management Framework: Generative AI Profile." NIST AI 600-1.
• 4.National Institute of Standards and Technology. (2022-03). "Towards a Standard for Identifying and Managing Bias in Artificial Intelligence." NIST SP 1270.
• 5.National Institute of Standards and Technology. (2021-09). "Four Principles of Explainable Artificial Intelligence." NIST IR 8312.
• 6.International Organization for Standardization. (2023-12). "ISO/IEC 42001:2023 — Information technology — Artificial intelligence — Management system."
• 7.Hardt, M., Price, E., & Srebro, N. (2016). "Equality of Opportunity in Supervised Learning." NeurIPS 2016. (공정성 메트릭: equalized odds)
• 8.Gama, J., et al. (2014). "A Survey on Concept Drift Adaptation." ACM Computing Surveys, 46(4).

정책 · 통계 · 시장 데이터

• 9.Stanford Institute for Human-Centered AI. (2026). "Artificial Intelligence Index Report 2026." (규제 프레임워크 인용률: GDPR 60%, ISO 42001 36%, NIST AI RMF 33%; 책임 AI 정책 부재 24%→11%)
• 10.Gartner. (2025). "Data Quality and AI Readiness." (실패 AI의 85%가 데이터 품질 원인 지목; AI-ready 데이터 보유 12%; 데이터 품질 연 손실 $12.9M)
• 11.Compliance Week. (2026). "2026 AI Governance Survey." (AI 사용 83% vs 강한 거버넌스 25%)
• 12.RAND Corporation. "The Root Causes of Failure for Artificial Intelligence Projects." (AI 프로젝트 실패율 80%+)
• 13.European Union. (2026-06-29). "Digital Omnibus on AI — Council final approval." (EU AI Act Annex III 고위험 시한 2027-12-02로 연기; 다수 로펌 교차 확인)
• 14.Colorado General Assembly. (2026-05-14). "SB 26-189." (SB 24-205 대체; 2027-01-01 시행 예정, 소송 계류)
• 15.금융감독원. (2026-01-15). "금융분야 AI 위험관리 프레임워크(AI RMF) 도입." (거버넌스·위험평가·위험통제 3영역, 자율규제)

페블러스 인접 (상호 링크)

• 16.페블러스 데이터 커뮤니케이션팀. "콜로라도가 자기 AI법을 다시 썼다 — SB 26-189가 ADMT에 묻는 다섯 가지." Pebblous Blog.
• 17.페블러스 데이터 커뮤니케이션팀. "AI 에이전트 벤치마크의 신뢰성." Pebblous Blog.