Executive Summary

주요 수치

출처: 유엔 안보리 제10228차 회의록, EU AI법 제73조, 캘리포니아 SB 53, OECD AI Papers No. 34.

안보리가 AI를 의제로 올린 것이 처음은 아니다. 안보리와 이사국들은 그동안 여섯 차례 공식·비공식 회의에서 이 기술이 평화와 안보에 미치는 영향을 다뤘다. 9월 23일 제10228차 회의가 처음인 지점은 따로 있다. 점점 유능해지는 AI 시스템이 만드는 안전 위험 자체로 초점을 좁힌 회의는 이번이 처음이었다.

형식은 고위급 브리핑이었다. 의제명은 국제 평화와 안보의 유지 아래 인공지능과 국제 안보로 달렸고, 9월 의장국 프랑스의 장노엘 바로 유럽·외무장관이 사회를 봤다. 발언대에 선 넷은 유엔 독립 국제 AI 과학패널 공동의장 요슈아 벤지오, 오픈AI 최고경영자 샘 올트먼, 앤트로픽 최고경영자 다리오 아모데이, 허깅페이스 최고경영자 클레망 들랑그다. 아모데이는 화상으로 참여했다.

회의가 끝나고 남은 문서는 없다. 결의문도 의장성명도 채택되지 않았다. 안보리에서 브리핑은 결정을 내리는 자리가 아니라 이사국들이 각자 입장을 회의록에 올려 두는 자리이고, 표결 절차도 따라붙지 않는다. 그러니 이날 실제로 생산된 것은 발언 기록뿐이다. 이 점이 뒤에 다룰 내용과 이어진다. 이 회의가 요청한 것이 바로 기록이었기 때문이다.

아모데이가 안보리에 가져온 제안은 세 갈래였다. 첫째는 좁은 범위에서 시작하는 전 지구적 합의다. 이를테면 AI로 생물무기를 만드는 일을 금지하는 것처럼, 모두가 동의할 수 있는 항목부터 묶자는 것이다. 둘째가 이번 회의에서 가장 자주 인용된 대목이다. AI 발전 속도를 따라잡는 평가·검증 체계를 세워 국가들이 프런티어 모델의 능력을 들여다볼 수 있게 하자는 요청이었다. 셋째는 모델의 통제 상실 위험과 오남용 위험을 시험하는 공통 표준, 그리고 세계 안보에 중요한 AI 사고를 알리는 통보 체계다.

아모데이는 자사가 이미 하고 있는 관행도 함께 내놨다. 외부 평가자를 앤트로픽 안에 두고 직원과 같은 수준의 접근권을 주는 방식인데, 그는 이것을 식품 검사관에 빗댔다. 검사관이 공장 밖에서 완제품만 받아 보는 것과 공정 안에 서 있는 것은 다른 일이라는 뜻이다. 두 방식이 요구하는 기록의 양도 다르다.

올트먼의 요청도 같은 방향이었다. 그는 국가 표준과 국제 표준이 서로를 보완하는 구조를 제안하면서, 그 표준이 할 일을 능력을 측정하고 위험을 평가하며 안전장치가 충분한지 판단하고 사람의 유의미한 감독을 지키는 것이라고 정리했다. 표준이 왜 공통이어야 하는지도 밝혔다. 그래야 나라들이 증거를 서로 견주고 이행을 검증하며 지금 무슨 일이 벌어지는지에 대해 같은 언어를 가질 수 있다는 것이다. 사고 쪽으로는 더 구체적이었다. 정확하고 빠른 사고 보고, 그리고 분류와 보고의 프로토콜을 갖춰 실패가 재앙이 되기 전에 세계가 그것으로부터 배우게 하자는 요청이다.

벤지오는 검증의 모델을 다른 산업에서 빌려 왔다. 프런티어 AI도 의약품·항공·원자력처럼 면허 대상이 되어야 안전한 개발에 유인이 생긴다고 짚었다. 그가 개발사에 요구한 것은 두 가지다. 시스템이 학습해도 되고 배포해도 되는 상태임을 독립 전문가에게 입증할 것, 그리고 모든 보안 사고를 관찰하고 보고할 것. 그는 고칠 방법도 셋으로 들었는데, 첫째가 기업에서 독립한 과학이었고 거기에 AI 사고의 공통 정의와 공유 보고 메커니즘이 포함된다고 못 박았다. 이날 남길 기록의 규격을 정면으로 지목한 발언은 이것뿐이다. 벤지오가 공동의장을 맡은 과학패널은 이틀 전인 9월 21일 첫 주제별 브리프를 내면서 에이전트 사고 하나를 통제 상실의 증거로 다뤘다. 그 사건을 재구성할 수 있었던 이유도 결국 기록이 남아 있어서였다.

네 사람 중 가장 구체적인 서식을 말한 쪽은 들랑그였다. 그는 감시와 사고 공개의 표준을 강화해야 한다면서 그 방법으로 에이전트 실행 추적 전체의 의무 공유를 들었다. 에이전트가 어떤 도구를 불렀고 무엇에 접근했으며 어떤 순서로 움직였는지가 통째로 남아 바깥에 넘어가야 한다는 말이다. 그가 이 요구를 꺼낸 근거는 자사가 겪은 일만이 아니었다. 비슷한 사고가 몇 달 앞서 소수의 프런티어 연구소에서 감시 없이 비공개로 일어나고 있었다는 사실을 이제 안다고 했다. 네 요청을 나란히 놓으면 공통점이 드러난다. 넷 다 남길 기록을 요구했고 벤지오는 공통 정의가 필요하다고까지 말했다. 다만 그 정의에 어떤 항목이 들어가야 하는지를 말한 사람은 없었다.

기업 셋과 과학자 하나가 같은 방향을 가리킨 것과 달리, 이사국들의 발언은 갈렸다. 미국 대표로 나온 백악관 과학기술정책실장 마이클 크라치오스는 전날 총회에서 대통령이 한 말을 그대로 끌어와, 초지능을 통제하려는 세계주의적 설계를 미국은 전면 거부한다고 말했다. 기술 주권은 기술을 채택하는 데서 실현된다는 말도 함께 붙였다. 다만 그가 검증 자체를 물린 것은 아니다. 같은 발언에서 미국은 프런티어 연구소와 새 모델 능력의 시험·평가를 함께 해 왔고 취약점 대응을 조율할 사이버보안 정보교환소를 세웠다고 밝혔다. 받지 않겠다는 것은 검증이 아니라 검증자가 국제 기구인 그림이다.

영국 외무장관 에드 밀리밴드는 반대쪽에 섰다. 정부는 AI 기업들이 무엇을 하고 있는지 이해하고 평가할 가시성을 가져야 한다는 것이 발언의 핵심이었고, 주요 기업들이 그 가시성을 제공하겠다고 이미 약속한 만큼 양쪽이 그 약속을 끝까지 이행해야 한다고 덧붙였다. 중국은 디지털 주권을 존중해야 한다면서 각국이 AI 기술과 제품과 서비스를 스스로 고를 수 있어야 한다고 말했다. 진영 나누기가 기술 표준의 파편화와 시스템 간 비호환을 키운다는 경고도 함께 내놨다. 러시아는 한 단계 앞을 문제 삼았다. 이 폭넓은 주제가 애초에 안보리의 위임 범위에 속하는지부터 따지면서, 더 전문화된 다자 포럼에서 다루는 편이 맞다고 했다. 근거로 든 사례가 공교롭다. 제네바의 치명적 자율무기 정부전문가그룹이 3주 전 합의 보고서를 냈고 거기에 자율무기의 작업 정의가 담겼다고 했다. 정의를 만드는 일은 이미 다른 방에서 진행 중이라는 주장이다.

의장국 프랑스는 의장석을 잠시 떠나 자국 입장을 밝히면서 해야 할 일을 네 가지로 끊어 말했다. 모델을 출시 전부터 생애주기 내내 독립적으로 평가하는 일, 모델이 어떻게 작동하는지뿐 아니라 어떻게 오작동하는지를 특히 사고가 났을 때 투명하게 밝히는 일, 학습부터 배포까지 내부와 외부의 감독을 세우는 일, 그리고 사고가 났을 때 개발 단계까지 거슬러 AI 기업의 법적 책임을 묻는 일이다. 바로 장관은 우리가 맨바닥에서 시작하는 것이 아니라고 했고, 공통 평가 방법을 정의하는 작업을 하는 AI 안전연구소 국제 네트워크를 그 근거로 들었다.

작은 나라들이 꺼낸 축은 또 달랐다. 소말리아는 의무적 사고 보고와 독립 감사를 지지한다고 밝히면서, 아프리카 국가들이 외부의 판정에 기대지 않고 스스로 AI 시스템을 평가할 제도적·기술적 역량을 가져야 한다고 했다. 콩고민주공화국은 기업 몫으로 배포 전 위험 평가와 사고 보고와 추적 가능성을 묶어 들었고, 개발도상국이 자신이 만드는 데 참여하지 못한 표준을 받기만 하는 처지가 되어서는 안 된다고 했다. 라이베리아가 이 축을 가장 또렷하게 눌렀다. 검증 없는 규범은 충분하지 않으며, 신뢰할 만한 감사 틀과 레드팀 표준과 독립적인 기술 평가가 있어야 기업과 국가의 약속이 측정 가능한 안전으로 바뀐다는 것이다.

그래서 이날 합의된 것은 검증이 필요하다는 문장까지다. 누가 검증자가 되느냐에서 갈렸고, 그 아래에 있는 물음은 끝내 손대지 않았다. 프랑스는 사고가 났을 때 밝혀야 한다고 했고 벤지오는 사고의 공통 정의가 서야 한다고 했다. 그 정의에 어떤 칸을 두고 무엇을 적어 넣을지는 이날 의제에 오르지 않았다. 이 물음은 정치적 합의를 기다리지 않는다. 답이 이미 여러 개 나와 있기 때문이다.

안보리에서 요청된 사고 통보 제도는 없는 것을 새로 만들자는 제안처럼 들린다. 실제로는 이미 여러 벌이 돌아가고 있고, 서로 맞물리지 않는다는 것이 문제다. 같은 사고를 두고 규정마다 기한이 다르고 받는 곳이 다르며, 무엇을 사고라 부르는지도 다르다.

법적 구속력이 있는 쪽부터 보면 차이가 선명하다. EU AI법 제73조는 고위험 AI 시스템 제공자에게 중대한 사고를 회원국 시장감시당국에 신고하도록 정하면서 세 개의 시계를 둔다. 인과관계를 확인한 즉시, 늦어도 인지 후 15일 안이 기본이고, 광범위한 침해에 해당하면 2일, 사망이 얽히면 10일이다. 그런데 같은 법 제55조는 시스템 위험을 가진 범용 AI 모델 제공자에게 중대한 사고 정보를 추적하고 문서화해 부당한 지체 없이 AI 사무국에, 그리고 필요한 경우 국가 관할당국에 보고하라고 적는다. 날짜가 없다. 한 법 안에서 받는 곳도 시계도 갈린다.

각 규정의 조문에서 옮겼다. 캘리포니아 SB 53은 2025년 9월 서명된 프런티어 AI 투명성법이고, 중대 안전사고를 통제 상실과 안전장치의 고의적 회피 등으로 정의한다.

시계를 한 줄에 겹쳐 놓으면 간격이 더 잘 보인다. 아래는 같은 사고가 어느 규정 아래 놓이느냐에 따라 신고까지 허용되는 시간이 어떻게 달라지는지를 그린 것이다.

기한만 다른 것이 아니다. 무엇을 사고로 셀지도 규정마다 다르다. SB 53이 신고 대상으로 못 박은 중대 안전사고에는 모델 가중치에 대한 무단 변경, 재난급 위험의 현실화, 통제 상실, 안전장치의 고의적 회피가 들어간다. 그런데 이 정의는 평가 맥락을 배제하는 문구를 달고 있어서, 오픈AI가 올여름 자사 평가 환경에서 겪은 사고는 조문상 신고 대상에서 빠졌다. 같은 일이 EU 제73조에서는 사람에게 피해가 갔느냐를 먼저 묻는 문턱에 걸린다. 규정이 늘어도 세어지지 않는 구간이 남는다.

신고서에 무엇을 적어야 하는지까지 조문에 적어 둔 곳은 셋 중 하나뿐이다. SB 53은 주 비상서비스국이 갖출 신고 창구에 네 칸을 두라고 정한다. 사고가 일어난 날짜, 그 사건이 중대 안전사고에 해당하는 이유, 사고를 설명하는 짧고 평이한 진술, 그리고 모델의 내부 사용과 관련된 사고인지 여부다. EU AI법은 기한만 정하고 서식은 집행위원회 지침에 넘겼다. 그러니 조문 수준에서 비교하면 한쪽은 네 칸이고 다른 쪽은 아직 빈칸이며, 그 옆에서 OECD가 스물아홉 칸짜리 안을 들고 기다리는 셈이다. 덧붙여 SB 53은 접수된 신고서를 캘리포니아 정보공개법의 적용에서 빼 두었다. 기록은 남지만 바깥에서 읽히지는 않는다.

4.1공통 어휘를 만들려는 시도는 이미 있다

규격을 맞춰 보려는 작업이 없었던 것은 아니다. OECD의 AI 거버넌스 작업반과 AI 사고 전문가그룹은 2025년 공통 보고 서식을 냈다. AI 시스템 분류 체계, AI 사고 데이터베이스, 제품 리콜 포털, 자체 사고 모니터를 뒤져 AI 사고를 특징짓는 기준 88개를 먼저 추렸고, 관련성·빈도·전문가 의견을 걸러 29개로 줄였다. 이 29개는 여덟 개 갈래로 묶이고, 그중 일곱 개가 필수 항목이다.

이 서식이 채운 자리와 비운 자리가 분명하다. 채운 것은 어휘다. 사고를 적을 때 어떤 칸을 두어야 하는지에 대해 나라와 부문을 가로지르는 기준선이 처음 생겼다. 비운 것은 의무다. 누가 언제 어디로 내야 하는지는 각국의 법과 정책에 맡겨 두었고, 실제 수집은 OECD의 AI 사고 모니터에 자발적으로 제출하는 방식으로 시험 중이다. 그 모니터는 지금까지 주로 언론 보도에서 사고를 긁어모았다. 보도되지 않은 사고는 처음부터 집계에 없다.

다른 산업과 견주면 격차가 드러난다. 항공 사고는 조사 기관과 보고 서식이 수십 년 동안 다듬어졌고, 백신 이상반응·자동차 결함·보안 취약점도 각각 의무 보고 체계를 갖췄다. 벤지오가 의약품·항공·원자력을 든 것도 그 성숙도를 빌려 오자는 뜻이다. 반면 들랑그가 요구한 에이전트 실행 추적 전체는 위 다섯 규격 중 어느 것도 항목으로 정의하지 않는다. 안보리에서 나온 요청 하나는 이미 규격이 다섯 벌이고, 다른 하나는 규격이 0벌이다.

여기서부터는 이 글의 읽기다. 안보리 회의는 프런티어 모델을 만드는 소수 기업과 회원국 정부를 향해 열렸고, 일반 기업의 데이터 관리 실무를 언급하지 않는다. 그래도 이 자리에서 막힌 물음은 규모만 다를 뿐 우리 업무와 같은 모양이다. 우리가 AI를 안전하게 쓰고 있다고 말할 때, 남 앞에 내놓을 수 있는 증빙은 무엇인가.

국가끼리의 검증이 어려운 이유는 서로를 믿지 못해서만은 아니다. 믿음을 대신할 기록의 서식이 없어서다. 조직 단위로 내려오면 이 문제는 훨씬 빨리 닥친다. 고객사의 보안 검토, 감사인의 실사, 규제기관의 조회가 오는 순간 요구되는 것은 방침 문서가 아니라 값이다. 언제 무엇을 학습시켰는지, 어떤 절차로 평가했는지, 사고를 언제 알았는지를 곧바로 댈 수 있어야 한다.

기한 이야기가 특히 그렇다. 위의 모든 기한은 인지한 때부터 센다. 그러면 우리 조직이 사고를 인지한 시점이 어디에 기록되는지가 곧 규정 준수의 출발점이 된다. 그 시점이 누군가의 기억이나 메신저 대화에만 있다면, 15일이라는 숫자는 셀 수 있는 대상이 아니다.

지금 조직이 내놓을 수 있는 증빙이 어디까지인지는 아래 네 가지로 대략 드러난다. 안보리가 제시한 점검표가 아니라 이 글이 우리 업무로 옮겨 온 물음이다.

• 우리 조직이 무엇을 사고라 부르는지가 문서에 적혀 있는가. 규정마다 정의가 다르니 우리 정의를 먼저 세워 두지 않으면 어느 서식에도 맞출 수 없다.
• 사고를 인지한 시점이 값으로 남는가. 남는다면 그 값을 누가 기록하고 어디에 보관하는가.
• 모델이나 서비스를 평가한 절차와 그 결과가, 평가한 사람이 바뀌어도 읽을 수 있는 형태로 남아 있는가.
• 같은 사건 하나를 두 개 이상의 서식으로 동시에 낼 수 있는가. EU와 미국 주법을 함께 받는 조직이라면 이미 닥친 일이다.

우리가 AI-Ready Data를 말할 때 수집량보다 기록 구조를 먼저 묻는 이유가 여기 있다. 데이터가 나중에 한 번 더 쓰이려면 무엇을 언제 어떤 조건에서 했는지가 그 데이터에 붙어 다녀야 한다. 국제 표준이 정해진 뒤에 기록을 맞추려 하면 이미 지나간 구간은 복원되지 않는다. 표준이 늦게 오는 동안에도 사건은 계속 일어나기 때문이다.

여기까지 읽어 주셔서 감사하다. 이 글이 인용한 발언은 유엔 안보리 제10228차 회의록에서 누구나 확인할 수 있다. 여러분의 조직은 AI를 안전하게 쓰고 있다는 말을 어떤 기록으로 뒷받침하고 있는가. 감사나 실사에서 내놓을 증빙이 모자라 곤란했던 경험이 있다면 그 이야기를 나눠 주시면 좋겠다.

공식 회의 기록

• 1.United Nations. (2026). "Security Council, 10228th Meeting — Artificial Intelligence and International Security" (자동전사본, 공식 회의록 아님). transcripts.un.org.
• 2.United Nations Meetings Coverage and Press Releases. (2026). "Security Council, 10228th Meeting (SC/16462)." press.un.org.
• 3.UN News. (2026). "OpenAI and Anthropic brief Security Council on AI safety risks." news.un.org.
• 4.Security Council Report. (2026). "Artificial Intelligence: High-Level Briefing." What's In Blue.

법령·규정

• 5.European Union. (2024). "Regulation (EU) 2024/1689 (EU AI Act), Article 73 — Reporting of Serious Incidents." artificialintelligenceact.eu.
• 6.European Union. (2024). "Regulation (EU) 2024/1689 (EU AI Act), Article 55 — Obligations for Providers of General-Purpose AI Models with Systemic Risk." artificialintelligenceact.eu.
• 7.California State Legislature. (2025). "SB 53 — Transparency in Frontier Artificial Intelligence Act." California Legislative Information.

표준·보고서

• 8.OECD. (2025). "Towards a Common Reporting Framework for AI Incidents." OECD Artificial Intelligence Papers, No. 34. DOI: 10.1787/f326d4ac-en.
• 9.National Institute of Standards and Technology. (2023). "Artificial Intelligence Risk Management Framework (AI RMF 1.0)." NIST AI 100-1.

보도

• 10.CNN Business. (2026). "Sam Altman, Dario Amodei urge UN Security Council to help set global AI safety rules." CNN.