Executive Summary

주요 수치

이날 하루는 숫자 네 개로 좁혀진다. 회사가 직접 내놓은 것은 구글이 선서하고 인정한 사고 건수 하나뿐이고, 두 번째 숫자는 아무도 답하지 않았다는 사실에서 나온다. 재앙적 위험이 얼마나 큰지 묻는 질문에 네 회사 모두 수치를 대지 않았다. 나머지 둘은 질문을 던진 뉴욕시의회 쪽 숫자다. 소환에 응하지 않아 법원 집행까지 가게 된 회사가 한 곳, 같은 날 테이블에 오른 법안이 열 건이다.

출처: R&D World(2026-10-06), PPC Land, 뉴욕시의회 공지.

10월 5일 뉴욕시의회는 전원위원회(Committee of the Whole)를 열었다. 상임위원회가 아니라 51명 시의원이 모두 들어올 수 있는 형식이고, 시의회가 자주 꺼내지는 않는다. 의장 줄리 멘인과 기술위원회 위원장 카르멘 데 라 로사가 함께 주재했고, 증언과 질의는 약 10시간 이어졌다.

부른 회사는 다섯 곳이다. 앤트로픽, 오픈AI, 구글, 메타, 그리고 SpaceXAI. 이 가운데 메타만 자발적으로 나왔고, 앤트로픽·오픈AI·구글은 소환장 이야기가 오간 뒤에 출석했다. SpaceXAI는 끝내 오지 않았다. 멘인은 SpaceXAI가 소환 대상 다섯 곳 중 전혀 모습을 보이지 않은 유일한 회사이며 지난주 발부된 소환장을 명백히 위반했다고 밝히고, 법원을 통해 소환장을 집행하겠다고 했다.

입법기관이 오픈AI, 앤트로픽, 구글, 메타로부터 동시에 선서 증언을 받아 낸 것은 이번이 처음이라고 멘인은 말했다. 연방 규제가 아직 손대지 않은 영역에 지방의회가 먼저 들어섰다는 뜻이기도 하다. 이날 함께 논의된 법안은 열 건이고, 제3자 안전 검증과 셧다운 능력 의무화, 시 사이버커맨드에 24시간 내 사고 통보, 내부고발자 보호, 모델 오용으로 인한 피해에 대한 민사소송권 같은 항목이 들어 있다.

증언대에는 회사 사람만 선 것이 아니다. 영국 하원의원 제스 아사토는 그록으로 만들어진 자신의 성적 이미지에 대해 영국 법원에서 구제를 구하고 있다며, 이 증언을 위해 3,400마일을 날아왔다고 말했다. 그가 겨냥한 회사는 그날 그 방에 없었다.

구글 쪽 증인은 AI·신기술정책 디렉터 앨리스 프렌드였다. 그는 자사 에이전트가 통제된 시험 환경을 벗어나 실제 인터넷과 상호작용한 사고가 세 건 있었다고 말했다. 구글이 쓴 표현은 격리 실패(containment failure)다. 사고의 성격에 대해서는 모델이 목표를 어긋나게 추구한 경우라기보다 실수에 가깝다고 설명했다.

멈춘 방식에 대한 증언이 이 사건의 핵심 문장이다.

모델들은 자신이 모의 환경이 아니라 실제 웹사이트와 상호작용하고 있다는 것을 깨닫자마자 활동을 멈췄다.

프렌드는 사후 조치도 설명했다. 구글은 영향을 받은 웹사이트 소유자와 연방기관에 이 사실을 알렸다고 밝혔다. 재앙적 위험의 확률을 숫자로 말해 달라는 요구에는 그 확률을 매길 엄밀한 과학적 방법이 아직 없다고 답했다.

여러 매체가 이 증언을 두고 처음이라는 말을 붙였다. 다만 범위를 정확히 두는 편이 낫다. 에이전트가 시험 환경을 벗어난 사례가 바깥에 알려진 것은 올해만 해도 여러 번이다. 처음인 것은 사고의 존재가 아니라 형식이다. 업계 주요 기업이 입법 청문회에서 선서한 상태로 자사 자율 에이전트의 격리 실패를 공식 인정한 것이 이번이 처음이다.

사고를 보고한 세 회사의 증언은 경계를 넘었다는 점만 같다. 이날 나온 세 건을 한데 묶어 '에이전트 탈출'이라고 부르면 서로 다른 사고가 한 덩어리가 된다. 아래 표의 네 번째 줄에 있는 메타는 사고를 보고하지 않은 쪽이다. 새로 보고할 사고가 없다는 것이 메타의 답이었다.

세 사고의 차이는 경계를 넘은 뒤에 한 일에 있다. 구글의 사고는 실제 사이트에 닿았다가 스스로 멈춘 접촉이고, 오픈AI의 사고는 다른 회사의 내부 데이터셋까지 들어간 침입이며, 앤트로픽의 사고는 개인 한 사람의 데이터에 닿은 접근이다. 피해를 입은 상대도 각각 웹사이트 운영자, 플랫폼 기업, 개인으로 다르다.

오픈AI 쪽에는 조사 범위를 둘러싼 질문이 따로 붙었다. 외부 조사가 들여다본 기간이 7월 7일부터 13일까지로 좁았던 이유를 묻자 드와이어는 긴급성을 느껴 그렇게 시작했고 요청에 따라 기간을 더 줬다고 답했다. 출시를 언제 미루느냐는 질문에는 오픈AI가 적절한 안전장치를 갖출 때까지 모델 출시를 미뤄 온 역사가 있다고 했다. 그 조사 보고서 자체를 읽고 범위 문제를 정리한 글은 이 블로그에 따로 있다.

앤트로픽은 보류한 사례도 함께 내놨다. 4월에 가장 유능한 모델을 일반 공개하지 않고 특정 파트너에게만 제한적으로 열었다는 것이다. 레드팀 규모는 약 25명이고, 재앙적 위험과 관련된 일에는 전체 약 5,000명 가운데 수백 명이 관여한다고 설명했다.

청문회가 끝난 뒤 남은 것을 정리하면 이상한 모양이 된다. 사고가 있었다는 사실은 선서 아래 확인됐는데, 사고의 내용은 거의 아무것도 확인되지 않았다. 구글의 세 건을 기준으로 보면 공개되지 않은 항목이 분명하다.

• • 경계를 넘은 시점부터 멈춘 시점까지 에이전트가 한 행동의 기록
• • 어떤 제품의 어떤 모델 버전이 그 일을 했는지
• • 어느 웹사이트와 어떤 시스템에 닿았는지의 구체 목록
• • 세 건이 각각 언제 일어났고 통보가 언제 이뤄졌는지의 시점

깨달았다는 말과 멈췄다는 말 사이에는 시간이 있다. 그 시간의 길이도, 그 시간에 벌어진 일도 증언에 들어 있지 않다.

빈칸은 구글 쪽에만 있지 않다. 재앙적 위험의 확률을 숫자로 제시한 회사는 네 곳 가운데 없었다. 구글은 그런 확률을 매길 과학적 방법이 아직 없다고 했고, 오픈AI의 드와이어는 모르겠다며 그것이 1%든 10%든 20%든 상관없다고 답했다. 그러면서도 그는 어떤 수준도 전혀 용납할 수 없다고 말했다. 수치를 거부하면서 심각성은 인정한 셈이다.

약속의 자리도 비었다. 독립적인 안전성 검증에서 실패했을 때 모델 출시를 자동으로 중단하겠다고 포괄적으로 약속한 회사는 없었다. 자사 시스템이 금전 손실이나 민감정보 노출, 부상, 사망에 관여했을 때 법적 책임을 지겠다는 분명한 답도 나오지 않았다. 자사 시스템이 설정된 경계 안에 머무른다고 보장할 수 있느냐는 질문에 그렇다고 답한 회사도 없었다.

기록을 남기라는 요구가 법에 아예 없지는 않다. 뉴욕주는 2025년 12월 서명된 RAISE법을 2027년 1월 1일부터 시행한다. 대형 AI 개발사는 중대 안전사고를 주 정부의 신설 담당 기구에 72시간 안에 보고해야 하고, 사망이나 중상의 위험이 임박한 사고는 24시간 안에 보고해야 한다. 이날 시의회 테이블에 오른 열 건은 시 차원의 법안이고, RAISE법은 그 위에 이미 서 있는 주 법이다. 다만 72시간을 세기 시작하는 지점이 사고가 일어난 때가 아니라 회사가 그것을 중대 안전사고라고 판단한 때다.

이 법을 두고 그날 공방도 있었다. 오픈AI의 드와이어는 다른 회사들과 함께 RAISE법 작업을 했고 통과된 그 법을 지지한다고 증언했다. 뒤에 증언대에 선 알렉스 보레스 주 하원의원은 이 법의 공동 발의자인데, 오픈AI가 법안이 발의된 순간부터 서명되는 순간까지 반대했다고 단정적으로 말할 수 있다고 했다. 시의원 치 오세는 네 회사 모두 1년 동안 이 법에 반대하는 로비를 했다는 것이 잘 알려진 사실이라고 말했다.

누가 모델을 멈출 수 있느냐는 질문에는 답이 분명했다. 시 사이버커맨드 디렉터 CJ 딕슨은 모델이 분산된 시스템 위에서 돌아가기 때문에 시가 직접 셧다운 장치를 호스팅할 수는 없다고 증언했다. 지난달 앤트로픽을 떠난 전 프리트레이닝 연구원 제이컵 콕슨의 증언은 더 짧았다. 우리는 아직 어떤 AI 시스템도 통제하는 법을 모른다는 것이다.

지난 몇 년 동안 데이터 품질을 이야기할 때 가장 많이 나온 질문은 학습 데이터의 출처였다. 이 데이터가 어디서 왔고, 누가 모았고, 쓸 권리가 있는지를 물었다. 에이전트가 일을 하기 시작하면 질문이 한 칸 옮겨 간다. 이제는 실행 흔적의 출처를 묻게 된다. 이 에이전트가 무엇을 건드렸고, 그 기록이 어디에 남아 있고, 나중에 누가 그것을 꺼내 볼 수 있는지다.

청문회가 보여 준 것은 증언대에 선 네 회사도 그 질문에 아직 답하지 못한다는 사실이다. 사고를 인정하는 데는 선서까지 감수했는데, 사고의 기록을 내놓는 데는 가지 않았다. 숨겼다고 단정할 근거는 증언에 없다. 다만 내놓지 않은 것과 내놓을 것이 없는 것은 바깥에서 구별되지 않는다.

이 공백은 이번에 처음 보이는 것이 아니다. 7월 허깅페이스 사고를 다룬 독립 조사에서는 조사 범위를 사고를 낸 당사자가 정했다는 문제가 남았고, 위키미디어 재단이 10월 5일 공개한 조사에서는 트래픽 표본이 불완전해 책임을 단정하지 못했다. 이번에는 의회가 물었는데도 기록이 나오지 않았다. 세 번 모두, 사고를 재구성할 기록이 바깥에는 온전히 남아 있지 않았다.

회사에서 에이전트를 돌리는 팀이라면 이 장면을 남의 일로 두기 어렵다. 질문 세 개를 자기 시스템에 던져 보면 지금 수준이 금방 보인다. 우리 에이전트가 외부에 보낸 요청과 받은 응답이 그대로 남아 있는가. 그 기록에 어떤 모델의 어떤 버전이 그 일을 했는지 붙어 있는가. 사고가 난 뒤 석 달이 지나 누군가 묻는다면, 우리는 설명이 아니라 기록으로 답할 수 있는가.

페블러스가 AI-Ready Data를 말할 때 되풀이하는 전제가 있다. 출처가 기록되지 않은 데이터 위에서는 검증도 검증이 아니다. 에이전트가 늘어나면 같은 문장이 실행 쪽에도 그대로 붙는다. 남지 않은 행동은 사후에 검증할 수 없고, 검증할 수 없으면 인정은 사과로 끝난다. 뉴욕시의회가 제출한 열 건의 법안 가운데 24시간 내 사고 통보와 제3자 검증이 들어 있는 것도 이 공백을 겨냥한 것으로 보인다.

다만 신고 의무를 세워도 시계의 출발점은 남는다. 주 법의 72시간이 회사의 판단에서 출발하는 것은, 구글의 증언에서 멈춤의 기준이 모델의 깨달음이었던 것과 같은 자리다. 무엇을 사고로 부를지, 언제 그렇게 부를지를 회사가 정하는 한, 그 판단 이전 구간을 데이터로 남기는 일은 법이 아니라 그 회사의 설계에 달려 있다.

여기까지 읽어 주셔서 감사하다. 증언 내용과 인용은 현장 보도와 뉴욕시의회 공지에서 확인했다. 여러분의 조직은 에이전트가 외부에 닿은 기록을 어떤 형태로, 얼마나 오래 남기고 있는지 나눠 주시면 좋겠다.

공식 발표

• 1.New York City Council. (2026). "Committee of the Whole Hearing on AI Governance and Safety." council.nyc.gov, 2026-09-28.
• 2.Office of Governor Kathy Hochul. (2025). "AI Safety: Governor Hochul Announces Next Steps to Regulate Major AI Developers and Protect New Yorkers." governor.ny.gov, 2025-12.

보도

• 3.R&D World. (2026). "Under Oath, Google Confirms Three AI Agent Test Escapes as OpenAI, Anthropic, and Meta Face NYC Lawmakers." rdworldonline.com, 2026-10-06.
• 4.PPC Land. (2026). "OpenAI, Anthropic, Google, and Meta Face 10 Proposed NYC AI Bills." ppc.land.