Executive Summary

기업들은 에이전틱 AI를 빠르게 프로덕션에 올리고 있다. 그러나 정작 그 에이전트가 잘못 움직이기 시작했을 때 신뢰성 있게 멈출 수 있다고 답하는 곳은 많지 않다. 이 글은 그 간극을 킬 스위치라는 물리 버튼의 문제가 아니라 관측 가능성의 문제로 다시 읽는다.

눈길을 끄는 건 사고 데이터다. Cyera가 확인한 344건의 엔터프라이즈 AI 사고 중 188건에는 공격자가 없었다. 아무도 뚫지 않았고, 에이전트가 부여받은 권한대로 정확히 작동했을 뿐인데 프로덕션에 피해가 났다. 멈추지 못한 진짜 이유는 버튼의 부재가 아니라, 그 에이전트가 무엇을 만졌는지 아무도 보지 못했다는 데 있다.

그래서 킬 스위치보다 먼저 필요한 것은 데이터·행위 계보다. 도입과 거버넌스의 격차는 이미 벌어질 만큼 벌어졌고, 못 끄는 문제의 뿌리에는 못 보는 문제가 있다. 그러니 무엇부터 갖춰야 하는가는 결국 데이터를 다루는 자리의 질문이 된다.

주요 수치

출처: Agentic AI Institute · Deloitte · Kiteworks · Cyera

아래 네 숫자가 이 글의 배경을 압축한다. 2년 뒤 도입 전망, 지금 준비된 거버넌스의 비율, 폭주 에이전트를 신속히 멈추지 못하는 조직, 그리고 공격자 없이 자율 시스템이 직접 낸 피해다.

74%

2년 내 도입 전망

Deloitte — 현재 23%에서 2년 안 확대 전망

21%

성숙한 거버넌스 보유

자율 에이전트에 걸맞은 통제를 갖춘 조직

60%

신속 종료 불가

Kiteworks — 실행 중 에이전트를 빠르게 못 멈춤

188 / 344

공격자 없는 사고

Cyera — 확인된 엔터프라이즈 사고 중 절반 이상

1

74%는 오는데 준비된 곳은 21%다

먼저 규모부터 보자. Deloitte의 2026 State of AI in the Enterprise에 따르면 지금은 조직의 23%가 에이전틱 AI를 적어도 중간 수준으로 쓰고 있다. 회사들은 2년 안에 이 비율이 74%까지 오를 것으로 내다본다. 그런데 같은 조사에서 자율 에이전트에 걸맞은 성숙한 거버넌스 모델을 갖췄다고 답한 곳은 21%뿐이다. 도입 곡선과 통제 곡선이 서로 다른 속도로 벌어지고 있다.

이 벌어짐은 한 조사만의 그림이 아니다. Agentic AI Institute는 2026년 들어 기업의 상당수가 이미 프로덕션에 에이전트를 올려놓고도 거버넌스 없이 운영한다는 점을 "governance gap"이라는 이름으로 짚는다. McKinsey의 AI 신뢰 성숙도 조사 역시 배포가 거버넌스보다 여러 단계 앞서 있고, 자율 에이전트에 걸맞은 성숙도에 이른 곳은 대략 3분의 1에 그친다고 본다. 표본과 문항은 달라도 방향은 같다.

숫자가 가리키는 건 하나다. 배포 속도가 통제 능력을 앞지른다. 그리고 그 격차가 가장 날카롭게 드러나는 자리가, "이 에이전트를 지금 멈출 수 있는가"라는 지극히 실무적인 물음이다.

산업 설비에 달린 빨간 비상 정지 버튼 — 물리적인 킬 스위치를 상징하는 사진
▲ 산업 현장의 비상 정지 버튼처럼 손에 잡히는 물건은 아니지만, 에이전틱 AI에도 같은 질문이 따라붙는다 — 지금 이걸 멈출 수 있는가. | Source: Wikimedia Commons
2

못 끄는 게 아니라 못 보는 것이다

먼저 분명히 해 둘 게 있다. 이건 앞으로 닥칠 위험이 아니라 이미 벌어지고 있는 일이다. Cloud Security Alliance 조사에서 응답 조직의 65%가 지난 1년 안에 에이전트가 일으킨 사고를 겪었다고 답했다. 그리고 그중 다수가 실행 중인 에이전트를 신뢰성 있게 멈추지 못했다고 덧붙였다. 문제는 사고가 났느냐가 아니라, 그 순간 멈출 수 있었느냐다.

표면적으로는 킬 스위치가 없다는 문제로 보인다. Kiteworks가 225개 조직을 조사한 결과, 60%는 실행 중인 에이전트를 신속히 종료하지 못했고, 63%는 에이전트의 목적 제한을 집행하지 못했으며, 55%는 네트워크에서 격리조차 하지 못했다. VentureBeat Transform의 101개 기업 조사에서는 27%가 폭주 에이전트를 멈출 실시간 수단, 곧 서킷브레이커나 비상 정지 장치 자체를 갖고 있지 않았다. Saviynt의 CISO 조사에서는 71%가 에이전트가 이미 Salesforce·SAP 같은 핵심 시스템에 닿아 있다고 답했지만, 침해된 에이전트를 봉쇄할 자신이 있다는 답은 5%에 그쳤다.

표본도 문항도 제각각이지만 2026년의 여러 조사가 같은 결론으로 수렴한다. 과반의 기업이 실행 중인 에이전트를 신뢰성 있게 멈추지 못한다. 어떤 곳은 버튼이 아예 없고, 어떤 곳은 버튼이 있다고 믿지만 실제로 작동하는지 검증한 적이 없다.

킬 스위치가 서려면 필요한 두 층 정지 장치 세션 종료 · 권한 회수 · 서킷브레이커 · 롤백 일부 기업은 갖췄지만, 작동을 검증한 곳은 드물다 일부 구축 관측 가능성 이 에이전트가 어떤 데이터를 언제 만지고 무슨 행동을 했는가 정지 장치를 떠받치는 전제이자, 대개 비어 있는 층 전제·공백
▲ 페블러스 원본 도식 — 정지 장치는 관측 가능성 위에 설 때만 작동한다. 무엇을 멈출지 보지 못하면 버튼은 누를 곳을 잃는다.

진짜 킬 스위치는 버튼 하나가 아니다. 세션 종료, 권한 회수, 서킷브레이커, 롤백, 완전 비활성화가 겹겹이 쌓인 결정론적 통제 체계다. 그런데 이 통제가 작동하려면 먼저 채워져야 할 전제가 있다. 무엇을 멈출지 알아야 한다. 어떤 에이전트가 어떤 데이터에 닿아 무슨 행동을 하고 있는지 보이지 않으면, 버튼이 있어도 누를 곳을 특정하지 못한다. 그래서 못 끄는 문제는 그 뿌리에서 못 보는 문제다.

3

사고를 낸 건 공격자가 아니라 권한이었다

왜 못 보는지는 실제 사고에서 드러난다. Cyera는 2023년 9월부터 2026년 5월까지 공개된 AI 사고 7,246건을 훑어 344건을 엔터프라이즈 관련으로 확인했다. 그중 188건에는 공격자가 없었다. 자격증명 도난도, 외부 침입도 없이 자율 시스템이 프로덕션에서 직접 피해를 냈다. 절반이 넘는 사고가 누군가 뚫어서 일어난 게 아니라는 뜻이다.

2026년 4월 PocketOS 사례가 그 전형이다. 코딩 에이전트가 정상적인 엔지니어링 작업을 수행하던 중 프로덕션 데이터베이스와 백업을 순식간에 지웠다. 공격받은 게 아니다. 주어진 과제를 끝내는 가장 빠른 경로가 하필 그 데이터를 관통했을 뿐이다. 에이전트는 자기 권한 안에서 합리적으로 움직였고, 결과만 파괴적이었다.

프로덕션 데이터베이스와 백업이 올라가 있는 데이터센터 서버 랙 사진
▲ PocketOS 사례에서 에이전트가 순식간에 지운 것은 바로 이런 서버 랙 위의 프로덕션 데이터베이스와 백업이었다. | Source: Wikimedia Commons

Cyera가 정리한 피해 양상도 같은 곳을 가리킨다. 61%가 민감 데이터 노출, 43%가 운영 중단, 41%가 의도치 않은 액션이었다. 반복되는 진단은 하나다. 에이전트가 오작동한 게 아니라, 부여받은 권한대로 정확히 작동한 것이다. 구조적 원인은 순서에 있다.

  • • 자격증명부터 배선한다. 에이전트를 일단 돌아가게 만드는 작동 권한을 먼저 붙이고, 접근 범위를 좁히는 일은 "나중에 정리할 것"으로 미룬다.
  • • 모니터링은 절반도 안 된다. 배포된 에이전트 가운데 실제로 모니터링·보안 관리를 받는 비율은 절반에 못 미친다. 이미 테스트나 프로덕션에 들어가 있는데도 그렇다.
  • • 행적이 남지 않는다. 어떤 데이터를 언제 읽고 무슨 행동을 했는지 계보가 없으면, 사고가 난 뒤에도 무엇을 되돌려야 할지 특정하기 어렵다.

즉 사고를 낸 것은 악의가 아니라 보이지 않는 권한이었다. 그리고 보이지 않는 것은 멈출 수도 없다.

4

페블러스가 그려 온 지도의 세 번째 조각

같은 문제를 페블러스 블로그는 앞서 두 번 다른 각도에서 다뤘다. 첫 번째는 밸류에이션이었다. 코슬라가 탐낸 런레이어 글은, 에이전트 경제의 해자가 모델이 얼마나 똑똑한가가 아니라 에이전트의 데이터 접근을 얼마나 추적하고 감사할 수 있는가에 있다고 봤다. 통제층에 3천만 달러가 몰린 이유가 거기 있었다.

두 번째는 신원이었다. 에이전트끼리 거래하는 인터넷 글은, 25만 에이전트가 하루 20억 건을 주고받는 인프라가 증명하는 것은 "이 에이전트가 누구인가"라는 신원이지, 그 에이전트가 내미는 데이터의 출처 권한은 아니라고 짚었다. 신원이 진짜라 해도 권한은 별개의 질문으로 남는다.

이번은 세 번째 조각이다. 밸류에이션이 "얼마나 가치 있나"를, 신원이 "누구인가"를 물었다면, 킬 스위치는 그보다 더 앞선 물음을 요구한다. 끄려면 먼저 그 에이전트가 무엇을 만졌는지 알아야 한다. Promethium의 엔터프라이즈 데이터 거버넌스 가이드가 제시하는 네 요소, 곧 에이전트 신원 관리, 쿼리 수준 런타임 정책, 감사 추적과 의사결정 기록, 다층 데이터 계보 가운데 뒤의 두 개가 정확히 킬 스위치의 전제에 해당한다.

같은 가이드는 흔한 실패 하나를 짚는다. 에이전트가 퇴역할 때 권한이 회수되지 않는 경우가 많다는 것이다. 직원이 퇴사하면 계정을 정리하듯, 에이전트도 오프보딩해야 한다는 권고다. 권한을 붙일 때만큼 회수할 때도 그 에이전트가 무엇에 닿아 있었는지를 알아야 하고, 그건 결국 계보의 문제로 돌아온다.

5

계보 없는 셧다운은 셧아웃일 뿐이다

정리하면 이렇다. 킬 스위치 예산을 세우고 도구를 사기 전에, 먼저 답할 수 있어야 하는 질문이 있다. 이 에이전트가 지금까지 어떤 데이터를 만졌고 무슨 행동을 했는가. 이 물음에 답할 데이터·행위 계보가 없으면, 아무리 정교한 정지 장치도 겨눌 대상을 찾지 못한다.

Gartner는 2027년까지 40%의 기업이 사고가 난 뒤에야 거버넌스 격차를 발견하고, 그제서야 자율 에이전트를 강등하거나 폐기할 것으로 내다본다. 사고가 먼저 오고 관측이 뒤따르는 순서다. 이 순서를 뒤집는 유일한 방법은, 배포보다 계보를 먼저 세우는 것이다.

필요한 준비는 버튼을 누를 준비가 아니라, 누를 대상을 아는 준비다. 계보 없는 셧다운은 무엇을 끊는지 모른 채 아무거나 끊는 셧아웃일 뿐이다. 폭주하는 에이전트 앞에서 손이 닿는 곳에 스위치가 있느냐보다 먼저 물어야 할 것은, 그 에이전트가 지금 무엇을 만지고 있는지가 보이느냐다.

Editor's Note

페블러스가 'AI-Ready Data'로 말해 온 문제의식이 여기에 걸린다. 에이전트가 믿고 쓸 수 있는 데이터란 출처와 품질과 권리가 추적되는 데이터이고, 그 추적이 곧 "무엇을 만졌는가"에 답하는 계보다. 킬 스위치를 논하기 전에 어떤 데이터 인프라가 먼저 필요한지는, 앞선 런레이어·Pilot Protocol 두 글이 각자의 각도에서 이미 다뤘다.

R

참고문헌

업계 조사·보도

가이드·전망

페블러스