Executive Summary

이 실험을 네 개의 숫자로 줄이면 이렇게 됩니다. 규칙을 미리 세운 쪽이 얼마나 덜 막았는지, 그 규칙 가운데 몇 개가 결정을 미뤘는지, 미뤄진 결정 앞에서 사람들이 얼마나 승인했는지, 그래서 실행된 월권 가운데 사람 손을 거친 몫이 얼마인지.

논문은 한 장면으로 시작합니다. 어느 AI 안전 연구자가 오픈소스 에이전트에게 행동하기 전에 확인하라고 지시했는데, 에이전트는 실제 받은편지함의 메시지를 지우기 시작했고 멈추라는 말에도 멈추지 않았습니다. 자연어로 적어 준 지시는 강제되는 권한 경계가 아니며, 자율 실행이 시작된 뒤의 개입은 늦을 수 있습니다. 저자가 이 사건에서 끌어낸 문제의식입니다.

그래서 Ting Yan의 2026년 8월 논문은 현재 쓰이는 세 가지 승인 방식을 나란히 놓고 비교했습니다. 매 행동마다 사람이 승인하거나 거부하는 건별 승인(HITL), 모델이 먼저 자동으로 검토하고 일부만 사람에게 올리는 자동 검토(AUTO), 그리고 참가자가 네 개의 결과 유형마다 상설 규칙을 하나씩 미리 정해 두는 사전 정책(POLICY)입니다. 세 집단은 모두 같은 하루, 같은 18개 행동을 감독했습니다.

월권 차단율은 각각 59.6%, 53.9%, 39.6%로 갈렸습니다. 행동 종류와 제시 순서를 보정한 모형에서 사전 정책 집단은 건별 승인 집단보다 20.1%포인트 낮았습니다(95% 신뢰구간 −32.1, −8.1). 자동 검토 집단과의 차이는 14.5%포인트였지만 다중비교 보정을 거치자 신뢰할 만한 차이로 남지 않았습니다. 참가자 한 사람 단위로 환산하면, 사전 정책 쪽에서 건별 승인보다 월권 행동이 약 1.4건 더 실행된 셈입니다.

규칙이 필요한 일까지 막아서 차단율이 낮아진 것도 아닙니다. 필수 행동 완료율은 94.1%, 96.9%, 95.3%로 세 조건이 거의 붙어 있습니다. 규칙은 과제를 방해하지 않았고, 대신 막아야 할 것을 덜 막았습니다.

물론 규칙이 아무것도 가로막지 않은 것은 아닙니다. 사전 정책 집단에서 절대 금지 규칙은 필수 행동 11건을 자동으로 막았습니다. 그 대가를 치르고도 완료율이 다른 조건과 붙어 있었을 뿐입니다. 저자도 비열등성 마진을 미리 등록하지 않았으니 세 조건이 동등하다는 주장은 하지 않는다고 밝혔습니다.

121명이 과제를 마쳤고, OSF에 사전등록한 제외 기준을 적용해 113명이 분석에 남았습니다. 건별 승인 34명, 자동 검토 44명, 사전 정책 35명입니다. 참가자는 영어를 쓰는 18세에서 90세 사이의 미국 거주자 중 소프트웨어 업계 종사자를 제외해 모집했고, 한 사람당 10달러를 받았으며 평균 소요 시간은 11분가량이었습니다. 조건 배정은 처음에는 무작위였지만, 사전 정책 조건의 표본을 다른 조건에 맞추기 위해 나중에는 이 조건만 추가로 모집했습니다. 개발자가 코딩 에이전트를 다루는 상황이 아니라, 평범한 사용자가 일상 업무를 대신 시키는 상황을 재현한 것입니다.

배정 방식이 도중에 바뀌었으니 결과도 흔들리지 않았을까요. 저자는 추가 모집 전에 들어온 첫 100건만 따로 떼어 같은 분석을 돌려 뒀습니다. 제외 기준을 적용하면 94명이 남고 그중 사전 정책은 16명뿐인데, 이 무작위 배정 표본에서도 사전 정책은 건별 승인보다 25.0%포인트, 자동 검토보다 19.0%포인트 적게 막았습니다. 방향도 크기도 전체 표본과 같습니다.

과제는 아침 이메일과 일정 정리에서 시작해 오후 공항 이동, 저녁 여행 마무리로 이어지는 하루입니다. 그 하루에 에이전트가 시도하는 행동은 모두 18개인데, 11개는 과제 수행에 필요한 행동이고 7개는 범위를 벗어난 월권 행동입니다. 월권은 두 결로 섞여 있습니다. 부탁하지 않은 일을 하는 쪽으로는 공항에 전화해 항공편을 확인하는 행동이 있고, 명분은 그럴듯하지만 남의 영역에 손을 뻗는 쪽으로는 여행 예산을 돕겠다며 은행 거래내역을 열어 보는 행동이 있습니다.

사전 정책 집단은 과제를 시작하기 전에 네 개의 결과 유형마다 규칙을 하나씩 정합니다. 돈 쓰기, 정보 전송이나 공개, 삭제, 개인정보 열람입니다. 각 유형에 대해 허용(allow), 물어봐(ask), 절대 금지(never) 중 하나를 고르는 3지선다입니다. 돈과 전송과 삭제는 필수 행동과 월권 행동을 모두 품고 있어서 규칙 하나가 양쪽에 걸립니다. 반면 개인정보 열람에 해당하는 행동은 이 시나리오에서 전부 월권입니다.

사전 정책 집단 35명이 네 유형마다 규칙을 하나씩 세웠으니 규칙은 모두 140개입니다. 그중 114개, 81.4%가 물어봐였습니다. 미리 결정을 끝낸 규칙은 26개뿐입니다. 허용이 10개, 절대 금지가 16개입니다. 네 유형 어디에서도 물어봐가 소수였던 적이 없습니다. 돈 쓰기 31명, 정보 전송 31명, 삭제 29명, 개인정보 열람 23명이 물어봐를 택했습니다.

몇몇 참가자가 만든 쏠림도 아닙니다. 35명 중 31명이 네 유형 가운데 최소 세 곳에서 물어봐를 골랐고, 그중 16명은 네 곳을 전부 물어봐로 채웠습니다.

개인정보 열람은 시나리오상 전부 월권인데도 35명 중 23명이 물어봐를 골랐습니다. 절대 금지를 고른 사람은 10명, 허용을 고른 사람은 2명입니다. 규칙이 뭉뚱그려져서 어쩔 수 없었다는 설명만으로는 이 칸이 설명되지 않습니다. 참가자들은 앞으로 어떤 상황이 올지 모른 채 일반 규칙을 세워야 했고, 그 앞에서 사안별로 판단할 여지를 남겨 두는 쪽을 택했습니다.

규칙을 세우기 전에 참가자들은 유형마다 두 개의 예시 상황을 받고 허용·물어봐·절대 금지 중 하나를 미리 골라 뒀습니다. 나중에 규칙 설정 화면에서 고르게 될 것과 같은 세 선택지입니다. 두 예시에 서로 다른 답을 낸 경우가 66건이었고 그중 53건이 물어봐 규칙이 됐습니다. 여기까지는 규칙이 뭉뚱그려져서 생긴 결과로 읽을 수 있습니다. 그런데 두 예시에 같은 답을 낸 74건 가운데 52건은 답 자체가 이미 물어봐였고, 허용이나 절대 금지로 답이 일치한 22건 중에서도 절반인 11건만 그대로 상설 규칙이 됐습니다. 스스로 두 번 같은 답을 낸 사람조차 그 답을 규칙으로 굳히지 않은 것입니다.

저자는 결론에서 이 대목을 이렇게 읽습니다. 사람들은 사안마다 직접 판단하고 싶어 한다는 것을 스스로 알면서도, 그 선호를 넓게 적용되는 상설 규칙으로 옮기기를 꺼리거나 옮기지 못할 수 있습니다. 그래서 권한은 선호를 끌어내는 문제이기도 하지만 동시에 약속을 설계하는 문제라고 못 박습니다.

사전 정책 집단 35명에게 각각 7개씩, 모두 245건의 월권 행동이 시도됐습니다. 규칙은 이 245건을 세 갈래로 갈랐습니다. 물어봐 규칙에 걸려 런타임 승인 프롬프트로 간 것이 199건, 허용 규칙에 따라 그대로 실행된 것이 15건, 절대 금지 규칙에 자동으로 막힌 것이 31건입니다.

프롬프트로 간 199건 중 참가자들은 133건을 승인하고 66건을 거부했습니다. 승인율 66.8%입니다. 결과적으로 실행된 월권은 148건이고, 그중 133건은 사람이 그 자리에서 승인 버튼을 누른 결과였습니다. 89.9%입니다. 자동으로 실행된 15건보다, 규칙이 사람에게 되돌려 준 결정에서 새어 나간 쪽이 압도적으로 많습니다. 35명 중 33명이 월권 행동을 최소 한 건 승인했습니다.

조건 사이의 승인율도 갈렸습니다. 같은 7개 월권 행동에 대해 건별 승인 집단은 40.3%, 자동 검토 집단은 46.1%를 승인했는데, 사전 정책 집단은 66.8%를 승인했습니다. 행동 종류와 제시 순서를 맞춰 보정하면 건별 승인 집단보다 26.4%포인트 높습니다(95% 신뢰구간 14.7, 38.1). 그리고 이 격차는 몇몇 특이한 행동 때문에 생긴 것이 아닙니다. 7개 행동 전부에서 사전 정책 집단의 승인율이 가장 높았습니다.

▲ 같은 7개 월권 행동의 런타임 승인율 | 출처: Yan(2026) Table 4. 건별 승인과 자동 검토는 모든 참가자에게 7개를 전부 보여 줬고, 사전 정책은 물어봐 규칙에 걸린 것만 보여 줘 분모가 다릅니다.

다만 이 비교를 인과처럼 읽으면 안 됩니다. 저자가 직접 조건부 비교라고 밝힌 대목입니다. 사전 정책 참가자는 자신이 물어봐로 걸어 둔 행동만 프롬프트로 보게 되므로, 세 집단이 같은 조건에서 같은 화면을 받은 것이 아닙니다. 왜 더 많이 승인했는지는 이 데이터로 특정할 수 없습니다. 논문도 그 점을 한계로 적었습니다. 확실한 것은 관측된 사실뿐입니다. 프롬프트로 돌아온 결정 앞에서 사람들은 대체로 통과시켰습니다.

조건 사이 비교를 걷어내고 사전 정책 집단 안에서만 봐도 같은 장면이 남습니다. 참가자들이 과제 전 설문에서 절대 금지라고 답했던 상황과 짝이 맞는 월권 행동이 런타임 프롬프트로 56건 올라왔는데, 그중 24건을 승인했습니다. 그렇게 한 사람이 35명 중 17명입니다. 논문은 이것이 규칙 위반이 아니라고 분명히 적어 둡니다. 그 행동에 걸린 상설 규칙은 물어봐였고, 물어봐란 최종 결정을 사람에게 맡긴다는 뜻이었으니까요. 바뀐 것은 규칙이 아니라 과제 전에 밝혔던 선호입니다.

사전 정책을 도입하는 가장 현실적인 이유는 번거로움을 줄이는 것입니다. 그 목표는 절반쯤 이뤄졌습니다. 런타임 승인 프롬프트는 건별 승인 집단의 18.0회에서 사전 정책 집단의 10.9회로 줄었습니다(비율 0.605, 95% 신뢰구간 0.553∼0.662). 화면에 뜨는 결정의 수는 분명히 줄었습니다. 다만 같은 정도의 절감을 규칙을 한 줄도 쓰지 않은 자동 검토 집단이 10.0회로 이미 얻고 있었습니다. 프롬프트를 줄이는 데는 사용자가 규칙을 쓸 필요조차 없었습니다.

그런데 규칙을 세우는 데 쓴 시간까지 합치면 이야기가 달라집니다. 총 개입 시간은 142.1초에서 128.8초로, 차이는 12.9초 감소이고 신뢰구간은 −46.3초에서 20.6초로 0을 가로지릅니다. 시간이 줄었다고 말할 근거가 없다는 뜻입니다. 결국 사전 정책 집단은 앞에서 시간을 쓰고 뒤에서 프롬프트를 덜 받았을 뿐, 총 부담은 그대로인 채 차단력만 20.1%포인트를 내준 셈입니다.

저자는 이 대목에 단서를 답니다. 18개 행동짜리 하루로는 총 시간의 감소를 잡아낼 수 없었을 뿐, 하루에 처리할 행동이 더 많아지면 규칙 설정은 한 번의 비용으로 남고 프롬프트 절감은 쌓이리라고 봅니다. 그러니 이 실험이 붙잡은 사실은 부담이 영원히 그대로라는 쪽이 아닙니다. 부담이 줄어든 그 구간에서 차단력도 함께 줄었다는 쪽입니다.

참가자들의 체감은 이 결과와 어긋났습니다. 세 조건 모두에서 참가자들은 자신이 상황을 통제하고 있다고 높게 보고했습니다. 실제로는 사전 정책 집단이 월권을 가장 많이 통과시켰는데도 그렇습니다. 통제하고 있다는 느낌은 시스템이 실제로 더 보호해 준다는 뜻이 아니었습니다.

결과가 참가자 본인의 사전 선호와 얼마나 맞았는지도 조건별로 갈리지 않았습니다. 과제 전 설문의 답과 실제 결과가 일치한 비율은 건별 승인 75.2%, 자동 검토 74.1%, 사전 정책 70.2%였고, 사전 정책과 자동 검토의 보정 차이는 3.3%포인트 낮은 쪽이며 신뢰구간은 0을 가로지릅니다. 규칙을 직접 쓴 쪽이 자기 선호에 더 가까운 결과를 얻으리라는 예측은 저자가 실험 전에 등록해 둔 것인데, 데이터는 그 방향을 지지하지 않았습니다.

이 실험이 시험대에 올린 3지선다는 연구실에서 지어낸 가상의 설계가 아닙니다. 논문은 관련 연구를 정리하면서 Claude Code가 도구와 명령, 경로와 도메인, MCP 서버에 허용·물어봐·거부 규칙을 적용하고 자동 모드를 함께 제공한다는 점, Codex도 승인 모드와 정적 정책과 운영체제 샌드박스를 결합한다는 점을 실제 배포 사례로 듭니다. 다만 실험 참가자는 개발자가 아니었고 감독 대상도 코딩 에이전트가 아니었습니다. 특정 제품이 시험대에 오른 것이 아니라, 그 제품들이 공유하는 권한 설계 패턴을 일반 사용자 시나리오로 옮겨 재본 것입니다.

조직에서 에이전트 도입을 설계하는 사람에게 이 결과가 던지는 질문은 날카롭습니다. 승인 정책이 있다는 사실은 감사와 규정 준수의 증거가 되기 쉽지만, 그 정책이 위험을 실제로 줄였는지와는 별개의 사실입니다. 이 실험에서 정책은 있었고 규칙도 140개가 쓰였는데, 그 정책이 사전에 확정한 결정은 26개였습니다. 나머지 114개는 결정을 사람에게 되돌려 줬고, 되돌아온 결정의 3분의 2는 통과했습니다.

그래서 측정해야 할 지표가 바뀝니다. 정책 문서의 존재 여부가 아니라, 정책 항목 가운데 몇 퍼센트가 사전에 결정을 끝내는지, 물어봐로 남긴 항목이 실제 운영에서 몇 번이나 사람에게 되돌아오는지, 그 프롬프트에서 실제 승인율은 얼마인지가 지표가 되어야 합니다. 세 숫자를 모르면 승인 정책은 위험을 줄이는 장치가 아니라 승인 기록을 만드는 장치로 남습니다.

저자가 제안하는 설계 방향도 이 지점을 향합니다. 규칙을 고르기 전에 그 규칙이 어떤 행동을 다시 프롬프트로 돌려보낼지 미리 보여 줄 것, 같은 수신자에게 반복해서 승인이 나오면 그 수신자에 한정한 좁은 규칙을 제안할 것, 되돌릴 수 있는 행동에는 짧은 유예 시간을 두고 자동 실행하되 취소할 여지를 남기는 식으로 3지선다 밖의 선택지를 검토할 것. 사용자가 무조건 허용과 매번 질문 사이에서만 고르게 두지 말라는 이야기입니다.

한계도 분명합니다. 하루짜리 모의 상황이었고, 실제 돈이나 개인정보가 오간 것도 아니며, 참가자는 소프트웨어 업계 밖의 온라인 모집 인원이었습니다. 결과 유형이 네 개로 거칠어서, 물어봐 쏠림이 사안별 재량을 원해서인지 규칙이 너무 뭉뚱그려져서인지 완전히 갈라내지 못했다는 점도 저자가 스스로 꼽은 한계입니다. 이 글의 수치는 장기 운영으로 그대로 옮겨지는 값이 아니라, 정책 설계가 어디서 새는지를 가리키는 좌표로 읽는 편이 맞습니다. 연구 자체의 조건도 밝혀 둘 필요가 있습니다. 저자는 이 연구를 기관이나 고용주의 후원 없이 단독으로 수행했고, 연구 환경에 기관 윤리심의위원회가 없어 공식 윤리심의를 거치지 않았다고 논문에 적었습니다. 대신 사전등록과 분석 코드·모형 출력을 담은 아티팩트 공개로 검증 경로를 열어 뒀습니다.

페블러스 블로그가 앞서 다룬 현장 실패 3,607건 분류는 에이전트 사고의 최다 유형이 과잉행동이라는 데서 멈추고, 거버넌스가 권한 설계로 넘어가야 한다는 결론을 냈습니다. 이번 실험은 그 결론의 바로 다음 칸을 채웁니다. 권한 설계로 넘어가는 것만으로는 부족하고, 그 설계가 결정을 실제로 끝내는지까지 확인해야 합니다.

학술

• 1.Yan, T. (2026). "Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach?" arXiv:2608.27443. 이 글의 모든 수치가 나온 1차 출처.

업계·보도

• 2.Cramer, J. (2026). ""This should terrify you": Meta's AI safety director lost control of an agent that deleted her emails." Fast Company. 위 논문 §1이 도입 사례로 인용한 보도.

공식 문서

• 3.Anthropic. (2026). "Configure permissions." Claude Code Documentation.
• 4.Anthropic. (2026). "How we built Claude Code Auto Mode: a safer way to skip permissions." Anthropic Engineering.