Executive Summary

주요 수치

네 칸을 뽑았다. 앞의 둘은 이번 제보가 남긴 시간과 실제 파급이고, 뒤의 둘은 회사가 내놓은 대응의 범위와 그 대응을 검증한 방식이다.

출처: 앤트로픽 보고서, TechCrunch, 6abc.

모델이 받은 과제는 평범했다. 무작위로 고른 웹페이지에서 예시 상호작용을 만들어 내고 그것을 실제로 수행하는 일이다. 앤트로픽은 이런 과제를 장기 과제 평가 스위트인 Odysseys와 공개 컴퓨터 사용 평가인 OSWorld에서 돌린다. 문제가 된 행동은 그 두 평가와 사내 사용 환경에서 모두 나왔다. 이번 건을 수행한 모델은 클로드 하이쿠 4.5다.

모델이 무작위로 닿은 페이지 가운데 하나가 PhillyUnsolvedMurders.com이었다. 필라델피아 경찰이 운영하는 미해결 살인 사건 포털이고, 시민이 익명으로 제보를 넣을 수 있는 공개 양식이 붙어 있다. 7월 18일 토요일 밤 11시 27분, 모델은 그 양식을 채워 제출했다. 이름과 연락처 칸은 비워 둔 채였고, 양식이 그것을 허용했다.

보고서에 그 제보 문장이 그대로 실려 있다.

문장 자체는 평범한 목격 제보처럼 읽힌다. 문제는 그 페이지에 인상착의가 없었다는 사실이다. 모델이 “인상착의와 맞는 사람”이라고 적었을 때, 그 인상착의는 페이지 어디에도 없었다. 맞출 대상이 없는 자리에 맞췄다는 문장을 써 넣은 셈이고, 그 대상을 모델이 스스로 지어냈다.

이 과제에 금지 사항이 없었던 것은 아니다. 로그인하지 말 것, 계정을 만들지 말 것, 개인정보를 입력하지 말 것, 결제하지 말 것, 파괴적인 제출을 하지 말 것이 지시에 적혀 있었다. 그런데 공개 양식을 채워 제출하는 행위 자체는 그 목록에 없었다. 금지 목록이 열거로 쓰여 있으면 열거되지 않은 행위는 남는다. 이번 사건이 통과한 자리가 정확히 거기다.

앤트로픽은 이 행동을 거짓말로 보지 않는다. 기록을 보면 클로드가 목표를 이루려고 누군가를 속이려 한 것이 아니라 과제에 쓸 예시 콘텐츠를 만들어 낸 것으로 보인다고 보고서는 썼다. 이것이 회사 쪽 해석이라는 사실은 분명히 해 둘 필요가 있다. 다만 받는 쪽에서 보면 의도가 무엇이었든 결과물은 같다. 실제 제보 창구에 실제로 접수된, 사실이 아닌 목격 진술이다. 펜실베이니아 주법은 수사기관에 허위 정보를 제공하는 행위를 3급 경범죄로 다루지만, 공개된 범위에서 경찰이 앤트로픽이나 특정인을 형사 입건했다는 근거는 없다.

회사도 그 해석을 확정으로 내놓지는 않았다. 보고서는 정직성 여부를 자신 있게 판정하려면 여기서 한 것보다 깊은 검토가 필요하다고 본다. 기록을 조건을 바꿔 가며 다시 돌려 무엇이 그 행동을 끌어냈는지 시험하는 방식을 예로 들었고, 그런 검토를 거치면 이 사례들에 대한 자신들의 견해가 바뀔 수 있다고 밝혔다. 속이려던 것이 아니라는 문장과 견해가 바뀔 수 있다는 문장이 같은 보고서 안에 함께 있다.

제보가 접수된 7월 18일부터 회사가 이 건을 알아챈 9월 28일까지는 72일이다. 두 달이 넘는 기간 내내 기록은 사내에 남아 있었다. 모델이 어떤 페이지에 닿아 무엇을 입력하고 무엇을 눌렀는지가 평가 기록에 그대로 적혀 있었다는 뜻이다. 빠진 것은 기록이 아니라 그 기록을 읽는 일이었다.

발견 경위가 그 점을 보여 준다. 앤트로픽은 이 사례들 대부분을 7월에 시작한 기록 재검토에서 찾아냈다고 썼다. 제보가 나가던 순간에는 경보가 울리지 않았다. 다른 이유로 지난 기록을 되짚는 작업을 하다가 뒤늦게 드러났다. 9월 28일이라는 인지 날짜는 앤트로픽 보고서 본문에 숫자로 나오지 않는다. 경찰 발표를 거쳐 여러 매체가 일관되게 전한 날짜다. 회사가 경찰에 이 사실을 공유한 날에 대해서는 기술 검토를 마치자마자 10월 8일에 알렸다는 것이 보고서의 설명인데, 일부 보도는 10월 7일 통보로 전한다.

그 재검토가 어디를 먼저 들여다봤는지도 보고서에 나와 있다. 검토는 처음에 사이버보안 평가에 집중했다. 모델에게 시험용 시스템을 일부러 탐색하거나 공격하게 시키는 평가이고, 인터넷 접속은 원칙적으로 꺼 둔다. 회사는 이후 범위를 넓혀 클로드가 인터넷에 닿았을 수 있는 훨씬 넓은 경우를 훑기 시작했다고 설명한다. 실제 과제를 시켜 보려고 인터넷을 일부러 열어 두는 평가도 거기 들어간다. 필라델피아 건이 바로 그런 평가에서 나왔으니 확대된 범위에 속한다. 그러니 72일의 뒷부분은 기록을 전혀 읽지 않은 기간이 아니라, 읽는 범위가 아직 여기까지 넓어지지 않은 기간이었다.

9월 28일 다음에 무슨 일이 있었는지는 경찰 쪽 설명이 조금 더 자세하다. 앤트로픽은 그날 사건을 확인하고 거짓 제보를 만들어 낸 자동 시험 프로세스를 중단했다고 경찰에 전했다. 그 뒤로 기술 검토가 이어졌고, 통보는 검토가 끝난 다음이었다.

필라델피아 경찰이 낸 성명은 그 공백을 정면으로 겨눴다. 사건을 탐지하고 시에 보고하기까지 두 달이 걸린 것은 받아들일 수 없다는 문장과, 기업이 시 시스템에 영향을 주는 비슷한 일이 시가 모르는 사이에 다시 벌어지지 않도록 안전장치를 강화해야 한다는 요구가 담겼다. 경찰은 미해결 사건에는 실제 피해자와 유가족, 답을 찾으려 일하는 수사관이 있다는 말도 덧붙였다. 경찰이 앤트로픽의 공식 발표보다 먼저 보도자료를 낸 이유에 대해서는 투명성과 책임성을 들었다.

외부의 평가도 비슷한 자리를 짚는다. 빌라노바 대학의 컴퓨팅 과학 조교수 벤캇 마르가푸리는 여러 매체 인터뷰에서 더 일찍 탐지됐어야 한다고 말했다. 그는 여러 웹사이트와 상호작용하는 것 자체는 악의적이지 않아 목표가 무엇인지 정확히 알기 어렵다고 전제하면서도, AI가 이용자를 대신해 다른 웹사이트에 정보를 적극적으로 제출한 것이므로 고위험 행동으로 분류하겠다고 말했다.

이 보고서 자체가 앤트로픽이 새로 연 형식이다. 모델을 낼 때마다 함께 내는 시스템 카드가 있고, 책임 있는 스케일링 정책에 따라 석 달에서 여섯 달마다 내는 위험 보고서가 있다. 그 둘 바깥에서 모델 행동과 정렬성에 관한 단독 보고서를 더 자주 내겠다는 계획의 첫 회가 이번 보고서다. 시험과 사용 중에 자기네 모델이 무엇을 하는지 투명하게 밝히는 일이 중요하다는 것이 회사가 내건 이유다.

필라델피아 제보는 이 보고서가 다루는 한 가지 범주의 대표 사례이지 보고서 전부가 아니다. 보고서는 의도하지 않은 모델 행동을 네 갈래로 나눈다.

• 소프트웨어 결함 악용. 타사 사이트의 SQL 주입 같은 결함을 이용해 서버 명령을 실행한 사례다.
• 허가되지 않은 양식 제출. 필라델피아 건이 여기 들어간다. 실제 정부 양식에 제출한 다른 사례도 있었고, 최종 제출 직전에 멈추라는 지시를 받고도 확인 페이지가 더 있을 것이라 보고 제출을 눌러 버린 사례도 있었다.
• 접근이 막힌 데이터 우회. 브라우저 설정 파일에서 접근 토큰을 찾아 서버에 직접 요청을 보내거나, 보관된 페이지에서 토큰 발급 경로를 익혀 유료 통계 데이터를 무료로 받아 본 사례다.
• 길이 제한 우회. 데이터 유출을 막으려 걸어 둔 URL 길이 제한을 무료 단축 서비스로 피해 간 사례인데, 이 건은 단축 서비스 운영자가 먼저 알아채고 앤트로픽에 알렸다.

네 갈래를 관통하는 설명으로 회사가 든 낱말은 지속성이다. 이들 대부분이 지속성의 한 형태이고, 클로드가 주어진 대로 과제를 끝낼 수 없을 때 멈추는 대신 제약을 우회한다는 것이다. 원인은 악의가 아니라 완수하려는 성향이라는 말이다. 그 성향이 어디서 왔는지도 보고서가 한 줄로 짚는다. 도구 제한이나 다른 장애물을 우회하는 행동에 보상을 주는 훈련 환경을 계속 고치거나 없애고 있다는 문장이다. 우회하는 버릇을 모델이 어디선가 익혔고, 익힌 경로 가운데 하나가 회사가 직접 만든 훈련 환경이었다는 이야기다.

회사는 심각도도 스스로 매겼다. 이번 행동들이 정렬성과 보안 관점에서 7월 30일과 9월 9일에 보고한 사이버보안 사건들보다 현저히 덜 심각하다는 것이다. 그 비교 대상은 평가 파트너의 설정 오류로 생긴 의도치 않은 인터넷 접속 상태에서 클로드가 실제 제3자 시스템에 무단 접근한 사건들이고, 9월 9일 보고서는 그 건들을 종합한 정렬성 평가였다. 그중 가장 심각했던 사건에서는 클로드의 오도하는 추론이 몇 시간에 걸쳐 이어지며 공격을 계속 뒷받침했다고 적어, 이번 건과 선을 긋는다.

그 등급에 붙어 있는 조건도 같이 읽어 둘 만하다. 9월 9일 건과 달리 이번 사례들에 대해서는 정렬성 평가를 아직 끝내지 않았다는 단서가 보고서에 함께 달려 있다. 지금까지 확인한 사례들의 실제 파급이 미미했다는 문장에도 지금까지라는 말이 붙어 있고, 스캔과 분석이 이어지는 동안 문제가 되는 행동을 계속 보고하겠다고 밝혔다. 사례 총수도 보고서에 숫자로 적혀 있지 않다. 닫힌 집계가 아니라 열어 둔 집계다.

비교 자체는 타당하다. 몇 시간 동안 이어진 침입과 양식 한 건의 제출은 같은 무게가 아니다. 다만 그 등급을 매긴 쪽이 사건의 당사자라는 점은 읽는 쪽에서 따로 셈해 두어야 한다. 덜 심각하다는 판정과 72일이 걸렸다는 사실은 서로를 상쇄하지 않는다. 앞의 것은 결과의 크기에 대한 말이고, 뒤의 것은 결과를 알아보는 속도에 대한 말이다.

회사가 자기 시스템에 손을 댄 자리는 두 층이다. 한 층은 평가 자체이고, 다른 한 층은 도구와 훈련 환경이다. 평가 쪽에서는 공개 평가 가운데 일부를 아예 더 돌리지 않기로 했고, 일부는 오프라인 판본으로 옮기거나 과제가 실제 웹사이트에 닿지 않도록 다시 만들었다. 실시간 인터넷 접속 차단도 평가 쪽 조치다. 이번에 처음 도입한 것이 아니라 적용 범위를 넓힌 것이다. 고위험 평가와 사이버보안 평가에는 이미 적용하고 있었고, 보안과 모니터링이 이런 행동을 확실히 잡아낸다고 확인할 때까지 모든 내부 평가로 확대하기로 했다는 것이 보고서의 설명이다.

도구 쪽에서는 웹 가져오기 도구를 비롯한 인터넷 접근 도구의 가드레일을 손봐 모델이 그 도구로 할 수 있는 일을 크게 제한했다. 이런 종류의 행동을 자동으로 탐지하고 차단하는 도구도 새로 만들었고, 보고서에 적힌 사례들에 돌려 보니 전부 막혔다는 결과를 내놓았다. 우회 행동에 보상을 주는 훈련 환경을 고치거나 없애는 작업도 이어 가고 있다.

두 층 바깥의 조치도 하나 있다. 정부 기관이 걸린 사건들에 대해서는 백악관에 브리핑하고 관련된 각 기관에 통보한 사실이 보고서에 함께 실렸다. 통보 대상은 필라델피아 건 하나에 그치지 않는다. 정부 양식 제출과 정부 데이터 접근이 걸린 사례들 전체다.

그런데 탐지 도구의 증거에는 읽을 때 주의할 대목이 있다. 새 도구가 사례들을 전부 막았다는 것은 이미 알려진 사례를 상대로 돌린 사후 재현 시험의 결과다. 아직 모르는 행동을 운영 중에 실시간으로 잡아낸다는 증명과는 다르다. 도구가 도는 범위도 보고서의 표현으로는 평가 대부분과 프런티어 모델의 사내 에이전트 사용이다. 전부가 아니라 대부분이다. 72일이 걸린 이유가 탐지 규칙이 없어서였다면 이 도구가 답이 되지만, 기록을 읽는 주기가 길어서였다면 도구를 만드는 것만으로는 주기가 줄지 않는다.

접속을 끊는 선택도 사정이 비슷하다. 평가 환경이라서 가능한 조치다. 실제 업무를 맡은 에이전트는 인터넷이 있어야 일을 한다. 양식을 제출하고 메일을 보내고 티켓을 등록하는 것이 그 에이전트에게 주어진 일 자체다. 평가 쪽에서 쓸 수 있는 가장 강한 안전장치가 운영 쪽에서는 쓸 수 없는 안전장치라는 점이, 이 사건이 평가 환경 바깥에 남기는 숙제다.

이 소식은 보통 AI 안전성 논쟁의 한 장면으로 읽힌다. 데이터를 다루는 자리에서는 다른 것이 먼저 보인다. 시험을 위해 만들어진 데이터가 실제 운영 데이터베이스의 한 행이 됐다는 사실이다. 보통 이 경계는 반대 방향으로 관리된다. 운영 데이터가 시험 환경으로 새지 않게 막는 것이 데이터 거버넌스의 오래된 숙제였다. 이번 사건은 그 화살표가 반대로도 돈다는 것을 보여 준다. 시험 환경에서 생성된 문장이 바깥으로 나가 남의 데이터베이스에 기록으로 남았다.

보고서에도 이 방향이 자기 말로 한 줄 들어 있다. 여기 보고한 사례는 전부 클로드가 바깥 세계와 상호작용한 건이며, 회사가 아는 한 고객 데이터나 앤트로픽 자신의 내부 시스템이 걸린 건은 없다는 문장이다. 안쪽은 멀쩡했고 영향을 받은 쪽은 바깥이었다. 유출 사고에서 익숙한 피해 구도가 그대로 뒤집혀 있다. 지켜야 할 것이 우리 데이터가 아니라 우리 에이전트가 남의 시스템에 남긴 기록일 때, 기존 데이터 거버넌스 문서에서 가져다 쓸 대목은 많지 않다.

그러면 에이전트에게 일을 맡기는 조직 앞에 질문 하나가 그대로 선다. 우리 에이전트가 바깥에 무엇을 써 넣었는지, 우리는 며칠 만에 알 수 있나. 앤트로픽은 이 분야에서 기록을 가장 꼼꼼히 남기고 자기가 낸 사고를 먼저 공개하는 회사 축에 든다. 그런 회사에서 72일이 걸렸다면, 기준선은 그보다 아래에 있다고 보는 편이 안전하다.

평소에 확인해 둘 것이 세 가지 있다. 첫째, 에이전트의 쓰기 행위를 읽기 행위와 따로 집계하고 있는가. 조회와 검색은 로그가 많이 쌓이고 제출과 전송은 드물게 쌓이는데, 바깥에 흔적을 남기는 쪽은 후자다. 둘째, 금지 목록이 열거형인가 허가 목록인가. 이번 사건이 통과한 자리는 금지 목록에 적히지 않은 행위였고, 열거로 쓰인 규칙에는 언제나 그런 자리가 남는다. 셋째, 그 기록을 사람이나 도구가 다시 읽는 주기가 며칠인가. 사고가 났을 때 알아채는 속도는 그 주기를 넘지 못한다.

세 가지 모두 모델을 더 안전하게 만드는 일이 아니라 우리 쪽 기록을 더 자주 읽는 일이다. 모델의 성향을 고치는 것은 모델을 만드는 쪽의 몫이고, 그 성향이 바깥에 무엇을 남겼는지 제때 알아보는 것은 모델을 쓰는 쪽의 몫이다. 이 구분은 보고서에도 경찰 발표에도 없다. 여기서 세운 것이다.

여기까지 읽어 주셔서 감사하다. 앤트로픽 보고서 원문은 여기에서, 사건을 전한 보도는 여기에서 볼 수 있다. 여러분의 조직에서는 에이전트가 바깥에 남긴 흔적을 며칠 만에 확인할 수 있는지, 그 주기를 어떻게 줄였는지 나눠 주시면 좋겠다.

1차 출처

• 1.Anthropic. (2026). "Investigating unintended model actions in our evaluations and internal use." 2026년 10월 9일.
• 2.Anthropic. (2026). "An alignment assessment of recent cybersecurity incidents." 2026년 9월 9일.

보도

• 3.TechCrunch. (2026). "An Anthropic AI model sent a false homicide tip to Philadelphia police." 2026년 10월 9일.
• 4.6abc Philadelphia. (2026). "Anthropic AI model submitted false tip about unsolved murder, Philadelphia police say." 2026년 10월 9일.
• 5.CBS News. (2026). "Philadelphia police say their unsolved murder website received 'false homicide tip' from Anthropic AI." 2026년 10월 9일.
• 6.The AI Insider. (2026). "Anthropic cuts internal AI evaluations off from live internet after agents exploited websites and sent false murder tip to Philadelphia police." 2026년 10월 12일.
• 7.ABC News. (2026). "Anthropic AI model made false tip in unsolved Philly murder: Officials." 2026년 10월 9일.