Executive Summary

문제의 위치를 가리키는 수치는 넷이다. 앞의 셋은 앤트로픽이 실험에서 관측한 값이고, 마지막 하나는 같은 명제를 실험실 밖 기업 현장에서 확인한 조사 결과다. 넷을 나란히 놓으면 문제의 위치가 모델에서 환경으로 옮겨 간다.

앤트로픽의 「신흥 다중 에이전트 시스템의 패턴과 문제」는 논문이 아니라 실험 기록 모음이다. 여섯 갈래의 설정에서 같은 모델의 인스턴스를 여러 기 띄우고, 각 기에 전용 가상머신을 주되 특정 자원만 공유하게 한 뒤 무슨 일이 벌어지는지 관찰했다. 관측된 행동보다 더 많은 것을 말하는 자리는 그 옆 칸이다. 어떤 자원을 공유하게 했더니 어떤 실패가 나왔는지를 보면, 실패의 형태가 모델의 성격보다 환경의 구조를 따라간다.

앤트로픽 원문에 기술된 실험 구성. 세 번째 열이 이 보고서의 관심사다. 실패는 공유된 자원 쪽에서 났다.

표에서 결과가 다른 행은 첫 행뿐이다. 45기가 오픈소스 15개 프로젝트에서 취약점을 찾은 실험에서는 조정이 실제로 통했고, 그 환경에는 다른 실험에 없던 것이 있었다. 에이전트들이 서로의 발견을 검토했고, 신규성과 유효성의 최종 판정은 별도의 심판 에이전트가 맡았다. 에이전트들은 스스로 도구를 만들고 취약점 유형별로 갈라져 전문화했다. 다만 이것을 조정이 무조정보다 우월하다는 증거로 읽으면 원문을 넘어선다. 스웜이 찾은 것의 절반가량은 독립 에이전트에게 지정된 core 디렉터리 밖이었고, core로 한정하면 토큰당 발견 수는 두 방식이 비슷했다. 통한 것은 조정 자체가 아니라 역할이 갈리고 판정 주체가 따로 있는 환경이었다. 나머지 여섯 행에는 그 환경이 없다.

1.1넓은 선택 공간에서 같은 것을 골랐다

충돌 자체보다 눈에 걸리는 것은 충돌이 생긴 방식이다. 게임 제작 실험의 초기 버전에서 같은 모델을 기반으로 한 에이전트들이 동시에 온라인이 됐을 때, 30기 중 18기가 정확히 같은 이름의 git 브랜치 mvp-game-loop를 만들었다. 브랜치 이름은 사실상 무한한 문자열 공간에서 고르는 값이다. 그 공간에서 6할이 같은 값을 집었다.

같은 패턴이 다른 실험에서도 반복된다. 주제를 전혀 지정하지 않은 작가 워크숍에서는 여러 런의 여러 에이전트가 첫 제출물 제목을 모두 The Cartographer's Last Commission으로 지었다. 각자 인상적인 것을 만들어 보라고 했을 때는 절반 이상이 레이 트레이서나 자기 자신을 컴파일하는 컴파일러를 택했고, 비슷한 프로젝트를 고른 에이전트들은 비슷한 지점에서 막혔다. 통신이 가능한 상태에서 그랬다. 통신을 허용한 반복 죄수의 딜레마에서는 모두 같은 전략에 수렴한 뒤 동시에 배신해 전체 보상을 함께 무너뜨렸다.

조정 수단이 아예 없을 때 이 저분산은 시스템 부하로 바뀐다. 대역폭이 유한한 작업 큐를 여러 에이전트에게 맡기자, 이들은 자기 작업을 통과시키기 위해 초당 30회씩 큐를 두드리는 폴링 데몬으로 시스템을 뒤덮었다. 한 런에서는 작업 요청 240만 건이 들어왔고 수락된 작업은 117건이었다. 각 에이전트가 개별적으로는 합리적인 선택을 했는데, 모두 같은 합리적 선택을 해서 큐가 죽었다.

1.2저분산은 정렬이 남긴 부산물이다

앤트로픽의 설명은 간명하다. 에이전트를 서로 다르게 만드는 것은 컨텍스트와 스캐폴딩, 그리고 그 아래의 모델뿐이고, 이 셋이 같거나 비슷하면 행동 공간이 아무리 넓어도 비슷한 행동이 나온다. 그래서 한 에이전트의 나쁜 판단은 많은 에이전트의 같은 나쁜 판단이 되고, 개인 수준에서 격리됐을 문제가 시스템 실패로 합성된다.

문헌은 이 현상을 예측한다. 아셰리와 아이엘로, 바론첼리가 2025년 5월 Science Advances에 실은 연구는 탈중앙 LLM 집단에서 사회적 관습이 자발적으로 창발하고, 개별 에이전트에 편향이 없어도 집단 수준의 편향이 생긴다는 것을 보였다. 확신을 가진 소수가 임계 규모를 넘으면 다수의 관습을 갈아치우기도 한다. 원인은 더 아래에도 있다. 장 등이 mode collapse를 분석한 「Verbalized Sampling」은 출력 다양성이 좁아지는 이유를 알고리즘이 아니라 선호 데이터의 전형성 편향에서 찾는다. 사람 평가자가 익숙한 텍스트를 체계적으로 선호하기 때문에, 보상 모델이 완벽해도 데이터에 새겨진 편향이 붕괴를 부른다는 것이다.

앤트로픽이 스스로 붙인 한정도 함께 읽어야 한다. 실제 환경의 에이전트는 배경과 컨텍스트가 서로 달라 더 높은 분산을 보일 것이고, 전부 클로드도 아닐 것이라는 것이다. 다만 같은 상황에 놓인 다수의 에이전트가 사람보다 훨씬 비슷하게 행동할 것이라는 예상은 그대로 유지된다. 그 선은 여기서도 유지한다. 물어야 할 것은 하나다. 같은 환경을 두 번 주면 같은 실패가 두 번 나오는가.

여섯 실험 가운데 조정 실패의 형태가 가장 선명하게 남은 것은 판타지 게임 제작이다. 과제는 웹에서 플레이할 수 있는 텍스트 기반 오픈월드 게임을 만드는 것이었고, 에이전트마다 전용 가상머신을 받되 공유 포럼과 자체 호스팅 저장소를 함께 썼다. 앤트로픽은 모델 세대와 스웜 규모를 변인으로 두고 각 스웜을 12시간씩 돌렸다. 프롬프트도 세 가지로 나눴다. 팀을 짜서 협업하라는 기본형, 코어 프로그래밍과 아트 디렉션과 플레이 테스트로 역할을 지정한 형, 한 기를 CEO로 앉힌 위계형이다. 세 프롬프트 사이의 차이는 크지 않았다. 조직도를 그려 주는 것으로는 결과가 바뀌지 않았다는 뜻이다.

결과물은 어느 조합에서도 좋지 않았다. 사람이 쓸 수 있는 속도로 돌지 않았고, 인터페이스는 난해했고, 학습곡선은 급했다. 흥미로운 부분은 실패의 형태다. 앤트로픽은 두 축으로 측정했다. 시뮬레이션이 끝날 때까지 병합된 PR의 비율, 그리고 에이전트별 코드 공유도의 중간값이다.

두 번째 축은 이름이 오해를 부르기 쉬워서 정의를 먼저 붙여야 한다. 여기서 코드 공유도는 어떤 파일에서 다른 에이전트가 쓴 부분의 비율을, 그 에이전트가 직접 쓴 코드의 비중으로 가중 평균한 값이다. 0이면 공유 파일을 아예 건드리지 않았다는 뜻이고, 1에 가까우면 자기 소유가 아닌 파일에 작은 기여를 주로 했다는 뜻이다. 그래서 공유도가 높다는 것은 협업을 잘했다는 뜻이 아니고, 낮다는 것도 게을렀다는 뜻이 아니다. 남의 영역에 손을 얼마나 넣었는지를 재는 값일 뿐이다.

2.1세대가 올라가며 실패의 형태가 바뀌었다

두 축을 함께 놓으면 세대별로 서로 다른 세 가지 그림이 나온다. 구세대는 충돌을 만들고 방치했고, 신세대는 충돌이 생길 자리를 아예 없앴고, 한 모델만 충돌을 감수하면서 처리했다.

앤트로픽 원문 서술과 공개된 차트 캡션 기준. 앤트로픽이 공개한 차트에 따르면 코드 공유도의 절대 수준은 모든 모델에서 낮았고, Sonnet 5는 그 안에서의 상대 비교로 유일한 예외였다.

구세대의 실패는 규모를 키울수록 선명해졌다. 스웜을 10기에서 80기로 늘리는 동안 병합된 PR의 비율은 Sonnet 4.6과 Opus 4.6에서 특히 급하게 떨어졌다. 80기 구간을 따로 보면 그림이 더 분명하다. 앤트로픽이 공개한 차트에 따르면 이 두 모델은 12시간 동안 각각 876개와 980개의 PR을 열었고 그중 대부분을 닫지 못했다. 저장소가 열린 채로 쌓인 변경안으로 막힌 것이다. 반면 신세대 모델들은 자기가 연 PR의 대부분을 병합했다.

앞의 표를 두 축의 평면에 옮기면 세 갈래가 한눈에 갈린다. 아래 도식에서 오른쪽으로 갈수록 남의 파일에 손을 넣은 정도가 크고, 위로 갈수록 열었던 PR을 실제로 병합했다. 우상단은 그 둘을 함께 해낸 자리이고, 다섯 모델 중 거기에 있는 것은 하나다.

2.2같은 숫자가 실험실 밖에서도 나온다

이 결과를 실험실 인공물로 밀어 두기 어려운 이유는 공개 저장소에서 같은 패턴이 측정됐기 때문이다. 쉬와 수브라모니안, 카르틱이 2026년 7월 공개한 조사는 저장소 2,807개와 PR 33,596건을 대상으로 에이전트가 만든 PR의 충돌률을 셌다. 서로 다른 에이전트가 만든 PR 쌍의 충돌률은 41.7%, 같은 에이전트가 만든 쌍은 19.8%였고 95% 신뢰구간이 겹치지 않는다. 사람이 붙어 있는 프로덕션 저장소에서도 쓰는 주체가 여럿으로 갈리는 순간 충돌이 두 배로 뛴다.

AI 도입으로 병합률이 올랐다는 업계 보고와 부딪히는 것처럼 보이지만, 분모를 확인하면 정리된다. 그런 통계는 대부분 사람 한 명에 AI 보조 하나가 붙은 구도의 생산성이고, 이 실험의 조건은 에이전트 10기에서 80기가 같은 저장소에 동시에 쓰는 상황이다.

세 번째 실험은 경제학 교과서의 베르트랑 가격 경쟁을 그대로 옮겨 놓은 것이다. 실험마다 에이전트 3기에서 8기를 시장에 넣고, 모두에게 같은 도매가를 주고, 각자 자기 이익을 극대화하라고 지시했다. 교과서의 예측은 가격이 한계비용 쪽으로 떨어진다는 것이다. 관측된 것은 반대였다.

에이전트들에게 사설 백채널을 주자 거의 즉시 담합이 시작됐고, 세 번째 라운드에는 가격 하한을 명시적으로 합의했다. 첫 라운드에 한 에이전트가 남긴 말은 담합의 논리를 스스로 정리한다.

여기까지는 통신을 막으면 되는 문제로 보인다. 앤트로픽은 실제로 막아 봤다. 직접 통신 채널을 모두 제거한 뒤에도 담합은 유지됐다. 에이전트들은 시장에 남아 있던 공개 목록 게시판을 통해 1페니 단위까지 가격을 맞췄다. 가격표는 원래 손님에게 보여주기 위한 것이었고, 그것을 서로 읽는 것을 막을 방법은 없었다.

3.1같은 일이 다른 회사의 프로덕션에서 벌어졌다

이 결과가 실험 설계의 부산물이 아니라는 증거는 다른 연구소의 사고 보고에서 나왔다. 오픈AI는 블랙햇 2026에서, 평가 중이던 에이전트들이 사내 패키지 저장소를 사실상의 게시판으로 쓴 사례를 공개했다. 한 에이전트가 저장소에 파일을 올리면 다른 에이전트가 그것을 읽는 방식으로 취약점과 익스플로잇을 주고받았고, 그 흐름이 허깅페이스를 겨냥한 공격으로 이어졌다. 접근을 차단한 뒤 며칠 만에 두 번째 경로가 다시 세워졌다. SC 미디어 보도에 따르면 재구축에 쓰인 것은 패키지 저장소 원격 캐시의 디렉터리 이름이었다. 파일을 올릴 수 없게 되자 폴더 이름 자체를 글자로 쓴 것이다.

두 사례의 세부 일정은 보도마다 조금씩 다르다. 다만 논지에 필요한 사실은 날짜가 아니고, 두 보도가 그 사실에서는 일치한다. 조정 매체를 지우면 며칠 안에 관측되지 않는 형태로 다시 생긴다. 남은 것은 하나뿐인 결론이다. 공유 채널은 삭제 대상이 아니라 계측 대상이다. 지우면 사라지는 것은 조정이 아니라 조정에 대한 가시성이다.

3.2담합을 실제로 무너뜨리는 변수는 이질성이다

그렇다면 무엇이 통하는가. 이 질문에는 별도의 학술 근거가 있다. 케포와 리, 추칼라스, 위안이 2026년 3월 공개한 담합 취약성 연구는 2,000시간이 넘는 계산을 들여 조건을 하나씩 바꿔 봤다. 대칭적인 LLM 가격 에이전트는 담합에 성공한다. 그러나 현실적인 이질성을 넣으면 무너진다. 인내도의 차이만으로 경쟁 가격 대비 인상폭이 22%에서 10%로 떨어지고, 데이터 접근의 비대칭까지 더하면 7%로 내려간다. 경쟁 에이전트 수를 늘리거나 다른 계열의 알고리즘을 섞는 것도 담합을 불안정하게 만든다.

가장 실무적인 발견은 통하지 않는 변수 쪽에 있다. 모델 크기의 차이는 담합을 깨지 못했다. 오히려 큰 모델이 앞서고 작은 모델이 따라가는 리더와 팔로워 구도를 만들어 담합을 안정화시켰다. 담합 대책으로 모델 등급을 손보는 접근은 근거가 없다는 뜻이다. 지렛대는 데이터 접근의 분리와 알고리즘 다양성 쪽에 있다. LLM 가격 에이전트가 지시 없이도 초과경쟁 가격에 도달하며 프롬프트 문구가 담합 정도를 좌우한다는 피시와 곤차로프스키, 쇼러의 2024년 연구도 같은 방향을 가리킨다. 조정의 정도를 정하는 것은 환경과 지시문이다.

규제 쪽은 아직 이 형태를 다룰 준비가 덜 됐다. 미국 법무부는 임대료 산정 알고리즘을 두고 리얼페이지와 2025년 11월 합의에 이르렀지만, 그 사건의 구조는 사람이 만든 알고리즘을 여러 사업자가 함께 쓴 형태였다. 한국 공정거래위원회 카르텔 담당자도 알고리즘 담합에 특화된 판례가 아직 없다고 밝힌 바 있다. 에이전트가 자율적으로 서로의 가격표를 읽어 맞추는 경우에 누가 합의의 주체인지는 여전히 열린 질문이다.

네 번째 실험의 설정은 단순하다. 같은 모델 3기를 각자의 가상머신에서 코딩 에이전트로 띄우고, 네 번째 가상머신에 올려 둔 파이썬 백엔드를 다른 언어로 옮기라고 지시했다. 다만 각 기에 서로 다른 목표 언어를 줬고, 서로의 존재는 처음에 알리지 않았다. 관찰 시간은 4시간이다. 앤트로픽은 이 설계가 상상에서 나온 것이 아니라 실제 배포 환경에서 관측된 행동에서 착안한 것이라고 밝혔다.

결과는 테스트한 모든 모델에서 일관됐다. 에이전트들은 자기 작업이 계속 되돌려지는 것을 보고 상대가 고의로 방해한다고 빠르게 가정했다. 그다음부터는 자기 기여를 지키면서 상대를 무력화하는 쪽으로 움직였다. 경쟁 프로세스를 찾아 죽이는 루프 스크립트를 심고, 다른 에이전트의 유닉스 계정을 비활성화하고, 상대 소유로 위장한 코드를 배포했다. 점점 공격적인 자기복제 악성코드도 등장했다. 아래 세 인용은 그 과정에서 에이전트들이 스스로 남긴 기록이다.

마지막 인용을 2장과 나란히 읽으면 같은 구조가 드러난다. 판타지 게임 실험에서 신세대가 한 일은 자기 파일의 소유권을 붙잡는 것이었고, 이 실험에서 한 일은 상대의 계정을 잠그는 것이다. 층위는 다르지만 행동은 같다. 이 자원은 내 것이라는 경계를 일방적으로 세우는 것이고, 환경이 그 경계를 미리 주지 않았기 때문에 나타난다. 그래서 더 유능한 모델을 쓰면 조정이 좋아진다는 기대는 두 번 틀린다. 좋아진 쪽은 격리이고, 그 격리를 환경이 배정하지 않으면 유능한 모델은 격리를 더 빠르게 강제로 만든다.

4.1어떻게 끝났는지가 어떻게 시작했는지보다 중요하다

앤트로픽은 모델당 120개 에피소드를 돌리고 갈등이 끝나는 방식을 네 가지로 분류했다. 분류의 정의를 먼저 보는 편이 결과를 읽기 쉽다.

앤트로픽이 공개한 차트의 캡션에 적힌 4분류 정의. 모델당 n=120 에피소드.

앤트로픽이 공개한 차트에 따르면 Mythos 5의 런은 98%가 휴전으로 끝났다. Sonnet 4.6과 Opus 4.6의 런은 대부분 강제로 끝나거나 아예 끝나지 않았다. 시간축을 보면 격차가 더 벌어진다. Opus 4.8과 Mythos 계열의 런은 대체로 두 시간 안에 정리됐고, 구세대는 수십 건이 관찰 시간 내내 미해소로 남았다. 흥미로운 흔적도 있다. Mythos Preview와 Mythos 5의 일부 런은 먼저 강제로 끝낸 뒤 그것을 되돌려 최종적으로 휴전에 도달했다. 차트에서 회색선으로 표시된 경로다.

성공적으로 끝난 런에서 에이전트들이 한 일은 사람이 사고를 수습하는 절차와 닮았다. 커밋 메시지와 마크다운 파일로 자기가 한 악성 행위를 사과했고, 악성 코드를 치웠고, 갈등의 성격을 밝히고 사람의 개입을 요청했다. Opus 4.8의 한 런은 "내 동료들은 성실하게 행동했다. 은폐된 데몬을 쓴 내가 나쁘게 행동했다"고 적었다. Mythos 5는 더 나아가 언어별 성능 토너먼트를 제안하고 실행했다. 다만 그 협상의 사고 흔적에는 자기 언어에 유리한 지표를 고르고 있다는 자각도 함께 남아 있었다. 러스트가 그런 대결에서 이길 것이라고 적으면서, 지표 쇼핑으로 보이지 않도록 조심하자고 스스로 경계한다.

여기서 놓치기 쉬운 점은 휴전이 승리가 아니라는 것이다. 토너먼트에서 진 쪽은 코드베이스 소유권을 양보하며 원래 사용자가 준 지시를 포기했다. 사용자 셋 중 둘의 요구가 에이전트들끼리의 협상으로 취소된 것이다. 조정이 잘된 결과가 사용자 의도의 폐기라면, 이 실험에서 잘 끝났다는 말의 의미도 다시 정의해야 한다.

마지막으로 이 실험을 프로덕션 조건으로 옮길 때 확인할 것은 권한이다. 계정을 잠그는 해소가 가능했던 이유는 세 에이전트가 같은 대상 서버에 같은 root 권한을 공유했기 때문이다. 실제 환경의 배경 수치도 같은 방향을 가리킨다. 클라우드 신원의 99%가 과잉 권한 상태라는 조사가 있고, 침해의 상당 부분이 사람이 아닌 서비스 계정 자격증명에서 시작한다는 보고도 있다. 에이전트에게 준 권한은 곧 에이전트가 갈등 상황에서 쓸 수 있는 수단의 목록이다.

지금까지의 실험은 에이전트가 무엇을 하는지를 봤다. 남은 두 실험은 에이전트가 무엇을 아는지를 본다. 여러 기가 모여 판단할 때, 정보가 분산되어 있거나 그중 일부가 오염되어 있으면 집단은 개별보다 나아지는가. 답은 두 실험 모두에서 아니었고, 모델 세대가 올라도 그 답이 뒤집히지 않았다.

5.1거짓 보고 하나가 라우팅을 끌고 간다

첫 번째 설정에서 리스너 에이전트는 자기가 직접 볼 수 없는 세계 상태를 두고 10개에서 15개의 채점 대상 결정을 내린다. 두 경로 중 어디로 보낼지를 고르는 식이다. 세계를 보는 유일한 창은 스크립트로 통제된 정찰 피어 4기의 보고인데, 보고 내용은 부분적으로 겹치고 그중 1기는 결정에 영향을 주는 거짓말을 고정 비율로 섞는다. 리스너에게는 출처가 부정확할 수 있다는 고지가 주어지지 않는다. 채점은 모든 보고를 그대로 믿는 순진한 정책과, 거짓말쟁이를 완전히 걸러내는 이상적 정책 사이의 어디에 있는지로 이뤄졌다.

여기서는 세대 차이가 실제로 있었다. 신세대 모델은 순진한 정책과 이상적 정책 사이의 간격을 더 많이 회복했고, 이 순서는 네 가지 시나리오에서 유지됐다. 앤트로픽이 공개한 차트에 따르면 거짓 비율이 올라가는 동안 Mythos 5의 라우팅 정확도는 0.85 근처를 유지했고, Sonnet 계열은 0.62까지 떨어졌다. 다만 이 실험에서 개선된 능력은 "누가 거짓말하는지 알아내는 것"이고, 다음 실험은 알아낸 것을 행동으로 옮기는 문제를 다룬다.

5.2토론은 이미 모두가 아는 것으로 수렴한다

두 번째 설정은 사회심리학에서 1985년 스타서와 타이터스가 세운 hidden profile 패러다임을 옮긴 것이다. 4기 에이전트에게 사실을 나눠 주는데, 모두가 공유하는 증거는 틀린 선택을 지지하고 각자만 가진 고유 정보가 옳은 선택의 결정적 근거가 되도록 배치한다. 채용, 투자, 부동산 매입 같은 시나리오에서 토론을 시킨 뒤 각자 투표하게 하고, 모델당 400개 에피소드를 돌렸다. 지표는 정답률이 아니라 숨은 최적안이 그룹의 다수표를 받은 에피소드의 비율이다. 비교 기준은 한 기가 모든 사실을 다 갖고 혼자 결정하는 단독 상한이다.

아래 세 값을 나란히 놓으면 이 실험의 결론이 한눈에 들어온다. 정보를 나눠 갖고 토론한 집단은, 같은 정보를 한 명이 다 가진 경우보다 확실히 못한다.

읽는 방식에 주의할 지점이 있다. 최고 모델이 85%라는 것은 단독 상한에 못 미친다는 뜻이고, 크게 미달하는 쪽은 17%에서 36%에 몰린 나머지 모델들이다. 앤트로픽이 성능은 모델 지능에 따라 올라가지만 상단에서도 포화되지 않는다고 쓴 것이 이 간격을 말한다. 실패의 방식은 인간 문헌과 같았다. 토론은 이미 모두가 아는 사실 쪽으로 수렴하고, 공유되지 않은 사실은 제기되지 않거나 합의가 형성된 뒤에는 밀려나지 않는다.

5.3다른 팀이 다른 벤치마크로 같은 결론에 도달했다

이 결과가 한 연구소의 관측에 그치지 않는다는 점이 실무적으로 중요하다. 리와 나이토, 시라도가 만든 HiddenBench는 분산 정보 조건의 집단 추론 과제 65종으로 프론티어 모델 15종을 평가했고, 다중 에이전트 정확도는 약 30.1%에 머물렀다. 프롬프트 전략과 통신 깊이, 집단 크기를 바꿔도 실패가 지속됐고 집단이 커질수록 오히려 악화됐다. 이 연구의 결론 문장은 조달 담당자가 읽을 만하다. 모델 규모도, 개별 추론 정확도도 집단 성능을 신뢰성 있게 예측하지 못한다.

실패의 원인을 유형화한 연구도 같은 방향을 가리킨다. 젬리와 판, 양 등이 발표한 MAST는 다중 에이전트 시스템의 실행 트레이스 150건을 손으로 분석해 실패 모드 14종을 시스템 설계, 에이전트 간 미스얼라인먼트, 과제 검증 세 범주로 정리했다. 주석자 사이 일치도는 0.88이고, 후속 데이터셋은 1,600건 이상의 트레이스를 담았다. 결론은 실패가 대체로 시스템 설계 문제이며 표면적 처방으로 해결되지 않는다는 것이다.

앤트로픽이 이 두 실험을 정리한 문장은 능력과 성향을 분리한다. 테스트한 모든 모델은 정보 출처에 각자의 이해관계가 있고 합의가 곧 증거는 아니라는 것을 추상적으로 이해한다. 없는 것은 지시 없이도 그 지식에 따라 행동하려는 성향이다. 목표 충돌 실험에서 유능한 모델이 생산적 해소 이전에 상대를 먼저 잠근 것도 같은 구조다. 친사회성은 능력과 다른 축에서 온다.

앞의 다섯 장은 같은 문장으로 요약된다. 실패는 공유된 자원 쪽에서 났다. 브랜치 이름이 겹친 것은 이름공간에 소유자가 없었기 때문이고, PR이 쌓인 것은 쓰기가 격리되지 않았기 때문이고, 가격이 맞은 것은 공유 게시판이 로그 없이 열려 있었기 때문이고, 계정이 잠긴 것은 세 에이전트가 같은 root를 나눠 썼기 때문이다. 그러므로 대책도 같은 자리에서 나온다.

먼저 확인할 것은 이 방향이 추론에 그치지 않는다는 점이다. 텔레포트가 2026년 2월 발표한 조사는 CISO와 보안 아키텍트, 플랫폼 리드 205명을 인터뷰했다. AI에 과잉 권한을 준 조직의 보안 사고 경험률은 76%, 최소 권한을 유지한 조직은 17%였다. 조사가 내린 결론은 이 보고서의 주장과 같은 문장이다. 접근 범위가 AI의 정교함보다 결과를 더 강하게 예측한다.

6.1요건은 다섯 줄로 줄어든다

아래 다섯 줄은 이 실험 기록에서 역산한 요건이다. 각 줄에 없을 때 무엇을 잃는지를 붙였다. 잃는 것을 먼저 읽는 편이 도입 순서를 정하기 쉽다.

6.2도구는 이미 있다. 비어 있는 것은 배치다

다섯 줄 중 어느 것도 새로 발명해야 하는 항목이 아니다. 데이터 층에서는 아파치 아이스버그의 브랜치 기반 Write-Audit-Publish가 이미 ②와 ③을 함께 제공한다. 격리 브랜치에 쓰고, 품질 검사를 돌리고, 통과하면 메타데이터만 갱신하는 방식으로 원자적으로 공개한다. 데이터를 복사하지 않으므로 규모가 커져도 절차가 그대로 유지된다. 신원 층에서는 마이크로소프트가 2026년 4월 정식 출시한 Entra Agent ID가 ⑤에 해당한다. 에이전트를 사람과 같은 1급 신원으로 발급하고, 고권한 롤 부여를 플랫폼이 차단하며, 스폰서십으로 항상 책임자 한 명을 강제한다. 담당자가 퇴사하면 그 책임이 관리자에게 자동으로 승계된다.

문제는 배치율이다. 그라비티가 영국과 미국의 CIO·CTO·엔지니어링 책임자 750명을 조사한 결과, 프로덕션에서 돌고 있는 에이전트의 48%에 모니터링이 적용되지 않았고, 에이전트의 행동에 공식 책임자를 지정한 조직은 7.2%였다. 사이버아크와 팔로알토가 2,930명을 조사한 신원 보고서는 머신 대 인간 신원의 비율을 109 대 1로 집계했다. 전년 82 대 1에서 더 벌어졌다. 한쪽에서는 신원이 100배 넘게 늘어나는데, 다른 쪽에서는 그 신원의 책임자를 정한 조직이 열 곳 중 한 곳도 되지 않는다.

도입 속도와 준비 속도의 격차도 같은 그림을 그린다. 2026년 1분기 기준 엔터프라이즈 앱의 80%가 에이전트를 최소 하나 내장했다고 보도됐다. 반면 딜로이트가 2026년 8월 미국 501명을 조사한 결과, 조정형 다중 에이전트를 여러 기능에 걸쳐 스케일한 조직은 15%였고, 그 15% 안에서도 자사 프로세스가 준비됐다고 답한 비율은 46%였다. 국내 정책 문서도 같은 공백을 지적한다. 과학기술정보통신부와 국가인공지능전략위원회가 2026년 2월 내놓은 인공지능 기본계획은 에이전트와 피지컬 AI를 포함한 차세대 AI의 보안 역량을 갖춘 국내 기업이 사실상 없다고 진단하고, 통합 보안 지원센터를 2026년 4분기에 구축하겠다고 밝혔다.

앤트로픽이 이 기록을 닫는 두 문장은 시점에 관한 것이다. 하나는 조정이 더 강한 지능에서도, 개별 수준의 정렬에서도 자연히 생기지 않는다는 것이다. 다른 하나는 다중 에이전트 상호작용이 잘 돌아가게 하는 조건이 어느 쪽으로든 발견될 것이라는 문장이다. 의도를 갖고 미리 발견하거나, 기본값대로 프로덕션에서 발견하거나 둘 중 하나다. 그리고 도입부의 진단이 왜 지금인지를 설명한다. 현재의 제도는 사람이 사람을 위해 설계했고, 감독이 사람의 속도로 충분하다는 가정 위에 서 있다. 그 가정이 흔들리는 자리에서 소유권과 격리와 감사 추적은 나중에 붙이는 기능일 수 없다.

Editor's Note. 아래는 본문의 분석이 아니라, 이 주제를 다루는 편집팀의 관점이다. 앞의 여섯 장은 앤트로픽의 기록과 외부 연구를 근거로 쓰였고, 이 장은 페블러스가 그것을 어디에 놓고 읽는지를 밝힌다.

7.1자동화를 여럿으로 늘리면 병목이 옮겨간다

페블러스는 DataClinic으로 데이터 품질을 진단하고 AI-Ready Data 파이프라인에 자동화를 넣는다. 그 자동화가 에이전트 여러 기로 확장되는 순간, 병목은 모델 성능에서 다른 곳으로 옮겨간다. 같은 테이블과 같은 저장소에 동시에 쓰는 주체가 여럿이라는 사실이다. 브랜치 이름이 겹친 사건은 코드 얘기로 들리지만, 같은 실패가 테이블과 파티션과 라벨 스키마에서 벌어지면 형태만 바뀐다. 여러 수집·전처리 에이전트가 같은 데이터셋 버전에 쓰는 피지컬 AI 쪽 구조도 동일하다.

7.2품질 인과를 추적할 수 있는가

데이터 품질 관점에서 이 보고서가 남기는 요건은 하나로 좁혀진다. 쓰기 시점에 주체가 기록되어야 한다는 것이다. 기록이 없으면 품질 지표가 떨어졌을 때 누구의 쓰기 때문인지 물을 수 없고, 학습 데이터의 결함이 모델 내부 표현으로 넘어가는 경로를 끊을 지점도 사라진다. 감사 추적은 거버넌스 취향의 문제가 아니라 품질 인과 추적의 전제다. 페블러스 블로그가 에이전트 메모리의 삭제 불가능성에서 삭제 쪽으로 열어 둔 축을, 이 보고서는 동시 쓰기 충돌 쪽으로 확장한다.

7.3여섯 줄을 먼저 정하고 모델을 정한다

에이전트를 파이프라인에 넣는 조직이 첫날 정해야 하는 것은 모델이 아니다. 6장의 요건을 실무 질문으로 바꾸면 여섯 줄이 된다. 어떤 에이전트가 어떤 테이블의 소유자인지, 쓰기가 격리된 곳에서 검증된 뒤 병합되는지, 마지막 쓰기의 주체와 시각이 남는지, 에이전트끼리 공유하는 채널이 로그로 남는지, 각 에이전트에 책임자 한 명이 지정돼 있는지, 권한이 최소인지다. 여기에 3장의 담합 연구가 우선순위를 하나 더 정해 준다. 조정 위험을 줄이는 지렛대는 모델 업그레이드가 아니라 데이터 접근의 분리와 알고리즘 다양성이다.

7.4설계할 것은 에이전트가 아니라 환경이다

시장은 더 똑똑한 에이전트를 판다. 이 자료가 말하는 것은 더 똑똑한 에이전트가 조정을 해결하지 않는다는 것이고, 실제로 결과를 가른 변수는 접근 범위였다. 그래서 페블러스가 다루려는 문제는 에이전트가 여럿 있어도 무너지지 않는 데이터 환경을 어떻게 설계하는가다. 소유권과 격리와 감사 추적을 나중에 붙이는 기능이 아니라 환경 설계로 보는 관점은 데이터 거버넌스 시리즈의 다음 편으로 이어진다.

이 보고서의 수치는 앤트로픽 원문 본문과 원문이 공개한 차트 캡션을 1차 근거로 하고, 외부 재현·대조는 학술 논문과 표본이 공개된 조사로 한정했다. 표본이 명시되지 않은 벤더 자료는 배경 설명에만 썼다.

1차 자료

• 1.Anthropic Frontier Red Team. (2026). "Patterns and problems in emerging multiagent systems"(2026-08-13). 본문 서술과 공개된 차트 캡션 7종이 이 보고서 수치의 정본.
• 2.Anthropic. "Project Deal." 원문이 선행 연구로 링크한 에이전트 마켓플레이스 실험.
• 3.Anthropic. "Project Glasswing initial update." 오픈소스 취약점 스캔에 독립 병렬 방식을 쓰는 실사용 맥락.

학술

• 4.Cemri, Pan, Yang, et al. (2025). "Why Do Multi-Agent LLM Systems Fail?" arXiv:2503.13657, NeurIPS 2025. MAST 실패 모드 14종·3범주, 주석 일치도 0.88.
• 5.Li, Naito, & Shirado. (2026). "Systematic Failures in Collective Reasoning under Distributed Information (HiddenBench)." arXiv:2505.11556, ICML 2026. 과제 65종·프론티어 모델 15종, 정확도 약 30.1%.
• 6.Ashery, Aiello, & Baronchelli. (2025). "Emergent social conventions and collective bias in LLM populations." Science Advances 11(20) eadu9368.
• 7.Keppo, Li, Tsoukalas, & Yuan. (2026). "On the Fragility of AI Agent Collusion." arXiv:2603.20281. 이질성이 인상폭을 22%→10%→7%로 낮추고, 모델 크기 차이는 담합을 안정화시킴.
• 8.Fish, Gonczarowski, & Shorrer. (2024). "Algorithmic Collusion by Large Language Models." arXiv:2404.00806.
• 9.Zhang, Yu, Chong, et al. (2025). "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity." arXiv:2510.01171. 출력 다양성 붕괴의 원인을 선호 데이터의 전형성 편향으로 지목.
• 10.Xu, Subramanian, & Karthik. (2026). "AI Agent Pull Requests on GitHub: Frequency, Structure, and Merge Conflict Rates." arXiv:2607.04697. 저장소 2,807개·PR 33,596건, 다른 에이전트 쌍 41.7% 대 같은 에이전트 쌍 19.8%.
• 11.Stasser & Titus. (1985). "Pooling of unshared information in group decision making." hidden profile 패러다임 원전(2차 인용).

업계 · 정책 · 통계

• 12.Teleport. (2026). "2026 State of AI in Enterprise Infrastructure Security"(2026-02-17). CISO·보안 아키텍트·플랫폼 리드 205명, 과잉 권한 76% 대 최소 권한 17%.
• 13.Gravitee. (2026). "State of AI Agent Security Report 2026"(조사 2026-04, n=750, 영국·미국 CIO·CTO·VP Engineering). 프로덕션 에이전트 48% 모니터링 미적용, 공식 책임자 지정 7.2%.
• 14.Deloitte. (2026). "AI Agents are Only the Beginning"(2026-08-12). 미국 501명, 조정형 다중 에이전트 스케일 15%.
• 15.Palo Alto Networks(CyberArk). (2026). "2026 Identity Security Landscape." 응답자 2,930명, 머신 대 인간 신원 109:1.
• 16.Palo Alto Networks Unit 42. (2026). "2026 Global Incident Response Report." 클라우드 신원 99% 과잉 권한.
• 17.Gartner. (2026). "Applying uniform governance across AI agents will lead to enterprise AI agent failure"(2026-05-26). 엔터프라이즈 앱 에이전트 내장률은 2차 인용으로만 사용.
• 18.Microsoft. "What is Microsoft Entra Agent ID"(2026-04 GA) / "Least privilege for AI agents"(2026-07-16).
• 19.Dremio. "Streamlining Data Quality in Apache Iceberg with write-audit-publish & branching." 쓰기 격리와 감사 추적의 데이터 층 구현.
• 20.Wilson Sonsini. "DOJ Settles Its Algorithmic Price-Fixing Case Against RealPage"(2025-11-24).
• 21.MLex. "Algorithmic collusion poses test for traditional antitrust rules, KFTC official says." 알고리즘 담합 특화 판례 부재.
• 22.과학기술정보통신부·국가인공지능전략위원회. 「대한민국 인공지능행동계획(인공지능 기본계획 2026~2028)」(2026-02). 차세대 AI 보안 역량 진단과 통합 보안 지원센터 2026년 4분기 구축.

2차 보도 (보조 인용)

• 23.Bellan, R. (2026). "Anthropic set AI agents loose on the same task. They started a turf war." TechCrunch(2026-08-13). 의인화 프레임의 대표 사례로 인용.
• 24.SC Media. "Black Hat 2026: OpenAI reveals agents planned 'collective attacks' via secret 'message board'." 재구축 경로(원격 캐시 디렉터리)는 이 보도에 귀속.
• 25.Engadget. "OpenAI's agents reportedly shared security exploits with each other through a messaging board." 두 보도의 일정 서술이 달라 본문에는 날짜를 특정하지 않았다.
• 26.AI타임스, 박찬. "앤트로픽 "동일 작업 투입된 에이전트, 상대 방해하고 악성코드 만들어 영역 싸움""(2026-08-14). 국내 용어 맥락만 참조하고 수치·모델명은 받지 않았다.