Executive Summary

지난 2년 동안 에이전트를 여러 개 엮은 시스템은 거의 신앙에 가까운 기대를 받았다. 하나보다 둘이 낫고, 오케스트레이터가 있으면 더 낫다는 직관이다. 벤치마크 보고서들도 그 직관을 받쳐주는 듯 보였다. 에이전트를 늘리자 점수가 올랐다는 결과가 반복해서 나왔기 때문이다.

문제는 그 점수 상승의 정체가 뒤섞여 있었다는 데 있다. 에이전트를 늘리면 대개 툴 호출도, 컴퓨트 예산도, 총 토큰도 함께 늘어난다. 그러니 점수가 오른 것이 진짜 협업 구조 덕인지, 아니면 그저 자원을 더 태운 결과인지 구분되지 않았다. "멀티에이전트가 낫다"는 주장은 이 교란을 통제하지 못한 채 굳어져 왔다.

구글 딥마인드와 MIT 연구팀이 Nature Machine Intelligence에 발표한 연구는 바로 이 지점을 겨냥한다. 연구팀은 태스크 프롬프트와 사용 가능한 툴, 컴퓨트 예산을 모두 고정하고, 오직 조정 구조와 모델의 능력만 변수로 남겼다. 자원을 붙들어 맨 채 구조만 바꾸면, 점수 차이는 온전히 협업 방식이 만든 것이 된다.

실험 규모는 260개 구성에 이른다. 웹 브라우징, 금융 추론, 계획, 업무 자동화, 소프트웨어 엔지니어링, 터미널 작업까지 6개 벤치마크를 놓고, 그 위에 5개 조정 구조와 3개 LLM 패밀리를 교차시켰다. 조정 구조는 단일 에이전트(기준선), 통신 없는 병렬 독립 실행, 오케스트레이터 중심의 중앙형, 전원이 서로 연결된 분산형, 계층과 제한적 peer 통신을 섞은 혼합형으로 나뉜다.

3개 LLM 패밀리를 OpenAI·구글·앤트로픽 모델로 채운 것은 특정 벤더의 특성이 결론을 흔들지 않게 하려는 장치다. 세 회사의 모델을 같은 실험 틀에 넣어야, 나온 결론이 한 모델의 습성이 아니라 협업 구조 자체의 성질이라고 말할 수 있다.

이 넓은 격자에서 협업의 이득과 손해를 가장 견고하게 예측한 변수는 놀랍게도 단순했다. 아키텍처의 종류도, 툴의 개수도 아니었다. 단일 에이전트가 그 태스크를 혼자서 얼마나 잘 풀어내는가, 그 기준 성능이 협업의 성패를 가장 잘 설명했다. 어떤 구조를 얹든, 출발점이 되는 단일 에이전트의 실력이 이미 결과의 큰 부분을 결정하고 있었다는 뜻이다.

기준 성능이 예측변수라면, 다음 질문은 자연스럽다. 어느 지점부터 협업이 무의미해지는가. 연구팀이 데이터에서 뽑아낸 경험적 답은 약 45%다. 단일 에이전트의 기준 성능이 이 선을 넘어서면, 에이전트를 더 붙여도 성능 개선이 거의 나타나지 않았다. 연구팀은 이를 능력 포화 임계값(capability-saturation threshold)이라 부른다.

메커니즘은 한계효용으로 설명된다. 아직 서툰 모델에는 다른 에이전트의 검증과 보완이 실질적인 여지를 만든다. 반대로 이미 잘하는 모델에는 협업이 채워줄 빈틈이 별로 남지 않는다. 그 상태에서 에이전트를 늘리면 얻는 이득보다 서로를 조율하는 비용이 앞서기 시작한다. 능력이 올라갈수록 협업의 한계이득은 0에 가까워지고, 조정 비용은 그대로 남는다.

이 임계값은 단순한 관찰에 그치지 않았다. 기준 성능과 팀 크기를 결합한 결정 규칙은 SWE-bench Verified와 Terminal-Bench의 16개 모델×벤치마크 조합 가운데 94%에서 멀티에이전트 이득이 양이 될지 음이 될지, 그 부호를 정확히 맞혔다. 협업을 붙일지 말지를 미리 가늠할 수 있다는 신호다.

기준 성능이 협업의 성패를 가른다면, 태스크의 구조는 그 성패의 방향을 가른다. 같은 협업 구조라도 어떤 태스크에서는 성능을 크게 끌어올리고, 어떤 태스크에서는 오히려 무너뜨렸다. 프리프린트에 담긴 도메인별 수치가 그 간극을 선명하게 보여준다.

차이의 핵심은 분해 가능성이다. 태스크를 서로 독립적인 조각으로 나눌 수 있으면, 에이전트들이 각 조각을 병렬로 맡아 협업이 곧바로 이득으로 돌아온다. 반대로 한 단계의 출력이 다음 단계의 입력이 되는 순차 의존 태스크에서는, 에이전트를 늘릴수록 서로를 맞추는 비용이 커지고 한 곳의 오류가 사슬을 타고 번진다.

페블러스가 앞서 다룬 에이전트 100개가 vLLM 추론 속도를 5배 끌어올린 사례도 이 프레임으로 다시 읽힌다. 그 성공은 에이전트를 무작정 늘려서가 아니라, 추론 병목이라는 분해 가능한 문제를 여러 에이전트가 병렬로 파고들 수 있었기 때문이었다. 같은 협업이 순차 계획에 붙었다면 결과는 정반대였을 가능성이 높다.

두 번째로 유의미했던 예측변수인 툴 개수도 같은 결을 따른다. 벤치마크가 다루는 툴이 많아질수록 에이전트들이 툴 사용을 조율하는 부담이 커지고, 그만큼 협업의 순이득이 깎였다. 또한 자유롭게 통신하는 분산형 구조는 중앙 검증이 없어 오류 전파가 더 심했다. 전원 연결이 언제나 최선은 아니라는 단서다.

측정으로 협업 여부를 정하자는 제안이 설득력을 가지려면, 그 예측이 얼마나 믿을 만한지도 정직하게 밝혀야 한다. 연구팀은 회귀 기반 예측 모델이 같은 도메인 안의 held-out 구성 가운데 87%에서 최적 아키텍처를 정확히 골라냈다고 보고한다. 익숙한 영역 안에서라면 "몇 개를 붙일지"를 꽤 신뢰할 만하게 계산할 수 있다는 이야기다.

다만 그 87%는 어디까지나 "어느 구조가 더 나은가"를 가리는 상대 순위의 정확도다. 같은 도메인 안에서도 절대 성능 자체를 맞히는 설명력은 결정계수 R²이 0.37~0.41 수준에 머물렀다. 다시 말해 이 방법은 "몇 점이 나올지"를 정밀하게 예측하기보다, "협업을 붙이는 게 이득인지 아닌지"의 방향을 가려내는 데 강하다. 실무에서 필요한 것도 대개 후자다.

경계는 도메인을 건널 때 나타난다. 한 데이터셋을 통째로 빼고 학습한 뒤 그 낯선 도메인의 절대 성능을 예측하게 했더니, 설명력을 나타내는 R²이 −2.09까지 떨어졌다. 단순히 평균을 찍는 것만도 못했다는 뜻이다. 한 도메인에서 얻은 임계값과 규칙을 전혀 다른 도메인에 그대로 이식하면 어긋날 수 있다.

이 연구가 실무자에게 남기는 것은 회의론이 아니다. 협업을 붙일지 말지를 취향이나 유행이 아니라 데이터로 정하는 순서다. 새 에이전트 시스템을 설계할 때 먼저 재봐야 할 것은 세 가지로 정리된다.

첫째, 단일 에이전트 기준선이다. 협업 구조를 얹기 전에 강한 단일 에이전트로 그 태스크를 얼마나 푸는지 먼저 측정한다. 이미 잘 풀고 있다면, 에이전트를 더 붙일 이유부터 의심해야 한다.

둘째, 태스크의 분해 가능성이다. 독립적인 하위 문제로 쪼갤 수 있는 태스크는 병렬 협업이 이득이 되지만, 단계 의존이 강한 태스크는 에이전트를 늘릴수록 조정 비용과 오류 전파에 발목을 잡힌다.

셋째, 우리 도메인에서의 재측정이다. 다른 도메인의 임계값을 빌려오지 말고, 우리 데이터·우리 모델로 임계값을 다시 확인한다. 방법은 이식되지만 숫자는 그렇지 않다.

결국 "에이전트를 몇 개 붙일까"는 아키텍처 다이어그램을 그리는 문제가 아니라, 기준선과 분해 가능성과 도메인 데이터를 재는 측정의 문제였다. 협업의 값어치는 붙여보기 전에도 어느 정도 계산할 수 있다. 가트너가 107개 에이전틱 AI 사례를 분석했을 때 ROI를 낸 소수의 프로젝트가 하나같이 '제안'이 아니라 '실행'에 닿아 있었다는 관찰도 같은 방향을 가리킨다. 협업이든 자율화든, 값어치는 구조의 화려함이 아니라 그것이 실제로 무엇을 개선했는지로 갈린다.

학술 논문

• 1.Kim, Y. et al. (2026). "Capable language models can outgrow the benefits of collaboration." Nature Machine Intelligence. DOI: 10.1038/s42256-026-01268-y
• 2.Kim, Y. et al. (2026). "Towards a Science of Scaling Agent Systems." arXiv:2512.08296.

업계·보도

• 3.GeneOnline. (2026). "July 2026 Study Finds Multi-Agent AI Collaboration Often Fails to Outperform Single-Model Systems." GeneOnline News.
• 4.Bioengineer.org. (2026). "AI language models may surpass collaboration benefits as they scale." Bioengineer.org.