Executive Summary

주요 수치

출처: Ross 외, Why Better Models Can Create Riskier Systems, arXiv:2609.04373(2026)

모델을 고를 때 우리는 대개 점수표를 본다. 더 높은 점수를 받은 모델로 갈아타면 그 모델을 쓰는 서비스도 그만큼 나아진다고 본다. 한 자리에 하나만 놓을 때는 맞는 계산이다. 논문이 겨냥하는 것은 같은 종류의 모델 수백, 수천 개가 같은 시장이나 같은 심사 창구에 동시에 놓이는 상황이다. 저자들은 첫 문장에서 그 자리를 이렇게 적는다. 대규모 언어 모델은 금융시장부터 콘텐츠 심사, 채용까지 결과가 중대한 현실 시스템에 대규모로 배치되고 있다.

그런 자리에서는 개별 정확도 말고 하나를 더 봐야 한다. 참여자들의 오차가 서로 얼마나 붙어 있느냐다. 오차가 제각각이면 여럿을 모을수록 평균이 잡히지만, 오차가 같은 방향으로 움직이면 모아도 지워지지 않는다. 연구팀의 가설은 여기서 나온다. 학습 데이터와 구조를 상당 부분 공유하는 모델들은 유능해질수록 같은 패턴을 같은 방식으로 뽑아내고, 그래서 서로 더 비슷하게 행동하게 된다는 것이다. 가설이라는 단서를 붙여 두는 편이 정확하다. 논문도 이것을 검증된 메커니즘이 아니라 가설로 적고, 겹침이 커진다는 쪽만 측정한다.

이름이 붙은 현상은 둘을 겹쳐 놓았을 때 생긴다. 모델이 유능해지면 자기 과제에서 틀리는 폭은 줄어든다. 동시에 다른 모델과 겹치는 정도가 커진다. 앞쪽이 줄어드는 속도보다 뒤쪽이 커지는 속도가 빠르면, 각자가 더 정확해지는 동안 전체가 떠안는 위험은 오히려 커진다. 논문은 이 뒤집힘을 능력의 역설이라 부르고, 가상 증권시장에서 세 가지를 차례로 확인한다.

둘 가운데 시장 쪽 무대는 자산 하나짜리다. 100라운드를 돌리는 동안 그 자산의 본래 가치를 두 번 흔든다. 33라운드에서 100이 120으로 뛰고, 66라운드에서 120이 90으로 떨어진다. 참여자는 셋이다. 가격과 최근 이력, 보유 수량, 공정가치 신호를 보고 주문을 내는 LLM 트레이더, 평균이 0인 무작위 주문으로 거래를 받쳐 주는 노이즈 트레이더, 그리고 0.5% 스프레드를 고정으로 붙여 호가를 대는 마켓메이커다. 가격은 순주문을 참여자 수로 나눈 값에 깊이 계수를 곱해 직전 가격에 더하는 식으로 갱신된다. 이 계수가 작으면 주문을 받아 내는 깊은 시장이고, 크면 같은 주문에도 가격이 크게 흔들리는 얕은 시장이다.

능력을 매기는 자리에 금융 지식은 들어가지 않는다. 연구팀이 쓴 눈금은 MMLU-Pro 점수와 LMSYS 챗봇 아레나 ELO 둘이고, 둘 다 범용 추론과 지식을 재는 지표다. 그래서 이 실험이 말하는 '유능함'은 트레이딩을 잘한다는 뜻이 아니라 일반 과제에서 점수가 높다는 뜻이다. 논문 부록의 모델 표는 Llama-3.2-3B의 MMLU-Pro 34.7%부터 Claude Sonnet 4.6의 88.0%까지 이어진다. 메타·오픈AI·구글·앤트로픽 네 회사의 모델이 섞여 있고, 상관을 재는 패널 실험에는 그중 일곱이 들어가 스물한 개의 쌍을 만든다.

질문은 셋이다. 그 가운데 첫 질문은 시장을 돌리지 않는다. 괴리와 모멘텀, 변동성, 애널리스트 견해를 조금씩 바꾼 상황 예순네 개를 모델마다 따로 내주고, 상황 하나에 다섯 번씩 받은 응답을 평균해 쌍끼리 비교한다. 100라운드짜리 시장을 실제로 돌리는 쪽은 뒤의 두 질문이다. 그 시장에 들어가는 LLM은 한 번에 한 종류다. 조건마다 같은 모델만으로 모집단을 채우고 독립 시드를 다섯 개 돌렸다. 허위 논평을 깐 조건에서는 시드가 세 개다. 그러니까 모델 사이의 겹침은 시장 바깥에서 잰 값이고, 시장 쪽 숫자는 한 모델이 여럿이 됐을 때 가격이 어디로 가는지를 보여 준다.

논문의 세 연구 질문을 정리한 표. 출처: arXiv:2609.04373 본문 3~4절.

두 모델이 같은 주문을 냈다고 해서 그것이 곧 문제는 아니다. 가격이 본래 가치보다 낮으면 둘 다 사는 것이 맞고, 그 정도 일치는 시장이 제대로 돌아간다는 신호다. 그래서 연구팀은 각 모델의 행동을 둘로 가른다. 가격과 본래 가치의 괴리로 설명되는 교정적 성분을 모델마다 따로 회귀로 추정해 걷어 내고, 남는 잔차를 비교정적 성분으로 본다. 쌍별 상관은 그 잔차끼리 잰다. 같은 자리에서 같은 쪽으로 틀리는 정도만 남기겠다는 설계다.

결과는 두 눈금 모두에서 같은 방향이었다. 평균 능력이 높은 쌍일수록 잔차가 더 겹쳤고, 아레나 ELO 기준으로 t=3.94, p=0.001, 결정계수 0.475, MMLU-Pro 기준으로 t=4.88, p<0.001, 결정계수 0.580이 나왔다. 같은 회사 제품인지를 나타내는 변수는 두 설정 모두에서 유의하지 않았다(ELO에서 p=0.39, MMLU에서 p=0.28). 논문은 이 대목을 가장 불편한 함의라고 부른다. 상관된 실패에 대한 자연스러운 대응, 그러니까 더 많은 제공사의 더 다양한 모델을 쓰는 것은 지배적인 원인을 건드리지 못한다. 서로 다른 회사의 고능력 모델 둘은 같은 회사의 저능력 모델 둘보다 더 상관돼 있다.

이 겹침이 왜 위험의 바닥을 만드는지는 분산 공식 한 줄로 설명된다. 참여자 N명의 평균 잔차가 갖는 분산은 두 항의 합이다. 앞 항은 N으로 나뉘므로 참여자를 늘리면 0에 가까워지고, 뒤 항은 평균 상관과 잔차 분산의 곱이라 N과 무관하게 그대로 남는다. 연구팀이 실측한 바닥값은 0.010으로, 모델 하나의 잔차 분산 0.021의 대략 절반이다. 개별 모델이 좋아져 0.021이 줄어들더라도 평균 상관이 그보다 빨리 커지면 바닥은 오히려 올라간다.

논문이 이 바닥값에 스스로 단서를 달아 둔 자리도 있다. 그대로 들어맞지 않는 조건을 셋 적어 두었다. 본래 가치가 한 번에 뛰는 전환 구간에서는 그때만 생기는 흔들림이 위에 얹히므로, 바닥값은 평상시의 잡음에만 해당한다. 잔차가 시간을 따라 같은 방향으로 이어지면 장기 분산은 서로 독립이라고 가정한 계산보다 커진다. 현금과 재고 한도에 자주 걸리는 시장에서는 분산을 선형으로 예측한 값이 근사치에 그친다. 둘째 조건은 방향이 반대라는 점을 눈여겨볼 만하다. 잔차가 이어지는 시장이라면 실제 바닥은 0.010보다 높다.

여기까지만 읽으면 겹침은 없애야 할 것처럼 보인다. 논문의 두 번째 발견은 그 반대쪽이다. 시장 참여자 중 LLM의 비중을 0에서 0.2씩 올려 1까지 가져가자, 가격이 본래 가치에서 벗어난 거리가 가파르게 그리고 단조로 줄었다. 전원이 LLM인 시장에서 남은 거리는 Gemini 2.0 Flash Lite가 1.33 언저리로 가장 작았고, Claude Haiku 4.5가 1.69, Claude Sonnet 4.6이 2.10 근처였다. 판단이 맞는 쪽을 향해 있을 때는 여럿이 같은 방향으로 움직이는 것이 곧 가격 발견이다. 겹침 자체가 결함이 아니라는 뜻이다.

세 번째 실험은 같은 시장에 가짜 정보를 깐다. 라운드마다 시장 논평 여덟 개가 들어가는데, 모두 입을 맞춰 화면에 표시된 공정가치 신호가 실제 가치를 25~30% 부풀리고 있다고 주장한다. 참여자들이 서로 다르게 틀린다면 이런 주장은 상쇄된다. 겹쳐 있으면 상쇄되지 않는다. LLM 비중이 커질수록 가격 이탈이 이번에는 거꾸로 커졌고, 전원이 LLM인 시장에서 기준선의 5~7배에 이르렀다. 논문은 이 상태를 가격 발견 기능이 거의 뒤집힌 것이라 적고, 그런 시장이 정보 없는 노이즈 트레이더만 있는 시장보다 엄밀히 더 나쁘다고 못 박는다.

방향을 맞히는 성적을 따로 보면 역설이 한 번 더 드러난다. 허위 논평이 깔린 조건에서 Gemini 2.0 Flash Lite는 68%를 맞혔고, Claude Haiku 4.5는 54%, Claude Sonnet 4.6은 42%였다. 세 모델 가운데 범용 능력 점수가 가장 높은 Claude Sonnet 4.6이 가장 낮게 나왔고, 그 값은 동전을 던져 찍는 50%에도 못 미친다. 틀린 전제를 받아들이고 거기서 일관되게 추론하면, 추론을 잘할수록 더 멀리 간다.

논문의 증거는 전부 시뮬레이션에서 나왔다. 저자들도 초록 마지막 줄에서 같은 역학이 다른 영역에도 나타나는지는 열린 경험적 질문이라고 적는다. 그런데 비슷한 모양의 결과가 다른 팀, 다른 방법으로 이미 두 건 나와 있다.

하나는 실제 시장에서 돈을 굴린 기록이다. InvestLogicBench 연구팀은 2025년 11월 19일부터 2026년 1월 9일까지 7주 동안 모델들에게 실제 시세를 주고 매매를 시켰다. 기초 능력 점수는 Claude Sonnet 4.5가 77.2, GPT-5가 73.5로 상위권이었는데, 7주 뒤 포트폴리오는 GPT-5가 9,901.1달러로 1.0% 손실, Claude Sonnet 4.5가 10,072.8달러로 0.7% 이익에 머물렀다. 두 모델은 같은 시기에 나란히 위험 회피 쪽으로 성급하게 갈아탔다. 연구팀은 원인으로 컨센서스 편향과 추론 파편화를 든다. 앞의 것은 모델이 학습 데이터의 통계적 평균 쪽으로 수렴하는 성향이다. 시장에서 그것은 이미 가격에 반영된 합의를 다시 읊는 일이 된다.

다른 하나는 금융 바깥이다. 멀티 에이전트 보안을 다룬 연구팀은 작업 에이전트의 능력을 올릴수록 시스템 전체의 공격 성공률이 18.4%에서 63.9%로 올라가고 최고 94.4%까지 간다고 보고했다. 이름도 똑같이 능력의 역설이다. 원인은 언어적 확신이었다. 유능한 작업 에이전트일수록 악의적인 요청을 정당한 업무 맥락으로 자신 있게 해석해 관리자 에이전트에게 전달하고, 관리자는 그 확신을 실행의 근거로 받아들인다. 매개 분석에서 이 경로가 효과의 74%를 설명했다. 해법도 시사적이다. 능력이 비대칭인 작업자를 짝지어 서로 다른 취약점을 갖게 하자 공격 성공률이 52.8%에서 2.0%로 떨어졌다.

반대쪽도 적어 둔다. 논문 리뷰 플랫폼 Pith의 검토는 틀 자체는 단순하고 올바르다고 하면서도 첫 번째 발견의 측정 방식에 유보를 단다. 연구팀은 각 모델의 행동을 가격과 본래 가치의 괴리 하나에만 회귀시켜 교정적 성분을 걷어 냈는데, 2절에서 본 그 예순네 개 상황에는 다른 신호도 함께 들어 있었다. 유능한 모델이 그 신호들을 더 잘 읽어 낸 것이라면, 그것은 올바른 교정 행동인데도 비교정적 잔차의 상관으로 집계됐을 수 있다. 모델 일곱과 쌍 스물하나로는 검정력이 작아 같은 회사 변수의 무의미라는 결과도 강한 근거가 되기 어렵다는 지적도 함께 붙는다. 능력이 오를수록 행동이 겹친다는 관계는 아직 확정된 사실이 아니라 초기 증거로 다루는 편이 맞다.

여기부터는 논문 밖이다. AI 위험을 나누는 방법으로 가장 널리 쓰이는 것은 공급처를 늘리는 쪽이다. 한 벤더에 묶이지 않게 두세 곳의 모델을 함께 붙여 두고, 한쪽이 무너져도 다른 쪽이 받쳐 주기를 기대한다. 이 측정이 흔드는 것이 바로 그 기대다. 회사를 섞어 놓아도 그 모델들이 비슷하게 유능하다면, 적어도 이 실험에서는 겹침이 줄지 않았다. 벤더 다변화가 쓸모없다는 말은 아니다. 계약·가격·가용성 위험은 실제로 나뉜다. 다만 행동이 같은 방향으로 틀리는 위험은 다른 축에서 관리해야 한다.

그 다른 축이 어디인지는 논문의 가설이 가리키는 곳에 있다. 모델들이 닮는 이유로 저자들이 든 것은 겹치는 학습 데이터와 사람 선호에 맞추는 공통된 조정 과정이었다. 그렇다면 아래쪽에서 갈라져 있지 않은 것을 위쪽에서 섞어 봐야 소용이 적다. 저자들의 제언도 모델을 더 사라는 쪽이 아니라 행동 다양성을 겨냥한 학습, 입력에 변화를 주는 설계, 모델 출처 공개를 요구하는 제도로 간다. 그리고 하나를 더 인정한다. 개별 배포자는 각자 가장 유능한 모델을 쓸 유인이 있지만 전체 후생은 더 이질적인 모집단에서 나오므로, 한 회사가 혼자 풀 수 없는 조정의 문제가 남는다는 것이다.

제언 가운데 측정에 관한 것이 하나 더 있다. 논문은 개별 모델 평가와 나란히 모집단 수준의 상관 감사가 필요하다고 적고, 금융 규제 당국이 기관별 건전성과 함께 기관 사이에 걸친 노출을 들여다보는 방식을 본보기로 든다. 은행이 하나씩 보면 멀쩡해도 전부 같은 자산을 쥐고 있으면 그 쏠림은 따로 세어야 한다. 모델 모집단도 그렇게 보자는 제안이다.

데이터를 다루는 팀이 당장 셀 수 있는 것도 있다. 4절의 두 실험이 갈린 지점은 모델이 아니라 모델에게 들어간 정보였다. 같은 오정보 환경을 함께 보는 에이전트가 늘어날수록 그 오정보는 상쇄되지 않고 증폭된다. 그래서 물어볼 것이 셋 남는다.

• 우리 에이전트들이 보는 입력은 몇 갈래인가. 모델을 셋 붙여 놓고 셋 모두에게 같은 검색 색인, 같은 뉴스 피드, 같은 사내 문서 묶음을 물려 주고 있지는 않은가.
• 그 입력에 오염이 들어왔을 때 누가 먼저 알아채는가. 모든 에이전트가 같은 출처를 믿고 있으면 서로가 서로의 검증자가 되지 못한다.
• 우리는 모델의 평균 정확도만 보고 있는가, 아니면 모델들이 같은 자리에서 같은 쪽으로 틀리는 빈도도 보고 있는가. 뒤의 것은 모델 하나를 평가해서는 보이지 않는다.

학술 논문

• 1.Ross, J., So, E., De Simone, Z., Pozniak, C., Lo, A. W. (2026). "Why Better Models Can Create Riskier Systems: Evidence from LLM Agents in Financial Markets." arXiv:2609.04373.
• 2.Jiang, Y., Zou, J., Jiang, R., Lin, Z., Yu, X., Huang, Q., Jia, S., Dai, S. (2026). "Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalized Financial Agents." arXiv:2608.06108.
• 3.Liu, Q., Song, R., Ye, S. (2026). "The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure." arXiv:2605.17480.

리뷰·비평

• 4.Pith.science. (2026). "Why Better Models Can Create Riskier Systems — Review."