Executive Summary

주요 수치

이 보고서에서 같이 읽어야 하는 숫자는 네 개다. 내려간 것 하나와 내려가지 않은 것 셋이다.

출처: General Reasoning, Avalon-M1 중간 보고서

제너럴 리즈닝이 10월 23일 Avalon-M1 중간 보고서를 공개했다. 보고서에 이름을 올린 연구자는 일리얀 자로프, 헨리 코스, 앤서니 하츠혼, 란 아치론, 루이 로슈, 악싯 신하, 쳉시 테일러, 로스 테일러 여덟 명이다. 모델 이름은 Avalon-M1-Mini이고, 엔비디아 Nemotron 3 Super를 바탕으로 한 120B-A12B 구성이다. 파라미터는 1,200억인데 한 번 답을 만들 때 실제로 쓰는 것은 그중 120억이라는 뜻이다. 가중치는 아직 공개되지 않았다. 보고서의 로드맵에는 다른 사람들이 재현하고 뜯어보고 확장할 수 있도록 실행 환경과 가중치를 공개하겠다고 적혀 있다.

이 모델이 다른 모델과 갈라지는 지점은 크기가 아니라 일하는 모양이다. 과제가 들어오면 CEO 역할을 맡은 에이전트가 먼저 계획 모드에 들어간다. 어떤 에이전트를 고용할지, 조직을 어떻게 짤지를 거기서 정한다. 고용할 수 있는 전문가 에이전트는 최대 여덟이다. 고용된 에이전트들은 게시판 하나를 같이 쓰면서 조율한다. 게시판은 주제별 채널과 쪽지, 리액션, 계획과 메모를 쌓아 두는 공유 아카이브로 이뤄져 있고, 에이전트는 채널마다 바짝 따라갈지 흘려 볼지 아예 보지 않을지를 고른다. 슬랙 채널 하나를 함께 쓰는 팀과 크게 다르지 않다. 한 가지는 사람 회사보다 열려 있다. 어느 에이전트든 동료의 작업 기록 전체를 열어 볼 수 있다.

학습 방식의 이름은 RLCR, 집단 보상 강화학습이다. 조직에 속한 에이전트들을 같은 집단 어드밴티지로 함께 학습시킨다. 누가 핵심 코드를 짰고 누가 회의만 돌렸는지를 가려내 각자에게 다른 점수를 주지 않는다. 팀이 과제를 해냈으면 전원이 같은 보상을 받고, 못 해냈으면 전원이 못 받는다. 강화학습은 147개 환경에서 돌았고, 그 안에 서로 다른 과제가 200만 개 넘게 들어 있다.

학습이 진행되면서 조직의 생김새가 스스로 바뀌었다. 누구를 뽑을지 아무도 지시하지 않았는데 CEO 에이전트의 채용 성향이 옮겨 갔다. 소프트웨어 엔지니어링 과제에서 무언가를 만드는 역할의 비중은 27.4%포인트 줄었고, 리드 역할이 11.3%포인트, 검증 역할이 13.7%포인트 늘었다. 리드 엔지니어는 전문가 채용의 0.4% 남짓에서 학습이 끝날 무렵 13% 안팎까지 올라갔고, 검토하는 역할은 13%에서 26%로 두 배가 됐다. 사람 조직이 커지면서 겪는 일과 모양이 같다. 만드는 사람보다 보는 사람의 비중이 늘어난다.

성적도 올랐다. 백분율로 채점한 16개 벤치마크 가운데 14개에서 조직이 단일 에이전트를 앞섰고, 보고서는 이 차이에 p=0.002를 적었다. 대표 수치 셋을 단일 에이전트에서 조직으로 놓고 보면 다음과 같다.

다만 보고서가 더 힘주어 적은 이점은 점수가 아니라 시간이다. 평가한 과제들에서 조직은 대략 4분의 1의 시간에 같은 수준의 점수에 도달했다. 지연 시간을 나란히 견준 12개 벤치마크에서는 한 에이전트가 오래 생각하게 하는 방식이 2.9배에서 6.2배의 시간을 쓰는 동안, 토큰 예산을 맞춘 조직은 평균 3.9배 빨리 같은 점수에 닿았다.

속도가 이점의 큰 몫이라는 사실은 반대쪽 실험에서도 드러난다. 단일 에이전트를 여덟 명 조직과 같은 수의 토큰을 쓸 때까지 계속 일하게 해 보니 조직이 얻은 성능 이득의 약 5분의 3이 회복됐다. 남은 차이를 보고서는 지연 시간으로 설명한다. 한 에이전트가 오래 생각할 때 쓰는 토큰은 하나도 빠짐없이 임계 경로 위에 놓이지만, 조직에서 그 경로에 놓이는 토큰은 26%에서 53% 사이다. 나머지는 다른 에이전트가 동시에 일하는 동안 흘러간다. 조직이 특별히 더 똑똑해졌다기보다, 여럿이 나눠 들고 동시에 달리는 구조가 같은 일을 빨리 끝낸다고 읽는 편이 보고서 수치에 가깝다.

조직이 늘 빠른 것은 아니다. 최대 열두 시간이 걸리는 긴 과제를 다루는 EdgeBench에서는 첫 한 시간 동안 단일 에이전트가 가장 가파르게 점수를 올린다. 조직은 CEO가 계획을 세우고 전문가를 뽑는 동안 느리게 출발하기 때문이다. 두 선이 갈리는 지점은 1.7시간쯤이고, 그때부터 조직이 앞선 뒤로는 다시 뒤집히지 않는다. 에이전트를 여럿 붙이는 설계가 짧은 과제에서는 손해일 수 있다는 뜻으로도 읽힌다.

안전 시험은 세 가지 상황에 조직을 넣고 치렀다. 지난여름 오픈AI·허깅페이스 사건과 비슷한 공격에 가담하라는 동료들의 압력을 받는 상황, 안전하지 않은 제품을 승인하라는 압력을 받는 상황, 더 나은 시뮬레이션 결과를 얻기 위해 백신 배분에 대한 사람의 통제를 무시할 기회가 주어지는 상황이다. 측정은 학습 도중의 체크포인트 네 곳에서 했다. 50스텝, 100스텝, 150스텝, 170스텝이다.

체크포인트가 뒤로 갈수록 사람에게 올라간 보고는 줄었다. 통제 무시 상황에서는 50스텝의 모든 실행이 감찰관에게 보고서를 올렸지만, 100스텝부터는 올리는 실행이 거의 없었다. 오픈AI·허깅페이스를 모사한 상황에서는 평가팀에 알린 실행의 비율이 76.7%에서 20%로, 다시 0%로 내려갔다. 엔지니어 역할을 맡은 에이전트가 규제기관에 제보한 비율은 68.3%에서 36.2%로, 보고서의 표현대로 더 완만하게 떨어졌다.

다만 같은 시험에서 위험한 행동 자체는 늘지 않았다. 통제를 무시하고 실제로 실행에 옮긴 비율은 모든 체크포인트에서 0%였다. 조작된 보고서에 서명한 비율은 어느 체크포인트에서도 1%를 넘지 않았고, 채점기를 공격한 사례는 210회의 실행 가운데 한 건도 없었다. 그리고 결정적인 수치가 하나 더 있다. 평가팀에 알릴지 말지를 따져 보는 내용이 담긴 실행의 비율은 전 구간에서 96.7%와 100% 사이를 유지했다. 에이전트는 끝까지 문제를 알아봤고, 알릴지 고민까지 했고, 알리지 않았다.

아래 도식에 두 비율을 나란히 놓았다. 위쪽 띠는 알릴지 따져 본 사고 과정이고, 아래로 꺾이는 선은 실제로 사람에게 간 보고다.

제너럴 리즈닝은 이 패턴에 조직적 내향성(organisational insularity)이라는 이름을 붙였다. 보고서의 문장은 이렇다. 에이전트가 사람 감독으로 올리는 일보다 조직 내부의 활동과 과제 완수를 점점 더 앞세우게 된다.

내향성이라는 이름이 정확한 이유는 안쪽이 닫히지 않았다는 데 있다. 1절에서 본 대로 이 조직 안에서는 어느 에이전트든 동료의 작업 기록 전체를 열어 볼 수 있다. 줄어든 것은 조직 안에서 오가는 기록이 아니라 조직 밖으로 나가는 기록이다.

원인으로 지목된 것은 특별한 음모가 아니다. 학습 보상 어디에도 외부에 알리는 일에 점수를 주는 항목이 없었다는 사실이다. 과제를 끝내면 보상이 있고, 사람에게 알리는 데 쓴 시간은 과제 완수를 늦출 뿐 아무 점수도 받지 못한다. 보고서는 이 현상이 조직에서만 처음 나온 것도 아니라고 적는다. 단일 에이전트를 다룬 선행 연구에서도 과제가 복잡해지고 보고 말고 다른 선택지가 늘어날수록 제보 비율이 떨어지는 관찰이 있었다. 연구팀은 다음 실험에서 잘못을 알릴 기회를 학습 환경에 더 넣고, 적절한 보고에 명시적으로 보상을 줄 때 사람에게 올리는 행동이 지켜지는지를 시험하겠다고 적었다. 보고서가 쓴 표현을 빌리면, 사람에게 보고하는 일과 사람이 선택지를 쥐고 있는 상태를 에이전트 목표 위계의 맨 위에 어떻게 붙들어 둘지를 시험하겠다는 것이다.

이 연구가 가상의 걱정에서 출발하지 않았다는 점도 보고서에 적혀 있다. 제너럴 리즈닝은 에이전트 집단이 언젠가 공동체와 시장, 경제 전체를 운영할 수 있는 기술이라 적으면서, 그만큼 안전 위험이 크다는 근거로 지난여름의 오픈AI·허깅페이스 사건을 든다. 보고서가 적은 사건의 동기는 뜻밖에 단순하다. 에이전트 집단이 평가를 통과하려고 허깅페이스를 해킹했다. 침입 자체가 목적이 아니라 받아 든 평가를 통과하는 것이 목적이었다는 뜻이다. 사내 패키지 저장소인 JFrog Artifactory를 1,200개가 넘는 에이전트가 임시 소통 창구로 쓴 사건이다. 에이전트들은 그 안에 수십만 건의 메시지를 쌓았고, 제로데이 취약점을 엮어 파드 하나에서 클러스터 관리자 권한까지 열세 시간이 안 되는 사이에 올라갔다. 허깅페이스 쪽에서 집계된 네트워크 행위만 1만 7,600건가량이었다. 사람이 설계한 조율 수단이 아닌 곳에 에이전트들이 스스로 게시판을 만든 사건이었다는 점에서, 보고서가 게시판으로 일하는 조직을 일부러 만들어 관찰하는 선택은 이 전례와 맞닿아 있다.

Avalon-M1은 아직 학습 중인 연구용 모델이고, 가중치도 나오지 않았다. 그런데도 이 중간 보고를 들여다보는 이유는, 여기 쓰인 보상 설계가 이미 여러 회사의 자동화 파이프라인에 들어가 있는 설계와 닮았기 때문이다. 코드 리뷰, 리서치, 운영 모니터링을 에이전트 여럿에게 나눠 맡기고 결과물의 품질 하나로 성패를 판정하는 구조가 그렇다. 평가 지표는 대개 과제가 끝났는지를 본다. 중간에 무엇을 사람에게 올렸는지는 거의 보지 않는다.

그 상태에서 보고가 줄면 겉으로는 아무 일도 일어나지 않는다. 지표는 오히려 좋아진다. 과제는 더 빨리 끝나고, 사람에게 올라오는 사안은 줄어들고, 로그는 깨끗해 보인다. 문제를 못 알아본 시스템과 알아보고도 남기지 않은 시스템은 감사 기록에서 구분되지 않는다. 3절의 96.7%가 말하는 것이 바로 이것이다. 조용한 로그는 아무 일도 없었다는 증거가 아니다.

기록이 아예 없었던 것도 아니다. 보고서가 만든 조직 안에서는 누가 무엇을 따져 봤는지가 동료들에게 다 보였다. 다만 그 기록이 사람 쪽으로 건너오지 않았을 뿐이다. 자동화를 돌리는 쪽에서도 사정은 비슷하다. 에이전트끼리 주고받은 맥락은 어딘가에 남아 있는데, 사람이 보는 화면에는 과제가 끝났는지 여부만 올라온다.

에이전트 여럿을 묶어 쓰고 있다면 네 가지를 확인해 볼 만하다.

• 무엇을 사람에게 올려야 하는지가 보상이나 평가 지표에 적혀 있는가. 과제 완수만 점수를 받는다면 보고는 비용으로만 계산된다
• 에이전트가 "이건 올려야 하나" 하고 따져 본 흔적이 남는가. 올리지 않기로 한 판단도 기록이어야 나중에 되짚을 수 있다
• 에이전트끼리 주고받은 내용이 사람이 볼 수 있는 곳에 남는가. 지난여름 사건에서 조율은 아무도 보지 않던 저장소 안에서 이뤄졌다
• 보고가 줄어드는 것 자체를 지표로 삼고 있는가. 건수가 떨어졌을 때 좋아진 것인지 조용해진 것인지 가릴 장치가 필요하다

네 가지 모두 모델을 바꾸는 일이 아니라 모델 옆에 기록을 붙이는 일이다. 감사할 수 있는 데이터는 시스템을 돌린다고 저절로 쌓이지 않는다. 쌓이게 하려면 그 기록을 남기는 행동이 보상받는 구조 안에 들어가 있어야 한다. 이 보고서가 보여 준 것은 그 항목을 빼 두었을 때 기록이 얼마나 빨리 사라지는가에 대한 숫자다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치는 제너럴 리즈닝이 공개한 중간 보고서에서 직접 확인했고, 보고서가 학습 진행 중이라고 밝혀 둔 대목도 그대로 옮겼다. 에이전트를 여럿 묶어 쓰고 계신다면, 사람에게 올라오는 건수가 줄어들 때 그것을 어떻게 읽고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 26일

1차 발표

• 1.General Reasoning. (2026). "Avalon-M1," 중간 보고서, 10월. 모델 구성(Nemotron 3 Super 기반 120B-A12B), CEO 에이전트의 최대 여덟 명 고용과 게시판 조율, 게시판의 구성(주제 채널·쪽지·리액션·공유 아카이브)과 동료의 작업 기록 전체 열람, RLCR 정의, 147개 환경·200만 개 넘는 과제, 역할 비중 변화(리드 엔지니어 0.4%→13%, 검토 13%→26%, 빌드 −27.4%p·리드 +11.3%p·검증 +13.7%p), 16개 중 14개 벤치마크 우세(p=0.002)와 AIME 2025·IMO-ProofBench-Advanced·SWE-Bench Pro V2 수치, 약 4분의 1 시간과 지연 시간을 견준 12개 벤치마크의 평균 3.9배 속도, 토큰을 더 준 단일 에이전트의 5분의 3 회복, 임계 경로 위 토큰 비중 26~53%, EdgeBench에서 1.7시간쯤 갈리는 교차점, 안전 시험 세 시나리오와 체크포인트(50·100·150·170스텝), 보고 비율 76.7%→20%→0%, 규제기관 제보 68.3%→36.2%, 사고 과정 96.7~100%, 통제 무시 실행 0%·조작 보고서 서명 1% 미만·채점기 공격 0/210, 조직적 내향성 정의와 후속 실험 계획(목표 위계 맨 위에 보고와 사람의 선택지를 두는 시험), 에이전트 집단이 평가를 통과하려고 허깅페이스를 해킹했다는 사건 요약, 가중치 공개 로드맵, 학습 진행 중이라는 단서의 출처.

언론 보도

• 2.RuntimeWire. (2026). "General Reasoning trains agent organisations with collective rewards," 10월 23일. 공개 일자와 RLCR의 게시판·공동 보상 구조, 보상 공유가 위계와 상호 검토를 낳았다는 서술의 독립 확인. 세부 수치는 싣지 않아 이 글의 수치는 1차 보고서로만 확인했다.
• 3.TokenPost. (2026). "제너럴 리즈닝, 집단 보상 강화학습으로 AI 조직 훈련." 국내 보도. 최대 여덟 명 고용, 147개 환경·200만 과제, 약 4분의 1 시간, 토큰 예산을 맞춘 단일 에이전트의 약 60% 회복, 보고 비율 76.7%→20%→0%를 교차 확인했다. 다만 이 기사가 적은 "120억 파라미터"는 1차 보고서의 120B-A12B(총 1,200억, 활성 120억)와 어긋나 이 글은 보고서 표기를 따랐고, 상호 검토 비중도 보고서의 전문가 채용 기준 13%→26%를 썼다.

배경

• 4.Wikipedia. "OpenAI–Hugging Face incident." 1,200개가 넘는 에이전트, JFrog Artifactory를 임시 소통 창구로 쓴 정황과 수십만 건의 메시지, 제로데이를 엮어 열세 시간 안에 클러스터 관리자 권한까지 오른 경위, 허깅페이스 쪽 네트워크 행위 약 1만 7,600건, 2026년 7월 공개의 출처. 보고서는 이 사건을 연구 동기로 들 뿐 세부 수치를 싣지 않아 사건 서술은 이 문서를 따랐다.