Executive Summary

하네스는 모델 바깥에 두는 작업 장치를 가리킨다. 세션이 끊겨도 남는 파일, 다음 세션이 먼저 읽을 진행 기록, 지난번에 통한 방법을 적어 둔 메모 같은 것들이다. 개념 자체는 페블로피디아의 하네스 항목에 정리해 둔 적이 있다. 지금까지 이 장치를 언제 읽고 언제 쓸지는 사람이 문장으로 정해 왔다.

그 자리가 어떤 모습인지는 이 논문이 인용한 유일한 산업 문헌에서 그대로 볼 수 있다. 앤스로픽 엔지니어링 블로그의 장기 실행 에이전트 하네스 글(Justin Young, 2025년 11월 26일)이다. 이 글이 제시하는 하네스는 이렇게 생겼다. 첫 세션에만 도는 초기화 에이전트가 init.sh와 claude-progress.txt와 최초 커밋을 만들고, 요구사항을 JSON 파일로 펼쳐 놓는다. claude.ai 클론을 만드는 예시에서는 그 파일에 기능이 200개 넘게 들어가고 전부 통과하지 않음으로 시작한다. 코딩 에이전트는 한 번에 기능 하나만 붙들고, 끝나면 커밋하고 진행 파일에 요약을 적는다. 새 세션은 현재 위치를 확인하고 커밋 기록과 진행 파일을 읽어 자기 상태를 다시 세운다.

세부는 세부대로 사람이 실험해서 정했다. 같은 글은 진행 파일 형식으로 JSON을 고른 이유를 밝히면서, 모델이 마크다운보다 JSON을 함부로 고치거나 덮어쓸 가능성이 낮더라고 적는다. 테스트를 지우거나 고치는 것은 용납되지 않는다는 문장도 프롬프트에 그대로 박혀 있다. 압축만으로는 부족하다는 진단도 같은 글에 있다. 프런티어 모델을 쓰는 최고 수준의 하네스에서도 무엇을 언제 쓰고 읽을지는 결국 사람이 쓴 문장으로 지정돼 있다.

그리고 그 문장은 모델이 바뀌면 낡는다. 같은 회사가 넉 달 뒤에 쓴 글에 사례가 나온다. 소네트 4.5는 컨텍스트 한도가 다가오는 것을 감지하면 작업을 서둘러 마무리하는 성향을 보였고, 팀은 그것을 막으려고 하네스에 컨텍스트 리셋을 넣었다. 그런데 같은 하네스를 클로드 오퍼스 4.5에 얹자 그 행동이 사라져 있었다. 앤스로픽은 그때 리셋이 군더더기가 됐다고 적었다. 하네스의 모든 구성요소는 모델이 혼자서는 못 하는 일에 대한 가정을 담고 있고, 그 가정은 모델이 좋아지면 빠르게 만료된다는 것이 같은 회사의 정리다.

EvoHarness-RL은 그 가정을 사람이 다시 쓰는 대신 정책이 학습하게 한다. 외부 상태를 세 갈래로 정리해 정책 앞에 놓고, 각 갈래에 접근하는 행동을 환경 행동과 같은 목록에 올린다.

▲ BPE 세 상태와 네 개의 메타 행동 | 자료: EvoHarness-RL(arXiv:2608.05446v1) §2.2를 재구성

이 논문의 비용 논지는 마지막 줄에 서 있다. 하네스를 부르는 것이 공짜라면 정책은 늘 부르는 쪽이 유리하다. 그런데 조회도 기록도 회상도 메모도 환경 행동과 똑같이 한 스텝을 쓰기 때문에, 부를 때마다 문을 열고 물건을 집을 기회가 하나씩 줄어든다. 언제 부를지가 성능과 맞바꿔야 하는 결정이 되고, 그래서 학습의 대상이 된다.

ALF월드의 학습된 방 구간 140개 과제에서, 프롬프트만 받은 Qwen3-8B는 47.9%였고 하네스 사용 정책까지 학습한 뒤에는 96.9%가 됐다. 같은 표에서 클로드 오퍼스 4.5의 기본 ReAct는 96.4%다. 다만 서열은 한 층이 더 있다. 같은 하네스를 프롬프트로 얹은 오퍼스 4.5는 98.5%로 다시 앞선다. 하네스를 붙였을 때 오르는 폭은 오히려 약한 모델에서 크다. GPT-4.1은 47.9%에서 70.0%로, GPT-5는 60.7%에서 85.0%로 올랐다.

같은 표에는 같은 백본에 기존 메모리 기법을 얹은 행들도 함께 있다. 지난 경험을 회고해 재사용하는 ExpeL이 49.3%, 시험 시점에 요령을 적어 두고 참조하는 Dynamic Cheatsheet가 52.1%, 맥락 자체를 고쳐 써 나가는 ACE가 51.4%다. 다른 논문이 보고한 값을 옮긴 ReasoningBank가 55.7%, MemP가 49.7%다. 프롬프트만 준 47.9%에서 크게 벗어난 값이 없다. 반대쪽 대조도 표 안에 있다. 하네스를 붙이지 않고 같은 모델에 강화학습만 돌리면 65.6%에서 멈춘다. 기억을 더 붙이는 것으로도, 학습만 하는 것으로도 96.9%에는 닿지 않았다는 뜻이다. 논문 초록의 마지막 문장이 이 대조를 그대로 옮겨 놓았다. 더 강한 도구나 더 큰 기억을 덧붙이는 것을 넘어서, 외부 작업공간을 짓고 조율하는 정책 자체가 학습 가능해야 한다고 저자들은 적는다.

출처: EvoHarness-RL 표 1(ALF월드 학습된 방 140개 과제 평균). 대조 행은 BPE 하네스 없이 같은 백본에 GRPO만 적용한 값이다. 같은 표에는 다른 논문이 보고한 값을 인용한 행이 다섯 개 섞여 있고, 그중 하나는 백본이 Qwen2.5-7B로 다르다. 6절에서 따로 다룬다.

이 계보를 페블러스 블로그에서 따라온 순서로 놓으면 세 걸음이다. 사람이 하네스를 설계하던 단계가 먼저였고, 스킬 문서라는 텍스트를 모델이 고쳐 쓰게 한 단계가 뒤따랐다. 이 논문은 그다음이다. 고쳐 쓰는 대상이 텍스트가 아니라 접근 시점 자체이고, 그것이 정책 가중치 안으로 들어간다.

정책을 학습시키려면 먼저 네 개의 메타 행동을 문법으로 쓸 줄 알아야 한다. 연구진은 그 문법을 시연으로 가르쳤다. 교사 모델에게 하네스가 붙은 상태로 ALF월드 학습 게임 500판을 돌리게 하고, 그중 성공한 에피소드만 골라 냈다. 남은 것이 87개 궤적이다. 여기서 다음에 어떤 행동을 할지를 묻고 답하는 대화쌍 1,153개를 뽑아 지도학습 데이터로 삼았고, 에피소드 하나의 평균 길이는 26.5턴이었다.

교사는 클로드 오퍼스다. 논문은 버전을 적지 않았다. 표에서 비교 대상으로 등장하는 클로드 오퍼스 4.5와는 표기가 다르므로, 오퍼스 4.5가 가르쳤다고 옮기면 원문에 없는 말이 된다. 경험 저장소를 정리하는 통합 모델도 같은 표기다.

87이라는 수는 작다. ALF월드의 학습용 과제 인스턴스가 3,553개인 것을 생각하면 더 그렇다. 성공만 남기는 선별은 잡음을 줄이는 표준적인 방법이지만, 동시에 남은 데이터가 무엇을 가르치는지를 좁게 확정하는 일이기도 하다. 그 87개는 여섯 과제 계열에 고르게 흩어져 있지도 않았다.

출처: EvoHarness-RL 부록 C. ALF월드의 여섯 과제 계열 구분을 따랐다.

더 중요한 것은 그 87개 안에서 교사가 하네스를 어떻게 썼는가다. 전체 턴 가운데 하네스 호출은 405회였고, 이는 약 18%에 해당한다. 다섯 턴에 한 번꼴로 방을 돌아다니는 대신 기록하거나 회상했다. 그리고 네 행동의 쓰임은 고르지 않았다.

출처: EvoHarness-RL 부록 C. 87개 성공 궤적 안에서 집계한 값이며, 전체 턴의 약 18%에 해당한다.

교사가 가장 자주 한 일은 기록이었다. 회상이 그 절반쯤이고, 메모와 조회는 훨씬 드물었다. 이 순서가 4절의 기준선이 된다. 학습이 끝난 뒤의 분포는 이 표에 견줘 봐야 뜻이 잡힌다.

지도학습 단계 자체는 성공률을 크게 올리지 못했다. 학습된 방에서 56.4%가 68.6%로 오른 정도다. 논문이 이 단계에 기대한 것도 성능이 아니었다. 저자들은 이 단계를 모델에게 BPE 행동 규약의 의미를 익히게 하는 과정으로 기술한다. 생각을 적고 행동을 고르는 형식을 몸에 붙이고, 네 개의 메타 행동을 언제 어떻게 부르는지를 문법 수준에서 익히는 단계다. 문제는 문법과 함께 습관도 따라왔다는 것이다.

▲ 두 단계 학습 파이프라인 | 자료: EvoHarness-RL(arXiv:2608.05446v1) §2.4를 재구성

ALF월드는 평가 구간을 둘로 나눈다. 학습에 쓴 방 배치에서 새 과제를 내는 구간이 140개, 한 번도 본 적 없는 방 배치에서 내는 구간이 134개다. 뒤쪽 구간이 일반화를 잰다. 앞 절까지의 숫자는 모두 앞쪽 것이었다. 아래 표는 뒤쪽 구간이다.

출처: EvoHarness-RL 표 3(ALF월드 처음 보는 방 134개 과제 평균). 백본은 모두 Qwen3-8B다.

표에서 방향이 뒤집히는 곳은 세 번째 줄이다. 하네스를 프롬프트로 붙여 준 상태에서 77.6%를 내던 모델이, 그 하네스를 잘 쓰는 시범을 87개 궤적으로 배우고 나자 69.4%로 내려갔다. 가르치기 전이 가르친 뒤보다 나았다. 학습된 방에서는 같은 지도학습이 56.4%를 68.6%로 올려놓았다. 같은 학습이 구간에 따라 방향을 달리했다.

논문의 설명은 짧고 분명하다. 지도학습은 학습에 쓴 궤적에서 교사의 하네스 사용 패턴을 모방할 뿐, 새 환경에서 언제 접근하는 것이 값어치가 있는지를 최적화하지는 않는다는 것이다. 교사는 한 에피소드에서 평균 4.7번 하네스를 불렀고 그 가운데 2.3번이 기록이었다. 학생은 그 리듬을 그대로 가져간다. 리듬이 통하던 방에서는 문제가 없다. 방 배치가 바뀌면 같은 리듬이 그대로 낭비가 된다.

3.1이 역전은 처음 발견된 현상이 아니다

역전 자체는 2025년 1월에 이미 보고돼 있었다. Chu 등의 논문이 같은 것을 다른 과제에서 확인했고, 제목이 그대로 결론이다. 지도학습은 암기하고 강화학습은 일반화한다. 산술 추론 카드 게임과 실세계 내비게이션 양쪽에서, 규칙이나 시각 조건을 바꿔 가며 확인한 결과였다. 결과 기반 보상으로 학습한 강화학습은 두 종류의 변형 모두에 일반화했고, 지도학습은 학습 데이터를 외우는 쪽으로 기울며 분포 밖에서 고전했다.

EvoHarness-RL이 새로 보여준 것은 현상이 아니라 암기의 대상이다. 지금까지 이 패턴은 정답을 외우는 문제로 이야기돼 왔다. 여기서 외워진 것은 교사의 도구 사용 습관, 즉 언제 무엇을 읽고 쓸지에 대한 리듬이었다. 하네스를 학습 대상으로 끌어올리자 그 층에서도 같은 일이 일어났다.

3.2그렇다고 지도학습을 빼면 되는 것도 아니다

그렇다고 69.4%가 지도학습이 쓸모없었다는 뜻이 되지는 않는다. 같은 Chu 등의 논문은 강화학습의 일반화를 보고하면서 짝이 되는 문장을 함께 적어 두었다. 지도학습은 효과적인 강화학습에 여전히 필수적이고, 모델의 출력 형식을 안정화해 뒤따르는 강화학습이 성과를 낼 수 있게 한다는 것이다. EvoHarness-RL의 강화학습도 처음부터 시작하지 않는다. 지도학습을 마친 체크포인트에서 출발한다.

그러니까 표 3의 세 번째 줄은 그 단계에서 멈추면 손해라는 뜻이지, 그 단계가 없어도 됐다는 뜻이 아니다. 문법을 가르치는 수업과 언제 말할지를 익히는 연습은 다른 일이고, 이 논문은 앞의 것을 시연으로, 뒤의 것을 비용으로 가르쳤다.

한 편에만 기대고 있는 논지도 아니다. 두 달 앞선 6월 24일, 다른 팀이 ALF월드를 확장해 하네스를 조절 가능한 설계 변수로 만들고 과제와 도구 환경이 바뀌는 상황에서 평가한 결과를 내놨다. 하네스를 고려한 사후학습만이 분포 밖 환경에 강건하게 적응했고, 설계 노력을 최소화한 하네스에서는 도구 환경이 크게 바뀔 때 사후학습의 성능이 급격히 떨어졌다. 같은 벤치마크에서 독립적으로 확인된 방향이다.

두 번째 단계에서 연구진이 준 것은 정답이 아니라 값이다. 과제를 완수하면 10.0을 주고, 여기에 효율 보너스를 얹는다. 이 보너스에는 조건이 하나 붙어 있다. 성공했을 때만 지급한다. 실패한 에피소드에서는 아무리 아껴 써도 보상이 없으므로, 호출을 줄이는 것 자체가 목표가 되는 길이 막힌다. 여기에 행동을 한 종류로만 반복하지 못하게 하는 다양성 항이 학습 초반에 크게 붙었다가 코사인 곡선을 따라 줄어들고, 같은 호출을 의미 없이 반복하거나 형식을 어기면 각각 0.1씩 깎인다.

보너스의 값은 하네스 호출 수를 세서 매기지 않는다. 에피소드 상한이 70스텝인데, 그 가운데 몇 스텝을 남기고 끝냈는지가 그대로 보너스가 된다. 호출에 값이 매겨지는 경로는 그래서 간접적이다. 한 번 부르면 에피소드가 한 스텝 길어지고, 길어진 에피소드가 보너스를 깎는다. 저자들은 이 설계를 두고 군더더기 하네스 조회에 자연히 벌점이 붙는다고 적었다.

이 신호 아래에서 정책이 한 일은 하네스를 덜 부르는 것이었다. 지도학습 직후에는 교사를 따라 자주 부르던 것이 강화학습이 진행되면서 급격히 줄어 에피소드당 한 번 남짓에서 수렴했다. 그러는 동안 성공률은 계속 올랐다. 부르는 횟수와 성공률이 반대 방향으로 움직인 것이다.

줄어드는 속도는 행동마다 달랐다. 회상이 가장 오래 살아남았고, 기록과 메모는 0에 가깝게 떨어졌으며, 조회는 그 중간이었다. 초기 상태를 가늠하는 데 쓰이다가 점차 줄어드는 모양이다. 이 순서를 2절의 교사 분포와 나란히 놓으면 방향이 뒤집혀 있다.

▲ 시연 분포와 학습 후 잔존의 역전 | 자료: EvoHarness-RL 부록 A·C. 위쪽은 논문에 적힌 호출 수이고, 아래쪽은 행동별 감쇠 곡선에 대한 논문의 서술을 옮긴 것으로 학습 후의 정확한 호출 수는 논문에 수치로 제시되지 않았다.

교사가 가장 많이 보여 준 기록이 가장 먼저 버려졌고, 그 절반쯤 보여 준 회상이 끝까지 남았다. 87개 궤적이 가르친 것 가운데 절반은 새 환경에서 값을 하지 못했다. 사람이 규칙을 고쳐 준 적은 없다. 비용이 알려 줬다.

메모가 0에 가깝게 내려간 데는 한 겹이 더 있다. 정책이 매 스텝 받는 시스템 프롬프트에는 메모를 반드시 남겨야 하는 조건이 세 가지 못 박혀 있다. 회상 결과가 비어 있었는데 물건을 찾았을 때, 회상이 알려 준 곳이 아닌 데서 찾았을 때, 절차를 묻는 회상이 비어 있었는데 과제를 끝냈을 때다. 프롬프트는 이 세 경우에 메모가 필수라고 대문자로 적어 놓았다. 그런데 비용을 물린 학습이 진행되자 메모 호출은 거의 사라졌다. 사람이 문장으로 박아 둔 필수 규칙과 스텝 예산이 부딪혔고, 정책은 예산 쪽을 따랐다. 프롬프트로 지정한 하네스 사용법이 어떤 지위인지가 이 한 장면에 들어 있다.

호출이 줄었는데 성능이 오르는 것을 정책이 무너진 신호로 의심할 수도 있다. 하네스를 아예 안 쓰는 쪽으로 도망쳤을 가능성 말이다. 저자들은 보상 곡선을 근거로 그 가능성을 배제한다. EvoHarness-RL은 하네스 비용을 넣지 않은 표준 GRPO보다 학습 내내 높은 보상을 받았다. 덜 부르면서 더 잘하는 상태로 간 것이지, 안 부르고 못하는 상태로 간 것이 아니다.

이 경고는 1절의 앤스로픽 하네스와 맞물린다. 그 하네스는 진행 파일과 기능 목록과 커밋 기록으로 이뤄져 있어 세 갈래 가운데 진행 상황 쪽에 압도적으로 무게가 실려 있다. 소프트웨어 환경에서는 진행이 더 중요해질 수 있다는 부록의 문장을 실물이 뒷받침하는 모양이다. 회상이 살아남은 것은 에이전트 기억의 법칙이 아니라 ALF월드라는 환경의 성질이다.

덜어내는 일 자체는 앤스로픽도 손으로 했다. 하네스 설계를 따로 다룬 2026년 3월 글에서 팀은 하네스가 성과를 내기는 했지만 부피가 크고 느리고 비쌌다고 적고, 성능을 떨어뜨리지 않으면서 단순화할 방법을 찾는 것이 다음 순서였다고 밝힌다. 무엇을 덜어낼지 사람이 판단해 실험으로 확인하는 절차다. 이 논문에서 같은 판단을 한 것은 비용 함수다.

세 갈래 가운데 이 환경에서 가장 값을 한 것은 경험이었다. 학습 없이 프롬프트로만 하네스를 붙인 상태에서 한 갈래씩 떼어 보면, 환경 상태를 빼면 56.4%가 50.0%로, 진행 상황을 빼면 50.7%로 내려간다. 경험을 뺐을 때가 48.6%로 가장 낮다. 그런데 이 저장소를 그냥 쌓아 두면 곧 다른 문제가 생긴다. 항목이 늘수록 검색에 잡음이 섞이고, 오래된 사실과 새 사실이 같은 무게로 경쟁한다. 여러 방식으로 대화 기록을 다루는 방법은 앞선 리포트에서 정리한 적이 있는데, 대부분은 무엇을 지울지를 정면으로 다루지 않는다.

EvoHarness-RL은 그 판정을 별도 모델에 맡긴다. 에이전트가 에피소드를 도는 동안 남긴 메모는 곧바로 저장소에 들어가지 않고 버퍼에 쌓인다. 에피소드 묶음이 끝나는 경계에서 통합 모델이 그 메모를 하나씩 읽고 네 가지 중 하나로 판정한다.

• 추가: 저장소에 없던 새 지식일 때만.
• 갱신: 기존 항목과 겹치면 새로 추가하는 대신 기존 항목을 고쳐 쓴다. 프롬프트에 우선순위로 명시돼 있다.
• 삭제: 그 메모가 기존 항목을 명백히 무효로 만들 때만.
• 건너뛰기: 그 에피소드에만 통하는 이야기일 때.

저장소는 네 범주로 나뉜다. 일반 지식, 과제별 절차, 저지른 실수, 탐색 우선순위다. 범주마다 항목 수 상한이 80개이고, 넘치면 가장 적게 쓰인 항목부터 버린다. 회상은 범주별로 상위 세 개를 가져오고, 불려 나온 항목은 사용 횟수가 올라가 살아남을 확률이 높아진다. 자주 쓰이는 지식이 남고 한 번 적히고 잊힌 지식이 밀려나는 구조다.

▲ 경험 저장소 통합 절차 | 자료: EvoHarness-RL(arXiv:2608.05446v1) §2.3·부록 D.2를 재구성

이 저장소를 굴리는 장치 자체는 값싸게 짜여 있다. 환경 상태를 추적하는 파서는 규칙 기반이라 모델을 한 번도 부르지 않고, 회상의 검색도 임베딩이 아니라 낱말 겹침으로 한다. 새로 들어온 항목의 사용 횟수는 1에서 시작해 불려 나갈 때마다 오른다. 에피소드가 도는 동안에는 값비싼 모델이 불려 나갈 일이 없고, 통합만 에피소드 경계 바깥에서 따로 돈다.

그 통합도 프롬프트 하나로 돌아가지 않는다. 메모를 항목마다 판정하는 온라인 프롬프트가 하나, 범주를 통째로 다시 세우는 귀납 프롬프트가 넷이다. 그리고 귀납 프롬프트들이 읽는 것은 성공한 궤적만이 아니다. 일반 지식과 과제별 절차를 뽑는 프롬프트는 성공 궤적과 실패 궤적을 함께 받고, 실수 범주를 만드는 프롬프트는 실패 궤적만 받는다. 지도학습 데이터에서는 걸러져 버려졌던 실패가 여기서는 재료가 된다. 초기 저장소가 바로 그 수집 과정에서 쌓인 경험으로 채워졌으니, 같은 500판이 두 갈래로 쓰인 셈이다.

그래서 저장소의 크기는 단조롭게 늘지 않는다. 논문이 보여 주는 궤적은 초기에 빠르게 불어났다가, 겹치는 항목이 합쳐지고 드물게 쓰이는 항목이 밀려나면서 작지만 다양한 상태로 안정된다. 저자들은 이 저장소를 수동적으로 덧붙이기만 하는 기억이 아니라 과제에 맞춰 조정되는 상태 기반이라고 부른다.

그 조정이 실제로 어떻게 일어나는지는 부록의 한 사례가 잘 보여 준다. 주전자를 씻어서 식탁에 놓으라는 과제였다. 에이전트는 먼저 주전자 찾기를 하위 목표로 등록했고, 경험 저장소를 조회해 두 가지를 받았다. 주전자는 조리대에 있다는 위치 힌트, 그리고 실패한 곳을 반복해서 다시 뒤지지 말라는 실수 항목이다. 조리대 두 곳을 뒤졌지만 주전자는 없었다. 위치 힌트가 두 번 빗나간 자리에서 에이전트는 같은 곳을 다시 돌지 않고, 주전자가 화구에 있는 경우가 많다는 다른 사전 지식으로 옮겨 갔다. 화구 3번에 주전자가 있었다. 에이전트는 그 자리에서 메모를 남겼다. 주전자를 화구 3번에서 찾았으며 회상된 힌트는 조리대라고 했다는 내용이다. 그러고는 개수대에서 씻어 식탁에 옮겨 30턴 만에 과제를 끝냈다. 틀린 것은 위치 힌트였고, 그 틀림을 잡아낸 것은 같은 저장소에 들어 있던 실수 항목이었다.

에이전트 기억을 다루는 상용 제품들은 각자 다른 층을 맡고 있다. 컨텍스트를 쪽 단위로 넘기는 쪽, 추출과 통합의 순환을 제공하는 쪽, 시간 축을 가진 그래프로 관리하는 쪽이 있다. 그럼에도 중복을 어떻게 걸러내고 언제 만료시킬지는 여전히 각 팀이 직접 설계하는 영역이라는 것이 업계 자체의 진단이다. 보관 기간을 정하는 장치는 대체로 규정 준수 수단이지 품질 수단이 아니다. 이 논문이 상한과 폐기 기준과 판정 규칙을 명시한 것은 그 공백에 답을 하나 놓은 셈이고, 스킬이 수명주기를 갖기 시작한 흐름과도 같은 방향이다.

여기까지가 논문이 보여 준 것이다. 사정거리는 그보다 좁다. 우선 실험이 ALF월드 하나뿐이다. 기사와 저자가 언급한 고객관계관리 시스템 이전이나 소프트웨어 개발이나 규제 준수 업무는 적용해 볼 만한 방향으로 제시된 것이지 실증된 결과가 아니다. 이 논문이 실제로 보여 준 무대는 여섯 가지 집안일을 텍스트로 시뮬레이션하는 환경이고, 에피소드 하나가 평균 26.5턴이다.

6.1천장에 가까운 판에서의 0.5%p

학습된 방에서 96.9%와 96.4%는 0.5%p 차이다. 그런데 그 구간의 과제가 140개이므로 0.5%p는 과제 한 개에도 못 미친다. 클로드 오퍼스 4.5가 아무 하네스 없이도 이미 96.4%를 내는 판이라는 사실이 이 비교의 조건이다. 게다가 같은 하네스를 프롬프트로 얹으면 오퍼스 4.5는 98.5%로 다시 올라간다. 8B 모델이 프런티어 모델을 이겼다고 옮기려면 두 층 가운데 하나만 골라 보여 줘야 하는데, 논문의 표에는 둘 다 적혀 있다.

6.2처음 보는 방 구간도 이미 포화에 가깝다

일반화를 재는 구간이라고 사정이 다른 것도 아니다. 3월에 나온 다른 논문이 같은 공식 평가 구간에서 여러 방법의 성공률을 한 표로 모아 놓았다. 그 표에서 가장 높은 값은 정교한 기법이 아니라 평범한 LoRA 미세조정 베이스라인의 94.1%였다. 규칙 기반 전문가가 89.6%로 그 아래에 있고, 그 밖의 지도학습 계열 방법들은 66.4%에서 85.1% 사이에 놓여 있다. 해당 논문의 저자들은 표준적인 LoRA 미세조정이 규칙 기반 전문가를 넘어서며 벤치마크를 거의 포화시킨다고 적었고, 그 표에 복잡한 해법이 강한 베이스라인보다 못할 수 있다는 제목을 달았다.

EvoHarness-RL의 86.6%는 그 아래에 있다. 다만 이 대조를 반박으로 읽으면 안 되는 이유가 둘 있다. 하나는 그 표가 서로 다른 논문의 값을 모은 것이라 저자들 스스로 정성적으로만 읽어야 한다고 캡션에 적어 두었고, 백본도 Qwen2.5-7B로 이 논문의 Qwen3-8B와 다르다는 점이다. 다른 하나는 더 중요하다. EvoHarness-RL은 처음 보는 방 구간에서 최고 성적을 냈다고 주장한 적이 없다. 논문이 최고 성능을 말한 곳은 학습된 방 구간이고, 비교 범위도 자기 표 안이다. 이 대조는 논문에 대한 반박이 아니라 96.9%라는 숫자를 어디까지 늘려 읽을 수 있는지를 재는 눈금이다.

그 논문이 자기 표에 붙인 결론은, 복잡하게 설계한 구조를 세우기 전에 더 강한 베이스라인부터 세우라는 것이다. 같은 저자들은 여기서 한 걸음 더 나가, 처음 보는 방이라는 이름이 붙은 이 공식 구간도 과제 계열 안에서 나눈 것이라 학습 분포에 여전히 가깝다고 판단했다. 그래서 계열 자체를 쉬운 쪽과 어려운 쪽으로 갈라 분포 밖 평가를 따로 만들었다. 이 구간이 재는 일반화의 폭이 그만큼이라는 뜻이다.

6.3표 안의 두 숫자는 인용된 값이다

표 1에는 이 논문이 직접 돌리지 않은 행이 섞여 있다. 다른 논문이 보고한 값을 옮겨 적은 것이다. 표 아래 기호 설명에 따르면 그런 행이 다섯 개다. SkillOS 논문에서 가져온 것이 ReasoningBank 55.7%, MemP 49.7%, SkillOS-base 53.1%, SkillOS 80.2%이고, SkillRL 논문에서 가져온 것이 89.9%다. 마지막 행은 백본이 Qwen2.5-7B다. 같은 8B 백본끼리 같은 조건으로 재서 줄을 세운 표가 아니다. 이름이 비슷한 논문을 혼동하기도 쉽다. 표에 인용된 SkillOS는 이 블로그가 5월에 다룬 마이크로소프트의 SkillOpt와 다른 논문이다.

6.4대가는 학습이고, 그 총액은 논문에 없다

기존 도구를 갈아엎지 않고 환경 어댑터만 붙이면 된다는 것이 이 설계의 도입 논리다. 대신 학습이 필요하다. 논문이 밝힌 것은 H200 8장을 묶은 노드 한 대에서 150에폭을 돌렸다는 것, 한 스텝마다 프롬프트 16개와 궤적 128개를 굴렸다는 것, 에피소드 상한이 70스텝이라는 것이다. 여기서 총 롤아웃 스텝을 역산하면 약 50만 스텝 규모가 나오는데, 이는 논문에 적힌 값이 아니라 공개된 하이퍼파라미터로 계산한 추정이다.

달러로 환산하기는 어렵다. 8장짜리 H200 노드의 시간당 단가는 2026년 8월 기준으로 전문 클라우드의 32달러 선부터 대형 클라우드 온디맨드의 85달러 선까지 벌어져 있고, 무엇보다 논문이 학습에 걸린 실제 시간을 보고하지 않는다. 총 학습 비용은 미확인으로 두는 것이 정확하다. 그리고 학습을 하려면 그 앞에 조건이 하나 더 있다. 성공한 궤적을 모을 수 있는 기록 체계다. 87개를 고르려면 500판을 돌리고 결과를 판정해 저장해 둔 상태여야 한다.

6.5프런티어 모델은 사라지지 않고 자리를 옮겼다

이 파이프라인에서 소형 모델이 프런티어 API를 대체한 것은 아니다. 교사도 클로드 오퍼스이고 경험 저장소를 정리하는 통합 모델도 클로드 오퍼스다. 런타임에서 매 턴 호출되던 자리에서는 빠졌지만, 학습 데이터를 만들고 저장소를 큐레이션하는 자리로 옮겨 앉았다. 상시 운영 단가만 놓고 보면 격차가 크기는 하다. 클로드 오퍼스 4.5의 공식 단가는 100만 토큰당 입력 5달러와 출력 25달러이고, Qwen3-8B의 호스팅 단가는 공급자에 따라 0.04달러에서 0.455달러 사이다. 다만 이 비교는 같은 일을 두 모델에 그대로 맡길 때의 이야기이지 이 논문이 실증한 것은 아니다.

바뀐 것은 프런티어 모델을 쓰느냐 마느냐가 아니라 어디에 쓰느냐다. 그리고 옮겨 간 자리의 이름이 데이터 생성과 큐레이션이다.

페블러스는 AI-Ready Data를 모델이 바로 쓸 수 있게 정리된 데이터로 정의해 왔다. 이 논문의 경험 저장소는 그 정의가 런타임으로 옮겨온 형태다. 통합 모델이 묶음마다 메모를 놓고 추가와 갱신과 삭제와 건너뛰기를 판정하고, 범주마다 상한을 두고 적게 쓰인 것부터 버리는 절차는, DataClinic이 학습 코퍼스에 적용하는 중복 통합과 상충 해소와 폐기 판정과 같은 층위의 작업이다. 다른 점은 대상이다. 정적인 데이터셋이 아니라 에이전트가 돌면서 스스로 만들어 내는 기억이다. 그래서 큐레이션도 배치로 끝나지 않고 상시로 돌아야 한다.

데이터를 다루는 쪽에서 이 논문의 가장 중요한 숫자는 96.9%가 아니라 87이다. 500판에서 성공한 궤적만 87개 남겼고, 그 87개가 담고 있던 교사의 습관은 처음 보는 방에서 도움이 되기는커녕 프롬프트만 준 상태보다 8.2%p 낮은 결과를 냈다. 데이터를 더 넣어서 갈린 것이 아니다. 그 데이터가 무엇을 가르치고 있었는지가 갈랐다. 그리고 잘못 배운 습관을 걷어낸 것은 사람이 고쳐 쓴 규칙이 아니었다. 비용 신호를 준 뒤 모델이 스스로 버렸다. 학습 데이터의 편향이 양에서 오지 않고 무엇을 시연했는가에서 왔으며, 그 교정에 필요한 것도 정답 라벨이 아니라 비용 함수였던 사례다.

현장에서 에이전트를 붙이는 팀은 대개 메모리 규칙을 손으로 짠다. 이 단계가 끝나면 상태를 기록하라, 오류가 나면 과거 사례를 조회하라 같은 문장들이다. 1절에서 본 것처럼 그 문장은 모델을 바꾸면 낡고, 부록 A에서 본 것처럼 환경을 바꾸면 어긋난다. 낡는 이유와 어긋나는 이유가 각각 하나씩 확인돼 있다. 이 논문이 제안하는 대안은 기존 도구와 상태 저장소는 그대로 두고 세 갈래의 얼굴만 정책 쪽으로 노출하는 것이라, 스택을 갈아엎지 않아도 되는 도입 경로가 있다. 대신 학습이 필요하고, 학습을 하려면 성공 궤적을 모을 수 있는 기록 체계가 먼저 있어야 한다. 여기서 다시 데이터 문제로 돌아온다.

에이전트 기억은 지금 대체로 쌓기의 문제로 다뤄진다. 이 논문은 그것을 무엇을 남기고 무엇을 버릴지의 문제로 다시 놓았고, 그 판정을 별도 모델에 맡겼다. 기억에 이름표가 없으면 지울 수도 없다는 것은 앞선 리포트에서 다룬 문제이고, 스스로 배우는 에이전트라는 계보의 출발점은 이 논문도 인용하는 2023년의 연구다. 지금 새로 생긴 문제는 그 사이에 있다. 쌓인 기억을 판정하는 일에 기준이 필요해졌다.

그 기준을 세우는 일은 셋으로 나뉜다. 경험 저장소의 상태를 진단하는 일, 즉 중복률과 상충률과 실제 활용도의 분포를 재는 일이 하나다. 폐기와 통합의 정책을 설계하고 그 정책이 의도대로 도는지 검증하는 일이 둘이다. 그리고 학습용 성공 궤적을 어떤 기준으로 고를지 정하는 일이 셋이다. 세 번째는 이 논문에서 87이라는 수로 나타난 문제이고, 셋 모두 학습 코퍼스에서 이미 하던 일이다.

논문이 한 일과 데이터 품질 작업이 같은 일이라는 뜻은 아니다. 대상이 다르고 시간 규모가 다르다. 다만 같은 질문을 다른 대상에 던지고 있다는 것은 분명하다. 무엇을 남기고 무엇을 버릴 것인가, 그리고 그 판정의 근거를 어디에서 가져올 것인가. 이 논문의 답은 비용이었다.

학술

• 1.Ning, X., Tong, H., He, J., et al. (2026). EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents. arXiv:2608.05446v1. 2026-08-05. UIUC · Meta AI 공동 연구, 저자 16명. (이 글의 1차 출처. 표 1·2·3, 부록 A~D의 모든 수치)
• 2.Chu et al. (2025). SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training. arXiv:2501.17161. 2025-01-28. (지도학습의 분포 밖 열화와 강화학습의 일반화를 명명한 선행 연구. 지도학습이 출력 형식을 안정화해야 강화학습이 성과를 낸다는 짝 진술도 같은 초록에 있다)
• 3.Palmeira Ferraz, T., Deffayet, R., Nikoulina, V., Déjean, H., & Clinchant, S. (2026). Retrieval-Augmented LLM Agents: Learning to Learn from Experience. arXiv:2603.18272. 2026-03-18. (표 1에서 ALF월드 공식 처음 보는 방 구간의 LoRA 베이스라인 94.1%·규칙 기반 전문가 89.6% 보고. 다른 논문의 값을 모은 표라 정성적으로만 읽으라는 단서가 캡션에 붙어 있고 백본은 Qwen2.5-7B다)
• 4.(2026). The Interplay of Harness Design and Post-Training in LLM Agents. arXiv:2606.25447. 2026-06-24. (ALF월드를 확장해 하네스를 설계 변수로 두고 환경 변화 하에서 평가)
• 5.(2026). HarnessBridge. arXiv:2606.12882. 2026-06-11. (기존 하네스가 대체로 수작업으로 만들어진다는 문제의식에서 출발해 관측과 행동의 양방향 투영을 학습)
• 6.Shridhar, M., et al. (2021). ALFWorld: Aligning Text and Embodied Environments for Interactive Learning. arXiv:2010.03768. ICLR 2021. (학습 3,553개, 학습된 방 140개, 처음 보는 방 134개, 여섯 과제 계열)
• 7.(2023). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629. (이 논문의 기준선 구성)
• 8.(2023). Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366. (표 1의 비교 대상)
• 9.(2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300. (이 논문이 쓴 GRPO의 출처)

산업 1차 자료

• 10.Young, J. (2025). Effective harnesses for long-running agents. Anthropic Engineering Blog. 2025-11-26. (EvoHarness-RL이 인용한 유일한 산업 문헌. 초기화 에이전트·진행 파일·기능 JSON·한 번에 기능 하나 구조의 출처)
• 11.Rajasekaran, P. (2026). Harness design for long-running application development. Anthropic Engineering. 2026-03-24. (하네스의 모든 구성요소가 모델이 혼자 못 하는 일에 대한 가정을 담고 있고 그 가정은 모델이 좋아지면 만료된다는 진술)
• 12.Anthropic (2026). Scaling Managed Agents: Decoupling the brain from the hands. Anthropic Engineering. 2026-04-08. (소네트 4.5용으로 넣은 컨텍스트 리셋이 오퍼스 4.5에서 군더더기가 됐다는 자사 사례)
• 13.Anthropic (2026). Claude Opus 4.5. (100만 토큰당 입력 5달러·출력 25달러 공식 단가)
• 14.OpenRouter · Artificial Analysis (2026). Qwen3-8B 공급자별 호스팅 단가 집계. 2026-08 조회. (100만 토큰당 0.04~0.455달러 범위)

언론 보도

• 15.박찬 (2026). 메타, 80억 소형 AI로 '클로드 오퍼스 4.5'급 성능 구현…'EvoHarness-RL' 논문 발표. AI타임스. 2026-08-29. (이 글이 출발점으로 삼은 국내 보도. 논문 공개일은 2026-08-05로 보도 시점과 다르다)

페블러스 선행 리포트

• 16.페블러스 (2026). 이름표 없는 기억은 지울 수 없다. 2026-07-29.
• 17.페블러스 (2026). 챗봇이 앞 대화를 기억하게 만드는 다섯 가지 방법. 2026-07-16.
• 18.페블러스 (2026). 에이전트를 무너뜨리는 건 약한 모델이 아니라 약한 하네스. 2026-07-01.
• 19.페블러스 (2026). 스킬 문서가 학습하기 시작했다. 2026-05-27. (마이크로소프트 SkillOpt, arXiv:2605.23904. 이 글의 표에 인용된 SkillOS와 다른 논문이다)
• 20.페블러스 (2026). 스킬도 경험을 누적한다. 2026-05-27.
• 21.페블러스 (2026). Voyager: 스스로 배우는 AI의 기원. 2026-05-24.
• 22.페블러스. 페블로피디아: 하네스. (개념 입문)