Executive Summary
작업 도중 멈춘 AI 에이전트를 다른 모델에게 넘길 때, 남은 기록을 손질해 주면 이어받는 쪽이 수월하리라는 것이 현장의 상식이다. 세일즈포스 AI 리서치가 그 상식을 실험대에 올렸고, 손질 방식에 따라 결과가 반대 방향으로 갈렸다. 논문은 2026년 11월 10일 arXiv에 올라왔다. 설계는 단순하다. 에이전트가 틀린 값을 영구 저장소에 써 넣은 직후에 상태를 고정하고, 기록만 고친 뒤 실제 환경은 손대지 않은 채 다른 모델에게 넘겨 남은 일을 맡긴다.
가장 날카로운 대목은 두 편집이 기록에 넣은 값이 똑같다는 데 있다. 틀린 값을 그대로 두고 "이 행동은 틀렸고 맞는 값은 이것"이라는 메모를 붙이면 복구율이 51%에서 66%로 올랐다. 같은 정답을 에이전트가 이미 처리한 행동인 것처럼 바꿔 적으면 44%로 떨어졌다. 정답이 기록 안에 들어 있다는 사실만으로는 방향조차 예측되지 않는다는 뜻이다. 다만 이득이 나는 자리는 좁았다. 15%포인트 남짓한 상승분의 대부분은 메모가 직접 가리킨 칸 하나에서 나왔다.
1절부터 4절까지 옮긴 수치와 용어는 arXiv에 공개된 논문 본문과 부록에서 가져온 사실이다. 로그 압축과 대화 요약을 쓰는 데이터 작업 흐름에 이 결과를 겹쳐 읽은 5절은 페블러스의 해석이다.
주요 수치
앞의 두 숫자는 기록을 어떻게 적느냐가 복구를 어디까지 밀고 당기는지 보여 준다. 뒤의 두 숫자는 같은 문장이 환경에 따라 얼마나 다른 값어치가 되는지 잰 것이다.
출처: arXiv:2611.14654 본문 4절·5절.
51% → 66%
정답을 메모로만 알렸을 때의 복구율
틀린 값은 기록에도 환경에도 그대로 남겨 둔 조건이다
44%
같은 정답을 처리 완료로 적었을 때의 복구율
아무것도 고치지 않은 기준선 50%보다 낮다
45% → 28%
환경에 흔적이 없는데 성공 영수증이 붙었을 때의 성공률
같은 영수증이 흔적과 맞을 때는 49%로 오른다
27%포인트
영수증 한 줄의 값어치가 환경에 따라 벌어지는 폭
신뢰수준 97.5%에서 구간이 0을 넘어서 있다
에이전트가 남기는 것은 기록과 환경 두 벌이다
에이전트가 일을 하다 멈추면 두 가지가 남는다. 하나는 무엇을 하려 했고 어떤 도구를 불렀으며 시스템이 뭐라고 답했는지 줄줄이 적힌 기록이다. 다른 하나는 그 행동이 실제로 바꿔 놓은 상태다. 데이터베이스에 들어간 행, 확정된 값, 디스크에 쓰인 파일이 여기에 속한다. 논문은 앞을 record, 뒤를 world라 부른다. 이 글에서는 기록과 환경으로 적는다.
둘이 같은 것을 가리킨다고 보장해 주는 장치는 어디에도 없다. 기록은 환경을 설명하는 문서일 뿐이고, 문서를 고친다고 해서 문서가 설명하던 대상이 따라 바뀌지는 않는다. 논문이 세운 원칙은 여기서 나온다. 기록에 손을 댔을 때 그 개입이 도움이 되는지 해가 되는지는 무엇을 더 적었느냐가 아니라 환경이 여전히 그 오류를 쥐고 있느냐가 정한다.
▲ 페블러스 원본 도식. 기록과 환경이 갈라지는 자리를 보여 준다. | 출처: arXiv:2611.14654
실험은 다섯 단계로 돈다. 에이전트가 틀린 값을 영구 저장소에 써 넣은 직후의 상태를 통째로 고정하고, 기록만 다른 버전으로 바꾼 다음, 환경은 고정했던 그대로 복원해 수신 모델에게 넘기고, 그 모델이 남은 일을 어디까지 바로잡는지 센다. 편집은 세 종류로 갈린다. 원래 기록에 없던 것을 드러내거나, 있던 것을 감추거나, 없던 사실을 새로 주장하는 것이다.
넘겨받는 쪽이 기록의 원작자가 아니라는 점도 설계의 일부다. 고정된 상태들은 앞선 연구에서 다른 모델들이 만들어 둔 궤적이고, 이어받는 모델은 대부분 남의 작업 기록을 처음 읽는 처지에 놓인다. 긴 세션을 모델 사이에서 넘기는 실무와 같은 조건이다. 저자는 세일즈포스 AI 리서치 소속 여섯 명이고, 코드와 설정, 편집에 쓴 문장까지 부속 파일로 공개했다. 두 벤치마크도 각각 커밋과 패키지 버전을 고정해 두었다.
같은 정답을 넣어도 적는 방식이 결과를 가른다
첫 번째 실험은 AgentCE-Bench에서 돌았다. 앞선 연구가 만든 도구 사용 환경으로, 에이전트가 격자의 빈 칸을 하나씩 채워 나가는 과제를 낸다. 숨은 값은 도구를 불러야 알 수 있고, 찾은 값을 칸에 써 넣으면 그 결과가 영구 상태에 남는다. 논문이 든 보기는 주간 일정표다. 한 칸에 들어갈 식사나 장소를 찾아 채우는 식이다. 고정 상태 320개 가운데 319개를 썼다. 모두 과제의 3분의 2 지점에서 에이전트가 틀린 값을 써 넣은 직후의 장면이다. 스스로 정정해 버린 한 개는 제외했다.
같은 장면에 네 가지 편집을 걸었다. 뒤의 두 편집은 기록에 넣는 정답 값이 서로 같고, 그 값을 담는 그릇만 다르다.
- 아무것도 고치지 않는다. 틀린 값이 기록에도 환경에도 그대로 있고 정답은 언급되지 않는다.
- 내용이 없는 중립적인 메모를 붙인다. 자리와 분량만 맞춘 대조군이다.
- 틀린 값을 그대로 둔 채 "이 행동은 틀렸고 맞는 값은 이것"이라고 솔직하게 적어 둔다.
- 에이전트 자신이 그 칸을 이미 올바른 값으로 처리한 것처럼 기록을 다시 쓴다. 옆에 붙은 메모였을 정보가 에이전트가 한 일로 적힌다.
점수는 복구율로 매긴다. 이어받은 모델이 24단계 예산 안에서 앞으로 손대야 할 미결 칸 가운데 첫 세 개를 올바른 값으로 채운 비율이다. 두 실험 모두에 들어간 수신 모델은 gpt-5.5와 claude-sonnet-5 둘이고, 네 조건의 수치는 이 둘을 합친 값이다.
▲ 페블러스 원본 도식. 논문이 보고한 네 조건의 복구율을 같은 축에 올려 놓은 것이다. | 출처: arXiv:2611.14654
솔직한 메모는 대조군보다 15.20%포인트 높고, 95% 신뢰구간은 12.46에서 18.00 사이다. 처리 완료로 적은 기록은 아무것도 고치지 않은 쪽보다 6.43%포인트 낮고, 구간은 마이너스 8.88에서 마이너스 3.97이다. 두 효과의 차이를 논문은 미리 정해 둔 주 추정량으로 삼았는데 21.63%포인트가 나왔고, 구간은 18.21에서 25.08이다. 내용 없는 메모가 아무것도 하지 않은 것과 구별되지 않았다는 점도 함께 읽을 대목이다. 효과를 낸 것은 메모가 붙었다는 사실이 아니라 메모가 말한 내용이다.
솔직한 메모와 처리 완료 기록은 둘 다 에이전트가 부른 도구 호출 안에 정답 값을 똑같이 품고 있다. 이어받은 모델이 눈앞에 보이는 값을 그대로 옮겨 적는 식으로 일한다면 처리 완료로 적은 쪽이 더 잘 나와야 한다. 적어야 할 값이 이미 완성된 문장으로 들어 있기 때문이다. 실제로는 20%포인트 넘게 뒤처졌다. 정답이 기록에 있다는 사실 자체는 결과의 크기도, 방향도 알려 주지 않는다.
논문이 꺼내 든 설명은 기록의 두 기능을 가른다. 기록은 값을 건네주기도 하고, 아직 할 일이 남았다고 알려 주기도 한다. 솔직한 메모는 "틀린 값이 저기 그대로 있다"고 말해 남은 일을 띄워 올린다. 처리 완료로 적은 기록은 같은 값을 건네면서 "이 칸은 끝났다"고 말한다. 이어받은 모델은 끝난 일을 다시 들여다보지 않는다. 논문은 이 쪽을 지도 설명이라 부른다. 기록을 남은 일이 적힌 지도로 읽고, 끝났다고 표시된 칸은 다시 열지 않는다는 그림이다. 맞서는 그림은 수선 설명인데, 틀린 값을 스스로 알아채고 바로잡는 일은 거들어 주지 않으면 모델이 잘 해내지 못한다. 저자들은 지도 쪽이 더 그럴듯하다고 보면서도 완전히 닫지는 않았다.
이득의 크기에는 단서가 붙는다. 15.20%포인트 가운데 11.57%포인트는 메모가 이름을 대어 가리킨 바로 그 칸에서 나왔고, 나머지 칸들이 보탠 몫은 3.63%포인트다. 메모가 아무 칸도 가리키지 않은 47개 상태에서는 방향이 판별되지 않았다. 솔직한 기록이 작업 전체의 품질을 끌어올린다기보다, 지목된 한 곳의 오류를 집어 준다고 읽는 편이 실제에 가깝다.
성공 영수증의 값어치는 환경이 정한다
두 번째 실험은 방향을 뒤집는다. 무대는 AppWorld다. 실제 애플리케이션 API를 흉내 낸 데이터베이스 위에서 에이전트가 파이썬 코드로 사용자 요청을 처리하고, 채점은 과제 전체가 제대로 끝났는지로 매긴다. 이번에는 기록을 고정해 두고 환경 쪽을 양쪽으로 바꿨다.
고정 지점은 데이터베이스에 쓰기가 일어나는 단계 직후다. 여기서 두 가지를 따로 돌린다. 하나는 기록에 남는 영수증이다. 그 쓰기 단계에 "성공했다"는 응답이 적혀 있는 경우와 "작업이 반영되지 않았고 바뀐 데이터가 없다"는 고정된 한 줄 오류가 적혀 있는 경우로 갈린다. 다른 하나는 환경이다. 그 쓰기가 실제로 데이터베이스에 반영된 경우와 반영되지 않은 경우가 있다. 네 칸 가운데 영수증과 환경이 맞아떨어지는 칸은 둘뿐이고, 나머지 둘은 기록과 환경이 서로 다른 말을 한다.
| 기록에 적힌 영수증 | 환경에 쓰기 흔적 없음 | 환경에 쓰기 흔적 있음 |
|---|---|---|
| 성공했다 | 28.46% | 48.85% |
| 반영되지 않았다 | 45.38% | 38.46% |
▲ 영수증과 환경의 네 조합에서 측정한 과제 전체 성공률. | 출처: arXiv:2611.14654
환경을 한쪽으로 고정해 두고 두 줄을 견주면 성공 영수증이 무슨 일을 하는지가 드러난다. 환경에 쓰기 흔적이 없을 때 성공 영수증은 성공률을 16.92%포인트 깎았고, 신뢰구간은 마이너스 24.62에서 마이너스 9.62다. 흔적이 남아 있을 때는 같은 영수증이 10.38%포인트를 끌어올렸고, 구간은 3.46에서 17.69다. 두 효과의 차이가 27.31%포인트이며, 구간은 14.23에서 41.54로 신뢰수준 97.5%에서도 0을 넘어서 있다. 영수증과 환경이 서로 맞는 두 칸끼리는 3.47%포인트밖에 차이 나지 않았다. 성적을 가르는 것은 영수증의 문장이 아니라 그 문장이 환경과 맞는지 여부다.
규모는 과제 가족 65개, 완전한 4조건 블록 638개, 이어 돌린 작업 2,552회다. 수신 모델을 여덟 개로 넓혀 보면 신뢰수준 97.5%에서 여섯 곳, 95%에서 일곱 곳이 같은 방향을 가리켰고, 큰 쪽은 43.65%포인트까지 벌어졌다. 방향이 판별되지 않은 모델은 하나였다.
그 쓰기 단계를 다시 요청하는 비율은 논문이 미리 정해 둔 진단 지표인데, 기록이 아니라 환경을 따라갔다. 성공했다는 영수증을 받은 경우만 떼어 보면, 환경에 쓰기 흔적이 없을 때는 52.69%가 그 단계를 다시 요청했고 흔적이 있을 때는 10.38%로 내려갔다. 42.31%포인트 차이이고 구간은 32.69에서 51.92다. 영수증 문장 자체가 이 비율을 움직였는지는 모델에 따라 갈렸다. 한 모델에서는 움직였고 다른 모델에서는 판별되지 않았다. 기록을 믿고 확인을 건너뛰는 모델보다, 환경을 읽고 거기에 맞춰 움직이는 모델에 수치가 더 들어맞는다. 다만 흔적이 없는데도 절반 가까이는 그 단계를 다시 요청하지 않았고, 그 몫에서 틀린 상태가 그대로 굳는다.
반대쪽 칸이 깎이는 까닭은 따로 있다. 쓰기가 실제로 반영된 상태에서 실패했다는 영수증을 받으면 같은 일을 한 번 더 한다. 과제 가족 65개 가운데 데이터베이스에 행을 넣는 40개를 보면, 거짓 실패 영수증을 받은 한 수신 모델은 이어 돌림의 51.25%에서 같은 행을 다시 써 넣었고 참인 성공 영수증에서는 3.75%에 그쳤다. 흔적이 남아 있을 때 실패 영수증이 성공률을 38.46%까지 끌어내린 자리가 여기다.
한 줄의 영수증이 참인지 거짓인지는 영수증 안에 적혀 있지 않다. 같은 "성공했다"가 어떤 환경에서는 도움이 되고 다른 환경에서는 27%포인트를 깎아 간다. 기록을 다듬는 작업의 품질은 기록만 보고 판정할 수 없다는 뜻이다.
로그 압축과 대화 요약도 같은 덫을 밟는다
논문이 관련 연구에서 겨냥한 관행은 셋이다. 첫째는 압축이다. 컨텍스트가 길어지면 실패한 시도를 조용히 걷어 내 자리를 비운다. 둘째는 복구다. 기록과 환경을 함께 되돌리는 롤백과 재실행이 여기 속한다. 셋째는 핸드오프다. 고정된 저장소 위에서 다음 모델에게 무엇을 보여 줄지 고른다.
셋 가운데 이 논문의 결과가 겨냥하는 것은 첫째와 셋째다. 복구는 기록과 환경을 함께 되돌리기 때문에 둘이 따로 노는 상황을 애초에 만들지 않는다. 반면 압축과 핸드오프는 기록만 손댄다. 실패한 시도를 지워도 그 시도가 데이터베이스에 남긴 행은 지워지지 않고, 대화 요약이 "설정을 마쳤다"로 줄여 쓴 단계가 실제로는 절반만 반영돼 있을 수 있다. 이 논문이 44%와 28%를 측정한 조건은 그 모양을 실험실에 옮겨 놓은 것이다. 멈춘 작업을 나중에 이어 돌릴 때 어긋나는 것이 기록만은 아니다. 기다리는 동안 모델과 색인이 바뀌어 같은 말이 다른 뜻이 되는 경우는 장기 실행 AI 워크플로우의 의미 격리에서 따로 다뤘다.
저자들이 스스로 적어 둔 한계도 적지 않다. 메모의 내용과 메모가 들어온 경로를 따로 떼어 내지 못했다. 긴 추론 뒤에 행동하도록 훈련된 모델은 메모를 사용자가 준 지시처럼 더 신뢰하는 경향이 있는데, 그 경로 효과가 내용 효과와 섞여 있다. AppWorld의 영수증도 내용과 참·거짓이 동시에 달라져 두 효과가 겹친 채로 측정됐다. 여덟 개 수신 모델 가운데 주된 결과를 지탱하는 쪽은 소수이고, 사전에 등록해 둔 분석 두 개는 봉인된 스크립트가 다시 돌지 않아 재구현으로 대신했다. 처리 완료로 적은 기록이 정답을 드러내서 듣는지 아니면 어느 칸을 가리켜서 듣는지 가르려던 아홉 조건 통제 실험도 끝까지 가지 못했다. 계획한 4,320개 가운데 4,068개만 모였고, 미리 정해 둔 3%포인트 기준에서 특이성은 판별되지 않았다.
편집과 상태를 고른 것도 연구진 자신이다. 누군가 일부러 기록을 속이려 들 때 어떻게 되는지는 이 실험이 답하지 않는다. 처리 완료 기록이 만든 6.43%포인트 하락은 악의 없는 요약과 압축에서도 생길 수 있는 크기다. 일부러 속이려 드는 쪽이 기록을 어디까지 밀 수 있는지는 따로 측정해야 할 몫으로 남았다.
페블러스가 이 결과에 주목하는 이유
데이터 품질 현장에서 정리는 대체로 지우는 일로 이해된다. 중복을 걷어 내고, 이상치를 쳐 내고, 실패한 로그를 덜어 낸다. 깨끗해진 쪽이 쓰기 좋다는 전제는 거의 검증 대상에 오르지 않는다. 이 논문이 더한 조건이 그 전제를 건드린다. 기록이 설명하던 대상이 저쪽에 그대로 남아 있는 동안, 깨끗해진 기록은 도움이 아니라 사실과 어긋난 문서가 된다.
기록과 환경의 구분은 데이터 작업에서 낯선 개념이 아니다. 원본과 파생본, 로그와 실제 시스템 상태, 카탈로그의 메타데이터와 저장소의 실물이 같은 구조를 갖는다. 품질 점검은 대개 한쪽만 본다. 로그가 일관적인지, 스키마가 맞는지, 결측이 몇 퍼센트인지. 이 논문은 다른 질문을 들이민다. 그 기록이 설명한다고 주장하는 대상과 지금도 맞아떨어지는지를 묻는다.
AI 에이전트를 업무에 들이면서 기록 정리를 설계한다면, 아래 셋이 점검 목록에 오를 만하다.
- 지우는 대신 표시한다. 실패한 단계를 걷어 내지 말고 실패했다고 적어 둔다. 복구율을 끌어올린 조건은 정답을 알려 주면서도 틀린 값을 지우지 않은 쪽이었다. 같은 정답을 적고 틀린 값을 끝난 일로 덮은 쪽은 기준선 아래로 내려갔다.
- 요약이 완료를 선언하지 않게 한다. 대화 요약과 컨텍스트 압축이 "처리했다"로 줄여 쓰는 문장은 처리 완료 기록과 같은 모양이다. 확인된 완료와 추정된 완료를 다른 말로 적는다.
- 넘기기 전에 환경을 한 번 읽는다. 기록이 성공이라 적은 쓰기가 저장소에 실제로 남았는지 확인하는 단계 하나가, 기록을 아무리 잘 다듬어도 생기지 않는 정보를 만든다.
남는 질문은 하나다. 로그에서 걷어 낸 그 실패, 요약이 한 줄로 줄여 버린 그 단계는 시스템 어딘가에 아직 살아 있지 않은가. 살아 있다면 깨끗해진 기록은 다음 사람이나 다음 모델에게 건네는 틀린 지도다. 이 논문은 그 지도를 따라간 모델이 얼마나 더 틀리는지를 숫자로 적어 두었다.
참고문헌
- 1.Pakhomov, E., Koul, A., Liu, H., Pang, B., Joty, S., Nijkamp, E. (2026). "Cleaning an Agent's History Hurts When the World Still Holds the Error." arXiv:2611.14654 (Salesforce AI Research).