Executive Summary

코딩 에이전트가 정답을 만든 시점과 일을 멈춘 시점이 꽤 멀리 떨어져 있다는 측정이 나왔다. 논문 제목이 Termination Lag이고, 2026년 11월 11일 arXiv에 올라왔다. 방법은 단순하다. 에이전트가 실행 도중 만들어 낸 저장소 패치를 모두 가로채 기록해 두었다가, 실행이 끝난 뒤 벤치마크 공식 채점 절차로 하나씩 따로 채점한다. 그러면 에이전트가 스스로 끝났다고 판단한 시점과 무관하게, 정답이 몇 번째 단계에서 처음 나왔는지를 사후에 알 수 있다.

채점 결과는 정답이 앞쪽에 몰려 있다는 쪽을 가리킨다. 정답에 한 번이라도 도달한 실행 가운데 38~82%는 에이전트가 소스 코드를 처음 고친 그 패치가 이미 정답이었다. 그런데 실행은 거기서 끝나지 않는다. 핵심 설정 네 조합에서 정답 이후에 쓰인 단계가 실행 전체의 35~60%를 차지했고, 그 시간의 대부분은 자기가 고친 것을 확인하고 저장소를 다시 뒤지는 데 들어갔다. 1~8%에서는 계속 돌다가 맞는 수정을 스스로 깨뜨린 채 실행이 끝났다. 다만 논문이 센 것은 단계 수이지 토큰이나 금액이 아니다.

1절부터 4절까지 옮긴 수치와 용어는 arXiv에 공개된 논문 본문과 부록에서 가져온 사실이다. 에이전트를 업무에 들인 조직의 비용 구조에 이 결과를 겹쳐 놓은 5절은 페블러스의 해석이다.

주요 수치

출처: arXiv:2611.14960 본문 표 1·표 2·표 3.

38~82%

첫 코드 수정이 이미 정답이던 비율

정답에 도달한 실행만 추려 센 값이다

35~60%

정답 이후가 실행에서 차지하는 비중

핵심 설정 네 조합의 중앙값 범위다

16 vs 57단계

정답 이후에 더 돈 단계 수

같은 과제 묶음에서 Qwen3-Coder와 Laguna-XS.2의 중앙값이다. 단계 상한은 각각 100과 250으로 달랐다

1~8%

맞는 수정을 되돌린 채 끝난 실행

첫 정답에서 멈추기만 했다면 성공으로 남았을 몫이다

1

에이전트가 만든 패치를 하나씩 따로 채점했다

벤치마크 점수는 마지막에 제출된 패치 하나로 매겨진다. 저자들은 이 점수가 가리는 것을 한 가지 상황으로 설명한다. 같은 과제를 열 번째 단계에서 똑같이 고친 에이전트가 둘 있다. 한쪽은 그 자리에서 제출하고, 다른 쪽은 테스트를 다시 돌리고 호출부를 살피고 자기 차이를 들여다보느라 마흔 단계를 더 쓴 뒤 멈춘다. 둘의 점수는 같다. 최종 패치만 보는 채점은 서로 다른 두 능력을 한 칸에 뭉쳐 놓는다. 맞는 수정을 만드는 능력과, 그 수정이 끝났음을 알아보는 능력이다.

에이전트는 자기가 낸 수정이 맞는지 실행 중에 알 수 없다. 벤치마크의 채점 테스트는 가려져 있고, 고친 코드가 요구를 채웠는지는 스스로 판단해야 한다. 그래서 정답이 언제 나왔는지를 측정하려면 실행 바깥에 따로 채점 장치를 세워야 한다.

연구진이 세운 장치는 로깅 프록시다. 에이전트와 모델 엔드포인트 사이에 앉아, 에이전트가 다음 모델 요청을 보내기 전에 그 시점의 저장소 패치를 기록해 둔다. 패치는 임시 git 인덱스로 현재 상태와 기준 상태의 차이를 떠서 만들기 때문에 에이전트의 작업 저장소는 그대로 남는다. 실행이 다 끝난 뒤에는 기록해 둔 패치들을 격리 컨테이너에서 벤치마크 공식 절차로 채점한다. 이 채점 결과가 에이전트에게 돌아가지는 않는다. 실행 중의 판단에 영향을 주지 않은 채로, 정답이 몇 번째 단계에서 처음 나왔는지만 나중에 알아내는 설계다.

이렇게 얻은 두 단계 번호에서 세 지표가 나온다.

  • 첫 정답 단계(TTFCP)는 공식 채점을 통과한 패치가 처음 나온 단계 F다.
  • 종료 지연(Termination Lag)은 최종 단계 S에서 F를 뺀 값이다. 정답이 나온 뒤에 더 돈 단계 수다.
  • 정규화 종료 지연(NTL)은 (S−F)/S다. 실행 전체에서 정답 이후가 차지하는 비중이다.
정답이 언제 나왔는지 알아낸 방법 실행 중 — 로깅 프록시가 다음 모델 요청 직전 패치를 가로채 기록한다 에이전트 로깅 프록시 (패치를 가로채 기록) 모델 엔드포인트 1 2 3 4 5 6 패치 기록 — 아직 채점 전 실행이 끝난 뒤 — 격리 컨테이너에서 같은 패치를 벤치마크 공식 절차로 채점한다 1 2 3 4 5 6 F 첫 정답 S 최종 단계 종료 지연 = S − F, 전체에서 차지하는 비율이 NTL이다 채점 결과: 아직 정답 아님 채점 결과: 정답

▲ 페블러스 원본 도식. 논문이 설명한 측정 장치(로깅 프록시 + 사후 격리 채점)를 재구성한 것이다. | 출처: arXiv:2611.14960

측정 대상은 다섯 모델이다. Qwen3-Coder-30B-A3B, Laguna-XS.2, Claude Haiku 5.5, GPT-6 Luna, Seed-OSS-36B가 모두 OpenHands 위에서 돌았고, Qwen3-Coder는 mini-SWE-agent로 한 번 더 돌려 프레임워크를 바꿔도 같은 그림이 나오는지 확인했다. 과제는 SWE-bench Verified 500개, SWE-bench Multilingual 300개, 그리고 SWE-bench Pro다. 과제마다 한 번씩 실행했다.

실행에 걸어 둔 상한은 모델마다 달랐다. Qwen3-Coder는 100단계에 맥락 창 131K 토큰, Laguna-XS.2는 250단계에 256K 토큰이다. Claude Haiku 5.5와 GPT-6 Luna는 100단계, Seed-OSS는 150단계에 131K 토큰이다. 단계 수를 모델끼리 견줄 때 같이 봐야 하는 조건이다.

채점을 끝내고 보니 정답은 앞쪽에 몰려 있었다. 정답에 도달한 실행만 추리면, 에이전트가 소스 코드를 처음 고친 그 패치가 이미 정답이던 경우가 Qwen3-Coder는 Verified에서 82%, Multilingual에서 66%다. Laguna-XS.2는 각각 70%와 48%, GPT-6 Luna는 Verified에서 80%, Seed-OSS는 Pro에서 38%다. 정답까지 시도한 패치 수도 평균 1.3회에서 3.6회 사이에 머문다.

다만 코드에 처음 손을 대는 시점 자체가 뒤쪽이다. 첫 소스 편집이 일어난 단계의 중앙값은 설정에 따라 9에서 45 사이다. Qwen3-Coder의 Verified에서는 첫 편집 단계와 첫 정답 단계의 중앙값이 30으로 같다. 코드를 건드리기까지 서른 단계를 쓰고, 건드리자마자 답이 되고, 그 뒤로 열여섯 단계를 더 돈다. 실행이 길어지는 자리는 정답 뒤쪽만이 아니다.

실행 중간의 패치를 들여다본 연구는 앞에도 있었다. 한 연구는 실행 도중에 나온 맞는 수정이 뒤따르는 편집에 밀려 사라지는 현상을 보고했고, 다른 연구는 재시작 판단을 돕겠다며 19개 과제에서 행동마다 패치를 채점했다. 그 연구들이 첫 정답 패치와 종료 사이의 단계 수를 체계적으로 세지는 않았다는 것이 저자들이 밝힌 이 논문의 자리다.

2

정답 이후에 쓰이는 단계는 모델마다 갈린다

문제는 그 다음이다. 정답이 나온 뒤에도 실행은 한참 더 이어지고, 얼마나 더 이어지는지는 모델에 따라 크게 달라진다.

지표(중앙값) Qwen3-Coder
Verified
Qwen3-Coder
Multilingual
Laguna-XS.2
Verified
Laguna-XS.2
Multilingual
성공률 43.8% 22.3% 56.0% 48.0%
첫 정답 단계 30 34 38 50
최종 단계 48 54 95 108
정답 이후 단계 16 18 57 56
정답 이후 비중 35% 37% 60% 54%
입력 컨텍스트 증가 +30% +28% +78% +55%

▲ 논문 표 1. 성공한 실행만 대상으로 한 중앙값이고, 입력 컨텍스트 증가는 첫 정답 단계에서 최종 단계까지의 상대 증가분이다. | 출처: arXiv:2611.14960

Qwen3-Coder는 Verified에서 30단계째에 정답을 내고 48단계에서 멈춘다. 정답 이후에 더 돈 단계가 16개이고, 실행 전체의 35%다. Laguna-XS.2는 같은 과제 묶음에서 38단계째에 정답을 내지만 95단계까지 간다. 정답 이후가 57단계, 실행의 60%다. 같은 벤치마크를 같은 프레임워크로 푸는데 한쪽은 답을 낸 뒤 3분의 1을 더 쓰고 다른 쪽은 절반을 훌쩍 넘겨 쓴다.

두 모델의 단계 수가 같은 조건에서 나온 값은 아니다. 앞서 적은 상한대로 Laguna-XS.2에 허락된 실행 길이는 Qwen3-Coder의 2.5배이고 맥락 창은 두 배 가까이 넓다. 57단계라는 값에는 더 길게 돌아도 되는 조건이 섞여 있다. 다만 상한이나 맥락 한도에 닿은 채 끝난 실행은 설정마다 1~4%에 그쳤다. 60%라는 중앙값은 대부분 에이전트가 스스로 손을 뗀 실행에서 나왔다.

한 실행에서 정답이 나온 자리와 실행이 끝난 자리 Qwen3-Coder · Verified — 첫 정답 30단계, 최종 48단계, 정답 이후 35% Qwen3-Coder · Multilingual — 첫 정답 34단계, 최종 54단계, 정답 이후 37% Laguna-XS.2 · Verified — 첫 정답 38단계, 최종 95단계, 정답 이후 60% Laguna-XS.2 · Multilingual — 첫 정답 50단계, 최종 108단계, 정답 이후 54% 첫 정답까지 정답 이후 막대 길이는 단계 수에 비례한다.

▲ 페블러스 원본 도식. 논문 표 1의 중앙값을 같은 축에 올려 놓은 것이다. | 출처: arXiv:2611.14960

그 시간에 입력 컨텍스트도 함께 불어난다. 첫 정답에서 최종 단계까지 모델이 받는 입력 토큰은 Qwen3-Coder에서 28~30%, Laguna-XS.2에서 55~78% 늘었다. 단계가 길어지는 만큼 단계 하나의 부담도 같이 커진다.

저자들은 이 거리를 아낄 수 있는 몫으로도 계산해 두었다. 첫 정답이 나온 자리에서 실행을 끊어 주는 가상의 장치를 가정하면, 원래 푼 과제를 하나도 잃지 않으면서 Qwen3-Coder는 실행 단계의 35%와 37%가, Laguna-XS.2는 60%와 54%가 사라진다. 정답에 끝내 이르지 못한 실행은 건드리지 않고 둔 계산이다. 멈춤 시점을 제대로 고르면 얼마까지 돌려받는지를 가리키는 윗금이다. 저자들도 그 이상은 말하지 않는다.

짧게 끝나는 모델이라고 사정이 다르지는 않다. 부록의 Claude Haiku 5.5는 Verified에서 9단계째에 정답을 내고 그 뒤로 10단계를 더 돈다. 절대 단계 수는 작지만 비중으로는 54%다. 프레임워크를 바꾼 경우도 비슷하다. Qwen3-Coder를 mini-SWE-agent로 돌리면 첫 정답이 22단계째에 나오고 그 뒤 12단계가 더 붙어서, 비중은 37%로 OpenHands일 때의 35%와 거의 같다.

두 프레임워크는 다른 자리에서 꽤 갈린다. 같은 500개 과제에서 성공률은 43.8%와 32.4%로 갈리고, 과제당 캐시되지 않은 연산 토큰의 중앙값도 39.0K와 22.2K로 벌어진다. 논문이 토큰을 직접 센 자리는 이 비교 하나뿐인데, 토큰 소비가 거의 두 배 차이 나는 두 설정에서 정답 이후가 차지하는 비중은 같은 자리에 머물렀다.

모델 가격표에는 이 차이가 적혀 있지 않다. 같은 과제를 같은 도구로 푸는데도 한 모델은 답을 낸 뒤 실행의 3분의 1을 더 쓰고, 다른 모델은 절반을 넘겨 쓴다. 상한을 어디에 둘지까지 운영하는 쪽이 고르는 조건이라면, 과제 하나를 끝내는 데 드는 돈은 토큰 단가가 아니라 이 자리에서 갈린다.

3

남은 단계는 대부분 확인과 탐색에 쓰인다

정답이 나온 뒤의 그 단계들에서 에이전트는 무엇을 하고 있을까. 논문은 성공으로 끝난 실행을 대상으로, 기록된 도구 호출과 그 인자를 규칙으로 분류해 다섯 갈래로 나눴다.

가장 큰 몫은 확인이다. 이미 있는 테스트를 돌리고, 테스트 스크립트를 새로 써서 실행하고, 프로젝트를 빌드하는 단계가 설정에 따라 48%에서 63%를 차지한다. 그 다음이 탐색으로 15~29%다. 파일을 열어 보고, 저장소를 검색하고, git으로 자기가 바꾼 내용을 다시 확인하는 일이다. 소스 코드를 또 고치는 단계는 2~6%에 그친다. Seed-OSS만 19%로 혼자 튄다. 나머지는 마무리 작업과 생각이다.

정답 이후 단계를 무엇에 썼나 확인 탐색 다시 편집 마무리 생각·기타 Qwen3-Coder · Verified Qwen3-Coder · Multilingual Laguna-XS.2 · Verified Laguna-XS.2 · Multilingual GPT-6 Luna · Verified Seed-OSS · Pro 막대 전체가 정답 이후 단계 100%다. 반올림 때문에 합이 99나 101인 줄이 있다.

▲ 페블러스 원본 도식. 논문 표 3 상단의 다섯 갈래 비중을 설정별로 쌓아 놓은 것이다. | 출처: arXiv:2611.14960

확인과 탐색을 합치면 어느 설정에서도 7할을 넘는다. 정답 이후에 쓰인 단계의 대부분은 코드를 다시 고치는 데가 아니라 이미 한 일을 되짚는 데 들어간다. 다만 이 분류는 기록된 도구 이름과 인자에 규칙을 걸어 자동으로 매긴 것이라고 논문이 밝혀 두었다. 사람이 단계를 하나씩 읽어 나눈 값은 아니다.

4

오래 돈 에이전트가 자기 정답을 깨뜨린다

정답 판정을 한 번 통과한 패치는 그 뒤에 무엇을 하든 더 맞아지지 않는다. 채점이 움직일 수 있는 방향은 한쪽뿐이다. 되짚는 동안 수정이 멀쩡히 남아 있으면 비용만 더 드는 일로 끝난다. 늘 그렇지는 않다. 논문은 정답 패치에 도달한 실행이 어떻게 마무리되는지도 함께 셌고, 설정에 따라 1~8%는 끝내 오답 패치로 끝났다. 첫 정답에서 멈추기만 했다면 성공으로 남았을 실행이다.

끝까지 정답이 유지된 비율, 한 번 깨졌다가 다시 정답으로 돌아온 비율, 깨진 채 실패로 끝난 비율은 설정마다 상당히 다르다.

설정 끝까지 정답 유지 깨졌다가 다시 정답 깨진 채 실패
Qwen3-Coder · Verified 96% 3% 1%
Qwen3-Coder · Multilingual 82% 10% 8%
Laguna-XS.2 · Verified 84% 11% 5%
Laguna-XS.2 · Multilingual 61% 31% 8%
GPT-6 Luna · Verified 88% 8% 4%
Seed-OSS · Pro 79% 17% 4%

▲ 논문 표 3 하단. 정답 패치에 한 번이라도 도달한 실행만 대상으로 한 비율이다. | 출처: arXiv:2611.14960

Qwen3-Coder가 Verified에서 푼 과제는 96%가 끝까지 정답을 유지했고 깨진 채 끝난 경우는 1%다. 반대쪽 끝은 Laguna-XS.2의 Multilingual이다. 끝까지 유지된 비율이 61%로 내려가고, 31%는 한 번 깨졌다가 다시 정답으로 돌아왔으며, 8%는 돌아오지 못했다. 깨짐이 잦은 쪽과 정답 이후가 긴 쪽이 늘 겹치지는 않는다. Qwen3-Coder의 Multilingual은 정답 이후 비중이 37%인데 깨진 채 끝난 비율이 8%로, 비중 60%인 Laguna-XS.2의 Verified(5%)보다 높다.

왜 깨지는지는 논문이 답하지 않는다. 어떤 종류의 후속 편집이 맞는 수정을 되돌리는지, 과한 리팩터링인지 불필요한 테스트 추가인지는 분석 대상에 들어 있지 않다. 빈도만 보고됐다.

저자들이 내놓은 것도 해법이 아니라 조건이다. 쓸 만한 정지 규칙이라면 실행 중에 모인 증거만으로 제출 시점을 정할 수 있어야 한다. 사후에 공식 채점을 돌려 정답 여부를 알아내는 이 측정 방식은 실행 중에는 쓸 수 없다.

저자들이 스스로 적어 둔 한계도 함께 읽을 대목이다.

  • 벤치마크 세 개, 모델 다섯 개, 프레임워크 두 개이고 과제마다 한 번씩만 돌렸다. 다른 환경에서 같은 그림이 나온다는 보장은 없다.
  • 비용은 단계 수로만 근사했다. 토큰 소비량이나 금액을 직접 측정하지는 않았다.
  • 스스로 멈추지 않고 단계나 맥락 상한에 닿은 채 끝난 실행이 설정마다 1~4% 있었다. 이들은 마지막 단계에서 멈춘 것으로 세었다.
  • 단계 분류는 기록된 도구와 그 인자에 건 규칙으로 매겼다.
  • Seed-OSS는 SWE-bench Pro에서 푼 과제가 적어 그 통계가 작은 표본 위에 서 있다.
5

페블러스가 이 결과에 주목하는 이유

AI 도입 비용을 따질 때 대화는 대개 모델 가격표에서 끝난다. 백만 토큰에 얼마인지, 어느 모델이 싼지를 견주고 그 표를 근거로 결정한다. 이 논문이 더한 축은 가격표 바깥에 있다. 같은 모델, 같은 과제, 같은 도구에서도 실행의 3분의 1에서 절반 넘게가 답이 이미 나온 뒤에 쓰인다.

멈출 줄 안다는 것은 결국 자기가 지금까지 한 일을 읽어 낸다는 뜻이다. 에이전트 앞에 놓인 증거는 자기가 부른 도구의 출력, 자기가 돌린 테스트의 결과, 자기가 만든 패치의 차이뿐이다. 정답 이후 단계의 절반 안팎이 확인에 쓰인다는 수치는, 그 증거를 다 쥐고도 결론에 이르지 못한 시간이 그만큼이라는 쪽으로 읽힌다. 모델을 바꿔서 푸는 문제라기보다 에이전트가 남기는 기록이 판단에 쓸 만한 모양인지의 문제에 가깝다.

기록을 어떻게 남기고 어떻게 손질하느냐가 이어받는 쪽의 판단을 바꾼다는 이야기는 AI 에이전트 기록 정리에서 따로 다뤘다. 실행을 둘러싼 하네스 설계가 같은 모델의 벤치마크 점수를 바꾼다는 이야기는 약한 모델이 아니라 약한 하네스에 있다. 이번 논문이 측정한 자리는 그 둘 사이다. 기록을 넘기기 전도 아니고 하네스를 짜는 단계도 아닌, 실행 한 번이 끝나 가는 지점이다.

에이전트를 업무에 들인 조직이라면 아래 셋이 점검 목록에 오를 만하다.

  • 정답 이후 구간을 따로 센다. 어느 단계에서 답이 됐는지는 로그를 읽는 것만으로는 알 수 없고, 논문이 한 것처럼 중간 상태를 뒤에서 따로 채점해야 나온다. 품이 들더라도 한 번은 측정해 둘 만하다. 평균 실행 길이만 보고 있으면 이 구간은 끝까지 드러나지 않는다.
  • 확인에 끝을 둔다. 한 번 통과한 테스트를 같은 조건으로 다시 돌리는 패턴이 반복되면, 그 반복은 새 정보를 만들지 않는다.
  • 되돌림을 사고로 취급한다. 중간에 맞았다가 최종 제출에서 틀린 실행은 처음부터 못 푼 실행과 구분해 따로 세어 둔다. 1~8%는 작아 보이지만 멈추기만 했으면 성공이었을 몫이다.

우리 회사가 쓰는 에이전트는 일을 끝낸 줄 아는가. 끝난 줄 모르고 요금을 쓰고 있다면, 그 사실은 모델 가격표가 아니라 실행 기록에 적혀 있다.

R

참고문헌