Executive Summary

주요 수치

출처: Zongye Lyu, Same Answer, New Box(arXiv:2610.20639, 2026년 10월 2일).

논문의 첫 장은 ARC-Challenge 한 문항으로 시작한다. 안나가 100미터를 20초에 달렸는데 평균 속도는 얼마인가, 보기는 2 m/s와 5 m/s와 20 m/s와 25 m/s이고 정답은 B) 5 m/s다. 베이스 모델 Qwen2.5-7B의 출력은 "The correct answer is B) 5 m/s."로 끝난다. 같은 모델을 SimpleRL-Zoo가 강화학습시킨 후계 모델의 출력은 "Anna's average speed is \boxed{B}."로 끝난다. 두 답은 같고 둘 다 맞다.

갈리는 것은 채점하는 쪽이다. 답 상자 \boxed{} 안만 읽는 추출기는 베이스 모델의 출력에서 상자를 찾지 못해 기권하고, 그 항목을 오답으로 넘긴다. RL 모델이 채운 상자는 읽어서 정답으로 센다. 한쪽만 점수를 받는다.

이 차이가 문항을 쌓으면 얼마가 되는지를 저자는 두 번 채점해 보인다. ARC-Challenge 500문항에서, 상자만 읽는 추출기로 채점하면 강화학습이 정확도를 30.6점 올렸다고 보고된다. 상자에 있든 본문에 있든 명시된 답이면 집어내는 고정 추출기로 같은 출력을 채점하면 9.8점이다. 차이 20.8점이 저자가 포맷 향상이라 부르는 몫이고, 이 문항 묶음에서는 보고된 향상의 68%에 해당한다.

용어를 하나 정리해 두면 나머지가 쉬워진다. 저자는 공개 저장소의 평가 코드에서 그대로 가져온 추출기를 하니스 추출기라 부르고, 그 추출기가 내놓는 향상을 보고된 향상이라 부른다. 어느 연구팀이 논문에 실은 수치가 아니다. 저자가 공개 체크포인트를 돌려 출력을 새로 만들고, 거기에 그 코드를 적용해 얻은 수치라는 뜻이다.

방법은 단순하다. 같은 출력을 두 번 채점한다. 가중치는 건드리지 않고 강화학습도 다시 돌리지 않는다. 한 번은 하니스 추출기로, 한 번은 저자가 만든 고정 추출기로 읽을 뿐이다.

고정 추출기가 하는 일은 하나다. 같은 답을 두 모델에게 같은 방식으로 세는 것이다. 그래서 명시적으로 진술된 답만 읽는다. \boxed{} 안, "the answer is"나 "Answer:" 뒤, 한 줄에 단독으로 적힌 경우, "option"이나 "choice" 뒤가 그 자리다. 답을 찾지 못하면 기권하고 그 항목은 어느 모델에게나 오답이 된다. 대신 항목을 아예 빼지는 않는다. 건너뛸 수 있는 추출기는 어려운 문제만 골라 빼고 자기 정확도를 올릴 수 있기 때문이다.

이 규칙이 두 모델에 고르게 적용되는지도 숫자로 적혀 있다. 82%를 떠받치는 비교들에서 고정 추출기는 베이스 모델 출력의 87%, RL 모델 출력의 88%에서 답을 찾아낸다. 향상을 나누는 식은 그 위에 얹힌다. 하니스 추출기로 채점한 RL과 베이스의 차이가 보고된 향상이고, 고정 추출기로 채점한 차이가 답 자체의 향상이다. 둘의 차가 포맷 향상이고, 포맷 향상이 보고된 향상에서 차지하는 비율이 포맷 비중이다.

재료는 세 공개 배포본에서 가져온 베이스·RL 일곱 쌍이다. SimpleRL-Zoo, 같은 연구팀의 SimpleRL-Zero, 그리고 Open-Reasoner-Zero다. 두 조건을 통과한 것은 그중 네 쌍으로, Qwen2.5-Math-7B의 Zoo·Zero 후계 모델과 Qwen2.5-7B·Mistral-7B-v0.1의 Zoo 후계 모델이다. DeepSeek-Math-7B 쌍은 나눌 향상 자체가 없었고, Qwen2.5-1.5B는 베이스 모델의 출력이 거의 다 토큰 한도까지 달려 고정 추출기에 걸릴 답이 없었다.

시험대는 MMLU와 MMLU-Pro와 ARC-Challenge, 세 영역 밖 객관식 벤치마크다. 하니스 추출기는 공개 저장소 여섯 곳에서 가져왔고, 그중 객관식을 맡는 넷이 서로 다른 자리를 본다. MATH 평가 코드와 Open-Reasoner-Zero는 마지막 \boxed{}만 보고, Qwen2.5-Math는 상자를 먼저 보되 글자가 없으면 본문을 읽으며, simple-evals는 "Answer: X" 꼴의 줄을 찾는다. 프롬프트는 상자를 요구하는 쪽과 형식을 아무것도 요구하지 않는 쪽, 둘 다 돌린다.

세 벤치마크에서 하니스 추출기가 보고하는 향상은 비교 하나당 평균 22.5점이다. 같은 출력을 고정 추출기로 읽으면 4.0점이다. 46개 비교를 묶으면 포맷 비중이 82.2%, 95% 신뢰구간이 77.4~87.2%로 나온다. 쪼개 봐도 한쪽으로 쏠리지 않는다. 벤치마크별로는 81~84%, Qwen 쌍별로는 76~87% 사이에 들어온다.

네 쌍 가운데 미스트랄 쌍은 성격이 다르다. 하니스 추출기는 7.7점 향상을 보고하지만 고정 추출기로 채점하면 0.7점 하락이다. 답 자체는 나아지지 않았다는 뜻이고, 그래서 이 쌍의 포맷 비중은 100%를 넘는다.

82%가 저자 자신이 고른 선택들 위에 서 있다는 것은 저자도 안다. 그래서 하나씩 바꿔 가며 다시 셌다. 고정 추출기의 규칙을 더 느슨하게도 더 엄격하게도 바꾸고, 쌍 하나나 벤치마크 하나나 하니스 추출기 하나를 빼고, 프롬프트를 한쪽만 쓰고, 비중이 100%를 넘는 비교를 들어냈다. 어느 경우에도 비중은 75%와 87% 사이에 머문다. 가장 크게 움직인 것은 무엇을 묶느냐였고, 향상이 0이 아닌 비교를 전부 묶었을 때의 75%가 그 바닥이다.

3.1저자 코드를 모르는 판독기도 비슷한 결과를 낸다

고정 추출기 자체가 결과를 만들어 내고 있을 가능성은 남는다. 그래서 저자는 자기 코드를 전혀 공유하지 않는 언어모델 판독기 둘에게 82%의 바탕이 된 출력에서 뽑은 2,720개 응답을 각자 읽혔고, 둘이 갈리면 제3의 판독기가 정했다. 판독기는 질문과 보기와 응답 하나만 볼 뿐 어느 모델의 것인지도 정답이 무엇인지도 모른다. 그 채점으로 나온 포맷 비중은 77%다.

둘의 판정은 거의 포개진다. 추출기가 답을 찾아낸 응답의 98.6%에서 판독기도 같은 답을 읽었고, 갈리는 곳은 추출기가 기권한 자리뿐이다. 거기서 판독기가 건져 올린 답은 RL 모델 쪽이 더 자주 맞아, 판독기는 RL에게 조금 더 큰 향상을 인정한다. 82%와 77%의 차이가 거기서 나온다. 둘이 실제로 다른지 가릴 만큼 표본이 크지는 않다.

3.2상자를 달라고 미리 말해도 사라지지 않는다

프롬프트를 바꿔도 결론은 버틴다. 최종 답을 \boxed{} 안에 한 글자로 쓰라고 명시하는 프롬프트에서 비중은 79%이고, 형식을 요구하지 않는 프롬프트에서는 86%다. 방향은 기제가 예측하는 그대로다. 상자를 달라고 하면 베이스 모델도 상자를 더 쓰므로 상자만 보는 추출기에 가려지는 답이 줄어든다. 그래도 RL 모델이 더 많이 쓰고, 향상의 대부분은 여전히 포맷이다.

다만 프롬프트를 더 크게 흔든 경우가 하나 더 있다. 본 실험의 두 프롬프트는 모델이 들고 오는 기본 시스템 메시지를 그대로 두었는데, Qwen2.5-Math-7B의 기본 메시지는 그 자체가 상자를 요구한다. 이것을 저자가 직접 쓴 요구로 갈아 끼운 예비 실험에서 Qwen2.5-Math-7B와 SimpleRL-Zoo 쌍의 MMLU 비중은 31%로 내려간다. 같은 쌍이 본 실험의 두 프롬프트에서는 88%와 86%였다. 그 프롬프트 아래에서는 베이스 모델 출력의 45%에 고정 추출기가 찾을 답이 아예 없었으니, 거기서 나온 향상의 상당 부분은 답을 더 맞힌 향상이 아니라 답을 적게 된 향상이다. 비중은 쌍과 프롬프트와 추출기가 함께 만드는 성질이라고 저자는 정리한다.

추출기를 바꾸면 같은 출력에서 보고되는 향상이 널뛴다는 것도 숫자로 남아 있다. 그림 1의 그 출력에서 상자만 보는 두 추출기는 30.6점을 보고하지만, 본문의 글자도 읽는 Qwen2.5-Math의 추출기는 1.0점을, "Answer:" 줄을 찾는 simple-evals의 추출기는 1.8점 하락을 보고한다. 부호까지 갈린다. 쌍과 벤치마크와 프롬프트의 조합 112개에서 하니스 추출기들이 같은 비교에 보고하는 최댓값과 최솟값의 차이는 중앙값 15.1점이다. 자기 프롬프트가 요구하는 "Answer:" 줄을 찾는 simple-evals의 추출기 둘을 빼고 세면 10점으로 내려간다.

왜 이런 일이 생기는지는 답이 적힌 자리를 세어 보면 드러난다. 영역 밖 객관식에서 고정 추출기가 답을 읽어 낸 출력 가운데 \boxed{}가 들어 있는 비율은 베이스 모델이 26.6%, RL 모델이 58.3%다. 베이스 모델의 나머지 답은 거의 전부 "the answer is"나 "Answer:" 뒤에 본문으로만 적혀 있고, 출력 어디에도 상자가 없다. 상자만 보는 추출기는 베이스 모델의 답을 대부분 놓치고 RL 모델의 답은 덜 놓친다. 그 차이가 포맷 향상이다.

4.1영역 안에서는 격차가 없다

같은 모델을 영역 안 자유서술 수학에 올리면 그림이 달라진다. MATH-500과 GSM8K에서는 고정 추출기가 답을 찾아낸 출력의 96~97%에 \boxed{}가 들어 있고, 이 비율은 베이스와 RL이 사실상 같다. 둘 다 거의 항상 상자에 쓰니 상자만 보는 추출기와 고정 추출기가 같은 답을 세게 되고, 포맷 향상은 0에 가까워진다. 강화학습이 가르친 것은 답을 상자에 쓰는 습관이고, 보상이 닿지 않는 객관식 문제에서도 그 습관이 따라 나온 것이다.

토큰 한도 때문에 답이 잘려 상자가 비었을 뿐이라는 설명도 저자는 따로 기각해 둔다. 두 모델 모두 한도에 닿지 않은 항목만 추려 보면 격차가 좁아지지 않고 오히려 벌어진다. 상자를 담은 비율이 베이스 34.7%, RL 81.9%다.

포맷에 보상을 주면 점수가 오른다는 것 자체는 이미 알려져 있었다. Shao 등은 정답 여부와 무관하게 \boxed{} 표현을 만들기만 해도 보상을 주는 학습으로 Qwen2.5-Math-7B의 MATH-500 정확도가 13.8점 오르는 것을 보였고, 이는 정답 보상이 주는 향상의 절반쯤이다. 답 형식이 보고된 수치를 흔든다는 지적도 있었다. Chandak 등은 강화학습 논문 일곱 편이 적은 베이스 모델 정확도가 대개 공식 수치보다 낮다는 것을 찾아 답 형식과 파싱을 원인 중 하나로 꼽았고, 문항별 출력을 공개하라고 요구하는 데서 멈췄다. 이 연구가 새로 한 일은 공개된 체크포인트에 실제로 보고된 향상에서 그 몫이 얼마인지를 센 것이다.

4.232B 쌍에서는 이런 일이 생기지 않는다

포맷 향상이 모든 강화학습에서 생기는 것은 아니다. DAPO로 학습한 Qwen2.5-32B 쌍에서 포맷 비중은 9개 비교 기준 2.1%다. 95% 신뢰구간은 −18.5%에서 19.9%로 넓다. 고정 추출기로 채점해도 보고된 향상이 거의 줄지 않는다는 뜻이다.

저자는 이 쌍을 네 쌍을 정하기 전에 떼어 두었고, 출력을 만들기 전에 이 쌍의 비중이 40% 아래로 나오면 82%를 7B 이하 모델에서만 나는 일로 보겠다고 선언해 두었다. 이유도 대칭적이다. 상자를 달라고 하면 32B 베이스 모델은 이미 거의 모든 답을 상자에 쓰고, 요구가 없으면 DAPO로 학습한 쪽도 상자를 거의 쓰지 않는다. 두 모델이 답을 적는 자리가 갈리지 않으니 추출기 선택이 점수를 바꾸지 못한다. 다만 쌍 하나로는 이 차이가 규모에서 왔는지 DAPO라는 방법에서 왔는지 베이스 모델에서 왔는지 가릴 수 없다고 저자는 덧붙인다.

4.3저자가 스스로 그은 선

이 연구가 말하지 않는 것도 논문에 또렷하게 적혀 있다. 네 가지다.

• • 발표된 수치를 분해한 것이 아니다. 저자가 체크포인트를 직접 돌려 만든 출력에 자기가 고른 프롬프트와 추출기를 적용해 얻은 향상을 가른 것이다. SimpleRL-Zoo는 자체 프롬프트와 온도 1.0 샘플링, 본문의 글자도 보는 스크립트로 자기 수치를 냈고 저자는 그 평가를 재현하지 않았다. 82%는 그 발표 수치의 추정값이 아니다
• • 비중이 안정적인 자리는 영역 밖 객관식뿐이다. 자유서술인 BBH나 영역 안 벤치마크에서는 무엇을 묶느냐에 따라 비중이 50점 넘게 움직여 인용할 수 없다. 포맷 향상이 영역 밖이라는 성질을 따라다니는지 객관식이라는 답 형식을 따라다니는지 이 연구는 가리지 못한다
• • 상자를 먼저 읽는 추출기에 기대고 있다. 82%를 떠받치는 향상은 거의 전부 \boxed{}를 먼저 보는 추출기가 보고한 것이다. 본문의 글자까지 보는 Qwen2.5-Math의 추출기는 자기가 맡은 비교에서 56%를 보고한다
• • 한 계열, 한 크기다. 네 쌍은 모두 SimpleRL 배포본에서 나왔고 7B 베이스 모델 셋에 얹혀 있으며, 보고된 향상의 거의 전부를 Qwen 베이스 모델이 지고 있다. 다른 모델 계열에서도 같은 비중이 나올지는 열려 있다

모델 성능을 보고하는 자리에서 사람들은 보통 숫자부터 묻는다. 몇 점에서 몇 점으로 올랐는지, 그 차이가 우연으로 설명될 만한지다. 이 연구가 가리키는 것은 그 앞 칸이다. 그 숫자를 누가 읽어 냈는가. 다행히 확인 비용은 거의 들지 않는다. 강화학습도 추론도 다시 돌릴 필요 없이, 저장해 둔 출력을 두 번째 추출기로 다시 읽으면 된다. 저자가 결론에 적어 둔 수칙 셋이 모두 거기서 나온다.

• • 수치 뒤에 어느 추출기를 썼는지 이름을 적는다. 같은 출력에서 추출기에 따라 향상이 중앙값 15.1점 벌어진다면, 추출기 이름 없는 점수는 절반만 적은 수치다
• • 추출기가 베이스 모델의 출력에서 답을 읽어 낸 비율을 함께 보고한다. RL 모델이 생기기 전에도 측정할 수 있고, 이 연구에서도 베이스 모델에서 답을 가장 많이 건진 추출기가 포맷 향상을 가장 적게 보고했다
• • 두 모델의 명시된 답을 모두 읽는 두 번째 추출기로 같은 출력을 다시 채점한다. 두 결과의 차이가 곧 포맷 향상이다

이것이 남의 집 이야기가 아닌 이유는 저자가 함께 센 수에 있다. 최근 RLVR·추론 모델 공개 자료 18건 중 17건이 영역 밖 객관식 결과를 싣고 있었고, 그중 13건이 생성된 텍스트에서 답을 뽑아냈다. 로그우도로 채점한 것이 1건, 방법을 적지 않은 것이 3건이다. 사내 평가로 옮기면 질문은 이렇게 바뀐다. 우리 평가 스크립트는 무엇을 정답으로 인정하는가. 그 규칙을 바꾸면 지난 분기의 개선 보고에서 무엇이 남는가. 답하려면 모델이 뱉은 출력을 점수만 남기고 버리지 않았어야 하고, 그 출력이 어느 체크포인트의 어느 프롬프트에서 나왔는지가 적혀 있어야 한다. 둘 다 있으면 재채점은 노트북 한 대로 끝나고, 하나라도 없으면 같은 질문에 영영 답할 수 없다.

다만 이 결과를 강화학습이 아무것도 가르치지 않는다는 말로 받아들이면 과하다. 고정 추출기로 다시 세어도 4.0점은 남고, 영역 안에서는 포맷 향상이 0에 가깝고, 32B 쌍에서는 보고된 향상이 거의 그대로 남았다. 이 연구가 좁혀 말하는 것은 하나다. 영역 밖 객관식에서 보고된 향상의 상당 부분은 모델이 아니라 그 숫자를 만든 프로그램의 성질이고, 그것은 저장된 출력만으로 확인된다.

여기까지 읽어 주셔서 감사하다. 이 글의 사실관계는 arXiv에 공개된 논문 원문에서 확인했다. 저자는 생성과 채점 코드, 고정된 평가 항목과 해시, 독립 판독기의 응답을 보조 파일로 함께 올려 두었고, 생성 결과 264개 파일의 SHA-256 해시도 같이 공개했다. 사내에서 모델 평가 결과를 보고할 때 어느 추출기를 썼는지 함께 적어 두고 계신지, 저장된 출력을 다른 규칙으로 다시 채점해 보신 사례가 있다면 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 19일