Executive Summary

주요 수치

출처: Gan 외, How Output Format Confounds Data Quality and Capability in Instruction Tuning arXiv:2609.02015v1(2026-09-02) 본문 및 부록 A~F

논문이 출력 인터페이스라고 부르는 것은 같은 내용을 적어 내는 표면 형식이다. 그냥 답만 적는 평범한 답변, 원문에서 잘라 낸 원시 스팬, JSON 필드, 태그를 붙인 스팬. 이 네 가지로 학습과 그래디언트 측정을 하고, 문장으로 답하기와 괄호 토큰 두 가지는 학습에서 빼 두었다. 선별 규칙이 한 번도 보지 못한 형식에서 능력이 얼마나 남는지 재기 위한 장치다.

저자들의 출발점은 학습 전에 이미 관찰되는 수치다. 지시문과 정답을 고정하고 형식만 갈아 끼우면 학습하지 않은 기본 모델의 정확도가 ARC-C에서 70점까지 움직인다. 네 형식 전부에서 평가된 여섯 과제로 평균을 내도 22.5점이 흔들린다. 어떤 점수가 형식만 바꿔도 움직인다면 그 점수는 내용이 아니라 포장을 잰 것이다. 이 문장이 논문 전체를 관통한다.

형식이 벤치마크를 흔든다는 관찰 자체가 새로운 것은 아니다. Sclar 등이 2024년에 뜻이 같은 형식으로 갈아 끼우는 것만으로 few-shot 정확도가 최대 76점까지 흔들린다는 것을 보였고, Do 등이 2025년에 형식 선호가 벤치마크 순위를 왜곡한다고 보고했다. 이 논문이 옮긴 자리는 그다음이다. 추론 시점의 점수에서 학습 데이터가 만드는 그래디언트 자체로 내려가, 품질 판정과 능력 측정 양쪽에 형식이 어떻게 스며드는지를 본다.

시험대는 분류와 객관식 과제 12개다. 감성 분석의 sst2와 yelp, 자연어추론의 rte와 qnli, 예 아니오 질의응답 boolq, 상식과 추론 계열의 copa, piqa, hellaswag, winogrande, arc_challenge, commonsense_qa, 그리고 주제 분류 ag_news. 데이터 조건은 형식을 고정한 채 내용만 훼손하는 네 가지로 나눴다. 정상, 라벨 뒤섞기, 다른 예제의 답 붙이기, 그리고 형식 틀만 남기고 내용물을 비우는 조건이다. 모델은 Qwen3.5-4B와 9B, Mistral-7B-v0.3 세 계열이고 전부 저랭크 어댑터로 학습했다.

비교의 공정성을 위해 모든 선별기가 같은 예산 안에서 고른다. 유닛 24개, 유닛당 예제 64개다. 더 많이 골라서 이겼다는 설명이 끼어들 자리를 없앤 것이다. 사전등록 문서에는 눈먼 띠의 폭부터 개입 실험의 합격선까지 판정 기준이 결과를 보기 전에 얼려 둔 채로 적혀 있다.

최근 제안된 데이터 품질 지표 가운데 한 갈래는 학습 업데이트의 그래디언트 스펙트럼을 스칼라 하나로 요약한다. effective rank나 nuclear norm 같은 값이다. 논문의 정리 1은 이 선택이 왜 위태로운지를 먼저 증명으로 밝힌다. 특이값만 읽는 함수는 업데이트의 크기는 남기고 방향은 버리는데, 형식이 만드는 오프셋과 형식과 내용이 얽히는 상호작용 항이 사는 곳이 바로 그 방향이기 때문이다. 다만 정리가 가정한 회전은 이상화된 형태이고 실제 형식 변화는 거기에 근사할 뿐이라, 논문도 무게를 실은 근거는 증명이 아니라 다음의 실측이라고 적어 둔다.

실측도 증명을 따라간다. 정상 유닛을 손상 유닛보다 위로 올리는 능력을 세 손상 조건에 걸쳐 묶어 재니 effective rank는 세 모델 계열에서 0.415와 0.545와 0.588을, nuclear norm은 0.468과 0.517과 0.399를 기록했다. 여섯 값 모두 논문이 세 번째 계열 반복 전에 고정해 둔 눈먼 띠 0.35에서 0.65 안에 있고, 부호도 한 방향으로 모이지 않는다. 신호가 약하게라도 남아 있다기보다 원리대로 아예 안 보이는 쪽에 가깝다.

방향을 읽는 점수는 다르게 움직였다. 잔차 정렬은 4B에서 0.789를 기록했고 비슷한 계열의 정합 정렬이 0.784로 뒤를 이었다. 9B에서는 0.579, Mistral에서는 0.670으로 우위가 줄었는데, 9B의 0.579는 눈먼 띠 안에 들어간 값이다. 가장 어려운 손상 조건인 라벨 전면 뒤섞기에서도 9B와 Mistral은 사전등록한 0.10의 여유를 채우지 못해 규모 제한으로 기록됐다. 그래서 이 두 계열에서 방향 읽기를 지탱하는 근거는 묶음 수치가 아니라 아래의 특이성 검정이다. 손상 강도를 세 단계로 올리면 4B의 잔차 정렬 선택력이 0.556에서 0.676을 거쳐 0.706으로 단조롭게 올라간다. 손상의 유무를 넘어 손상의 양까지 따라간다는 근거다.

그렇다면 이 잔차라는 것은 무엇인가. 형식 네 개의 그래디언트에서 공통분을 빼고 남은 부분이다. 손상된 데이터는 그래디언트가 더 어수선해지니 잔차 정렬이 낮게 나올 뿐, 내용 정보는 없는 잡음일 수 있다. 저자들은 이 대안을 사전등록한 특이성 검정으로 걷어 냈다. 정상 유닛 48개 전부에서, 후보 과제 12개 가운데 자기 과제가 1위로 올라왔다. 적중률 1.00이고 우연 수준은 12분의 1인 0.083이다. 자기 과제 정렬은 0.978, 다른 과제 평균은 0.404였고, 이 결과는 세 모델 계열 모두에서 순열검정 p가 1만분의 1 미만으로 재현됐다.

측정 쪽 이야기가 끝나면 능력 쪽이 남는다. 저자들은 과제마다 형식 네 개로 각각 어댑터를 학습시키고, 그 어댑터를 형식 네 개 전부에서 평가해 4×4 전이 지도를 만들었다. 대각선은 같은 형식에서 얼마나 올랐는지, 나머지 칸은 그 능력이 다른 형식으로 얼마나 옮겨 가는지를 담는다. 같은 형식에서 10점 이상 오르면서 다른 형식으로의 전이 비율이 0.2에 못 미치면 그 칸을 갇혔다고 판정한다.

모델 설정 네 가지에서 지도를 그렸다. 4B의 시드 두 개와 9B, Mistral이다. 24칸 가운데 같은 형식 상승이 10점 이상인 칸이 각각 14개, 14개, 18개, 24개였고, 그중 완전히 갇힌 칸은 5개, 7개, 6개, 2개였다.

가장 선명한 사례는 RTE를 원시 스팬으로 배운 칸이다. 같은 형식 정확도가 41점에서 46점 사이로 오르는 동안 나머지 세 형식으로의 전이는 0 근처에 머문다. 능력이 적힌 주소에서만 읽히는 셈이다. 이것이 표본 한 번 잘못 뽑아서 생긴 그림이 아니라는 근거도 두 가지 있다. qnli를 원시 스팬으로 배운 조합은 세 아키텍처와 두 시드를 아우르는 네 지도 전부에서 갇혔고, rte와 원시 스팬 조합은 넷 중 셋에서 갇혔다. 4B 첫 시드에서 갇힌 다섯 칸은 둘째 시드에서도 다섯 칸 그대로 다시 갇혔다.

형식은 능력이 어디서 읽히느냐를 넘어 애초에 배워지느냐까지 가른다. COPA는 원시 스팬으로 배우면 같은 형식에서 43점이 오르는데, 똑같은 내용을 평범한 답변 형식으로 배우면 4점밖에 오르지 않는다. ARC는 방향이 반대다. 원시 스팬으로는 66점이 오르지만 같은 예제를 JSON 필드에 담는 순간 정확도가 1.3점 떨어진다. 어느 형식이 유리한지는 과제마다 다르고, 형식이 결과를 정할 수 있다는 사실만 공통이다.

선별기 자체를 나무라기는 어렵다. LESS 계열의 방향 읽기 선별은 학습에 쓴 형식에서 정답 라벨을 아는 오라클과 2.5점 남짓 차이로 붙었고 무작위 선별보다 15.6점 앞섰다. 그 오라클도 형식을 넘지는 못한다. 4B에서 학습 형식 상승 25.2점이 학습에서 빼 둔 형식에서는 7.4점으로 떨어진다. 그래서 저자들은 학습 형식 상승과 held-out 형식 상승을 함께 보고하라고 권한다.

평가 쪽에서는 형식 대신 예산이 같은 일을 했다. 저자들은 GSM8K 정확 일치 채점을 다시 돌리면서 프롬프트와 디코딩 파라미터와 정답 추출 규칙을 전부 고정하고 생성 토큰 예산만 192에서 768로 늘렸다. 192는 원래 선별 파이프라인이 쓰던 값이다.

움직인 것은 학습하지 않은 기본 모델 하나뿐이었다. 4B에서 19.5가 78.0으로, 9B에서 1.0이 24.0으로 올랐다. 미세조정한 시스템은 어느 선별기로 데이터를 골랐든 0.5점 안에서 평평했고, 정답 라벨을 그대로 쓴 오라클도 4B에서 21.0으로 다르지 않았다. 9B의 오라클 조건은 돌리지 않았다.

이유는 실력이 아니라 절단이었다. 짧은 예산에서 기본 모델은 중앙값 기준 650자쯤 되는 긴 풀이를 쓰다가 192토큰 천장에 걸려 잘린다. 그래서 추출된 답의 66에서 85퍼센트에는 숫자가 아예 없고, 채점기는 그것을 오답으로 처리한다. 미세조정한 모델은 20자 안팎으로 짧게 답하고 종료 토큰에서 멈추니 예산을 늘려도 점수가 그대로다.

그 결과 보고되는 결론의 부호가 바뀐다. 짧은 예산만 보면 미세조정이 GSM8K를 올린 것으로 읽힌다. 9B에서 1.0이 14.0으로, 13점 오른 것이 그 근거다. 예산을 고쳐 기본 모델이 끝까지 풀게 두면 같은 학습이 4B에서 58점가량, 9B에서 10점가량 깎아내린 것으로 읽힌다. 역전은 선별기와 무관하고 정답 라벨 오라클에서도 똑같이 일어난다. 짧은 규약이 잰 것은 모델이 추론을 할 수 있는가가 아니라 일찍 멈추는가였다.

스펙트럼은 못 쓰고 방향은 쓸 만하다. 결론을 이렇게 줄이고 싶어지지만 논문은 그렇게 닫지 않는다. 저자들은 자기 주장의 가장자리를 사전등록한 시험 세 벌로 직접 그어 두었고, 그중 하나는 방향 읽기가 무너지는 조건을 보여 준다.

먼저 정렬 점수가 입력 표면에 끌린다. 라벨 지도는 그대로 두고 상관없는 문장을 입력에 끼워 넣는 손상이, 라벨의 절반을 뒤집는 손상보다 잔차 정렬을 더 크게 움직였다. 두 손상의 차이는 4B에서 -0.11, 9B에서 -0.27이고 규모가 커질수록 커진다. 의미가 망가진 정도를 잰다고 보고하는 점수가 실제로는 입력의 겉모습도 함께 읽는다.

손상이 실험 설계가 아니라 현실에서 생긴 데이터에서는 결과가 뒤집힌다. 원래의 Alpaca 출력과 커뮤니티가 고쳐 쓴 출력을 같은 지시문 아래 짝지어 놓고 재자, 앞서 구성한 손상 조건마다 신호를 잡아 내던 정렬 읽기가 AUC 0.56에 그쳤다. 순열검정 p가 0.44라 사전등록 문턱 0.60에 미치지 못한 실패로 기록됐다. 같은 풀에서 effective rank는 1.00, nuclear norm은 0.00으로 두 무리를 거의 완벽하게 갈랐다. 다만 그 완벽함은 품질이 아니라 응답 길이를 따라간 것이었다.

방향 읽기가 언제나 무력하다는 말은 아니다. 사람이 손으로 만들지 않은 또 다른 손상, 곧 다른 예제의 입력을 모델이 유창하게 바꿔 쓴 뒤 원래 답을 그대로 붙인 계열에서는 정렬이 세 계열에서 1.00과 1.00과 0.98로 천장에 붙었고 스펙트럼은 0.12와 0.01과 0.14로 눈먼 띠 바깥 반대쪽으로 떨어졌다. 어느 손상이냐에 따라 어느 지표가 맞는지가 달라진다는 것이 이 세 실험의 합이다.

논문은 원리 쪽 한계도 명제 하나로 못 박아 둔다. 형식 하나만 보고 견줄 기준 없이 잰 값으로는 의미 품질과 형식 적합을 갈라낼 수 없다는 것이다. 같은 관측을 만들어 내는 조합이 여럿이라 어느 쪽이 움직였는지 정할 수가 없다. 갈라내려면 기준이 하나 더 있어야 한다. 목표 과제의 그래디언트와 견주면 의미 축이 잡히고, 형식 네 개를 함께 읽으면 형식 축이 잡힌다. 합의 정렬에 잔차 정렬을 얹은 이중 선별기가 합의만 쓴 선별기를 끝내 넘지 못한 것도 여기서 설명된다. 두 점수는 같은 축을 더 정밀하게 재는 것이 아니라 서로 다른 축을 잰다.

고치는 손잡이도 아직 없다. 잔차가 형식 축을 읽는다면 학습 중에 그 축을 지워 갇힌 능력을 풀 수 있을 법한데, 실제로 해 보니 되지 않았다. 저랭크 업데이트에서 랭크 3짜리 형식 부분공간을 투영으로 걷어 내고 다섯 시드로 돌렸을 때 가장 단단히 갇힌 두 칸의 전이 상승은 각각 0.25점과 1.05점이었다. 부트스트랩 구간이 0을 물고 있어 사전등록한 합격선 5점에 한참 못 미친다. 투영이 실제로 작동했다는 것은 업데이트 에너지의 6.5퍼센트가 제거됐다는 조작 확인으로 따로 검증됐다. 학습 전 그래디언트 기하로 어느 칸이 갇힐지 내다보는 시도도 4B에서 AUC 0.21로 등록한 방향과 반대로 나왔고, 라벨을 미리 감춘 9B의 18칸 확증 세트에서는 0.486에 p가 0.55로 우연과 구별되지 않았다.

실험이 닿은 범위는 좁고, 저자들도 그 선을 감추지 않는다. 분류와 객관식 과제, 그리고 저랭크 어댑터에 한정되고 모델은 10B 미만 세 계열이며, 시드를 가장 깊게 반복한 것은 그중 가장 작은 모델이다. 장문 생성이나 전체 파라미터 학습으로 넓히는 일은 후속 과제로 남았다. 저자들이 이 음성 결과들을 실패가 아니라 범위라고 부르는 이유이기도 하다. 그래디언트 기하는 형식 혼입을 드러내는 진단으로는 날카롭지만 학습 중에 그것을 없애는 손잡이로는 아직 쓰이지 않는다.

그러면서도 논문은 지금 당장 할 일을 네 줄로 적어 둔다. 학습에 쓴 형식의 상승 옆에 학습에서 빼 둔 형식의 상승을 나란히 적을 것, 품질 지표는 손상 조건을 뭉뚱그린 묶음 수치가 아니라 의미 손상만 가려내는 선택력으로 채점할 것, 능력은 기본 모델과 미세조정 모델이 모두 스스로 멈추는 예산에서 잴 것, 형식 하나의 스펙트럼 대신 형식들을 가로지르는 합의 방향을 읽을 것.

여기서부터는 논문이 시험한 내용이 아니라 그 결과와 권고를 조직의 데이터에 겹쳐 본 이 글의 해석이다.

데이터 품질 점수를 대시보드 숫자로 신뢰하는 팀이라면 이 논문에서 가장 먼저 확인할 것은 그 점수가 무엇에 붙어 있는가다. 논문의 결론 문장은 품질을 유닛 하나에 붙이지 말고 유닛과 형식이 이룬 짝에 붙이라는 것이다. 같은 지시문과 같은 정답을 JSON으로 받느냐 원시 스팬으로 받느냐에 따라 점수가 갈린다면, 점수표에 형식이 적혀 있지 않은 순간 그 표는 재현되지 않는다.

미세조정 성과를 보고할 때도 마찬가지다. 학습에 쓴 형식에서만 재면 능력은 실제보다 커 보이고, 다른 형식에서만 재면 실제보다 작아 보인다. 논문이 형식 두 개를 학습에서 아예 빼 둔 것은 그 격차를 눈에 보이게 만들기 위해서였고, 정답 라벨을 아는 오라클조차 25.2점이 7.4점으로 떨어졌다.

표 파운데이션 모델을 다룬 지난 글에서도 같은 모양의 공백을 만났다. 그때는 값에 붙은 단위가 스키마에 없었고, 이번에는 점수에 붙은 형식이 기록에 없다. 값만 남기고 값을 둘러싼 조건을 버리면 측정이 무엇을 잰 것인지 되짚을 길이 사라진다는 점은 같다.

지금 확인해 볼 만한 것은 세 가지다.

• 품질 점수를 매길 때 그 데이터가 어떤 출력 형식에 담겨 있었는지가 기록에 남아 있는가. 형식이 적히지 않은 점수는 다른 형식에서 재현되지 않는다.
• 미세조정 성과를 학습에 쓴 형식에서만 재고 있는가. 학습에서 빼 둔 형식 하나를 평가용으로 남겨 두면 능력이 형식에 갇혔는지가 곧바로 보인다.
• 두 시스템의 벤치마크 점수를 비교하기 전에 생성 예산과 정답 추출 규칙이 같았는지 확인했는가. 이 논문에서 결론의 부호를 뒤집은 것은 모델이 아니라 그 규약이었다.

데이터 자체를 갖추는 문제는 AI-Ready Data의 조건에서 이어 볼 수 있다.

여기까지 읽어 주신 데 감사드린다. 원문은 arXiv:2609.02015에서 전문을 볼 수 있고, 이 글의 수치는 본문과 부록 A부터 F까지에서 직접 확인했다. 품질 점수나 벤치마크 결과에 측정 조건을 함께 기록하고 있는 팀이 있다면 어떤 방식으로 남기는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 9월 7일

• 1.Gan, C., Wei, H., Liang, Y., Zhang, Q., Ni, S., Cai, Z. (2026). "How Output Format Confounds Data Quality and Capability in Instruction Tuning." arXiv:2609.02015.
• 2.Sclar, M., Choi, Y., Tsvetkov, Y., Suhr, A. (2024). "Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting." ICLR 2024.
• 3.Do, X.L., Ngoc, H.N., Sim, T., Dao, H., Joty, S., Kawaguchi, K., Chen, N.F., Kan, M-Y. (2025). "LLMs Are Biased Towards Output Formats! Systematically Evaluating and Mitigating Output Format Bias of LLMs." NAACL 2025.