Executive Summary

주요 수치

출처: Carletti 외, arXiv:2608.20116 (2026-08-20)

아래 네 숫자는 성격이 다릅니다. 50%는 연구진이 실험을 만들 때 미리 정해 둔 설계값이고, 나머지 셋은 그 설계 위에서 측정된 결과입니다. 나온 조건도 저마다 달라서 한 줄로 이어 읽으면 안 됩니다. 각 카드의 작은 글씨가 그 조건을 적어 둔 자리입니다.

논문이 첫 장에서 드는 예는 병원과 공장입니다. 의료진의 소견에는 환자가 안정적이라고 적혀 있는데 활력징후는 계속 나빠지고 있습니다. 공장에서는 센서 값이 정상 범위인데 정비 리포트가 고장이 임박했다고 말합니다. 어느 쪽도 조작되거나 오염된 값이 아닙니다. 두 기록이 서로 다른 시점을 보고 있거나, 한쪽이 더 성기게 관측됐거나, 한쪽은 관측이 아니라 예측이기 때문에 갈라진 것입니다.

연구진은 이런 상황에서 모델이 어느 쪽 손을 들어 주는지를 판정이라고 부릅니다. 문제는 실제 데이터에서는 이걸 재기가 거의 불가능하다는 점입니다. 현장 데이터에서는 어느 쪽이 정답인지, 어느 쪽이 더 믿을 만한지가 대개 애매하기 때문입니다. 그래서 이 연구는 정답을 처음부터 손에 쥔 채로 충돌을 인공적으로 만들어 냅니다.

충돌 자체가 새로운 주제는 아닙니다. 문서끼리 어긋나는 경우, 모델이 학습으로 익힌 지식과 프롬프트로 들어온 지식이 어긋나는 경우는 이미 여러 차례 다뤄졌습니다. 그 연구들에서 모델은 증거가 놓인 위치와 문체에 쉽게 휘둘렸고, 충돌 앞에서 모르겠다고 말하는 일이 드물었습니다. 이 논문이 비어 있다고 본 자리는 텍스트와 숫자 사이입니다.

만드는 방식은 이렇습니다. 0과 1 사이를 오가는 잠재 위험 궤적을 하나 생성하고, 그 궤적에서 숫자 시계열과 자연어 요약문을 동시에 뽑아냅니다. 관측 구간은 16단계이고 1분 간격이며, 모델이 맞혀야 하는 것은 그다음 시점의 값이 0.5보다 높은지 낮은지입니다. 정답이 되는 값은 문턱에서 충분히 떨어진 곳에 놓이도록 설계됐습니다. 과제 자체를 쉽게 만들어 두어야, 틀렸을 때 그 원인이 능력이 아니라 판정이라고 말할 수 있기 때문입니다.

충돌은 반대 라벨을 조건으로 두 번째 궤적을 새로 뽑아 만듭니다. 원래 숫자는 그대로 두고, 새로 뽑은 궤적을 같은 생성기로 문장으로 옮깁니다. 그러면 그 자체로는 앞뒤가 맞는데 옆에 놓인 숫자와는 정반대인 요약문이 나옵니다. 요약문에는 구체적인 수치가 절대 들어가지 않습니다. 전체 추세와 문턱을 넘었는지 여부 같은 성격만 서술하도록 제한해 두었기 때문에, 두 증거가 같은 말을 두 형식으로 반복하는 일이 생기지 않습니다.

아래 도식이 그 구조입니다. 하나의 잠재 궤적에서 두 형식이 갈라져 나오고, 충돌을 만들 때는 한쪽만 반대 라벨로 갈아 끼웁니다.

이 뼈대 위에 충돌의 종류를 네 가지로 나눠 놓았습니다. 무엇을 바꿔 끼우느냐에 따라 모델이 어떤 단서에 반응하는지가 달라집니다.

평가 대상은 오픈웨이트 지시 조정 모델 일곱 개입니다. Qwen3 계열 네 종류와 Gemma-2-9B-It, Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3입니다. 주 실험은 조건마다 2,000건씩 만들어 높음과 낮음을 절반씩 담았고, 무작위 시드 세 개의 평균을 냈습니다. 답은 자유 서술이 아니라 A와 B 두 선택지의 로짓에서 바로 읽었습니다.

시간 최신성 조건에서는 두 증거가 서로 다른 시간 구간을 서술하고, 더 최근 쪽이 항상 정답입니다. 양쪽에 시각이 찍혀 있고, 프롬프트도 두 출처가 다른 구간을 볼 수 있으며 한쪽이 더 이르거나 더 최근일 수 있다고 미리 알려 줍니다. 결과는 기준선 조건보다 훨씬 강하고 일관된 판정 행동이었습니다. 최신성은 모델들이 실제로 붙잡는 단서였습니다. Gemma는 증거 순서를 바꿔도 높은 정확도를 유지했고, Qwen3 계열도 최신 쪽을 꽤 안정적으로 따라갔습니다.

신뢰도 조건은 정반대의 기대를 갖게 만드는 설계입니다. 두 증거가 같은 시간 구간을 보고 있고, 대신 한쪽에 믿지 말라는 표식이 붙습니다. 숫자 쪽이 불신 대상일 때는 시계열 값의 절반을 결측으로 비워 둡니다. 텍스트 쪽이 불신 대상일 때는 요약문 끝에 문장을 하나 덧붙입니다. 논문이 예로 든 문구는 이렇습니다. Note: this report was generated from partially corrupted data within the observation window. 관측 구간의 데이터 일부가 손상된 상태에서 만들어진 보고라는 뜻입니다.

논문 부록에 실린 문항 하나가 이 조건의 생김새를 그대로 보여 줍니다. 설비 고장 위험을 묻는 문항에서 요약문은 위험이 임계 바로 아래에서 출발해 중간 속도로 올라 눈에 띄게 높은 수준으로 끝났다고 말하고, 문장 끝에 손상 문구가 달려 있습니다. 바로 옆에 놓인 시계열은 0.23에서 시작해 여덟 시점 내내 0.25를 넘지 않고 0.16으로 끝납니다. 정답은 낮음, 그러니까 표식이 붙지 않은 숫자 쪽입니다.

믿지 말라는 표식은 사람에게라면 최신성보다 훨씬 노골적인 지시입니다. 그런데 결과는 반대였습니다. 두 가지 증거 순서 모두에서, 신뢰도 조건이 최신성 조건보다 대부분의 모델에서 더 큰 성능 하락을 냈습니다. 논문의 결론은 짧습니다. 명시적인 출처 신뢰도는 시간적 최신성보다 약한 판정 단서라는 것입니다.

네 조건에서 성능이 얼마나 무너졌는지를 논문은 상대 비교로만 서술합니다. 정확한 수치는 Figure 4의 막대그래프에 있고 본문에는 숫자로 적혀 있지 않아, 아래 도식에도 크기의 순서만 옮겼습니다.

데이터 파이프라인 관점에서 이 순서가 불편한 이유는 분명합니다. 우리가 공들여 붙이는 메타데이터는 대개 신뢰도 쪽입니다. 출처 등급, 신뢰 점수, 결측 플래그처럼 사람이 명시적으로 적어 넣는 값들입니다. 반면 최신성은 대부분의 시스템에서 그냥 딸려 오는 정보입니다. 타임스탬프는 적으려고 애쓰지 않아도 붙습니다. 이 실험이 보여 준 것은 공들여 붙인 쪽이 저절로 붙는 쪽에 밀린다는 사실입니다.

네 번째 조건은 앞의 셋과 성격이 다릅니다. 여기서 부딪히는 것은 두 형식의 관측이 아니라, 관측과 예측입니다. 모델은 시점 16까지의 맥락을 텍스트나 숫자 중 하나로 받고, 여기에 외부 예측 도구가 내놓은 다음 시점 값을 함께 받습니다. 프롬프트는 이 도구가 지금 같이 준 관측을 분석해서 예측을 만들었다고 명시합니다. 형식도 간결합니다. External forecasting tool risk prediction at time 13:01: 0.76 처럼 시각과 값 하나만 붙습니다.

정답은 언제나 맥락 쪽입니다. 도구 예측은 문턱 반대편에서 뽑은 값이라 의도적으로 틀려 있습니다. 그러니까 모델 앞에는 정답을 완벽하게 예측할 수 있는 관측이 그대로 놓여 있고, 그 옆에 틀린 숫자 하나가 권위 있는 이름을 달고 앉아 있는 셈입니다.

틀린 정도까지 통제해 두었습니다. 예측값은 문턱에서 최소 0.15만큼 떨어진 곳에서만 뽑아, 0.5 언저리의 애매한 예측이 나오지 않도록 막았습니다. 도구는 어중간하게 틀린 것이 아니라 자신 있게 틀려 있습니다. 부록의 금융 문항이 그런 모습입니다. 요약문은 부실 위험이 이미 높고 계속 오르는 중이라고 말하는데, 도구는 같은 시점에 0.27을 내놓습니다.

이 조건에서 전체 실험을 통틀어 가장 큰 성능 저하가 나왔습니다. 특히 정답과 일치하는 맥락이 프롬프트에서 도구 예측보다 먼저 나올 때 Qwen3와 Gemma가 취약했습니다. 논문의 표현으로는 완벽하게 예측력을 가진 맥락 증거가 있는데도 거의 0에 가까운 정확도에 자주 도달했습니다. 반대로 맥락을 도구 예측 뒤에 놓으면 정확도가 상당히 회복됐습니다. 나중에 온 증거가 과신을 일부 되돌린 것입니다.

모든 모델이 같은 방식으로 무너지지는 않았습니다. Llama와 Mistral은 틀린 도구 예측에 훨씬 덜 흔들렸고, 충돌 조건에서도 비교적 높은 정확도를 유지하는 경우가 잦았습니다. 앞 조건들에서 이 두 모델이 숫자보다 텍스트에 기우는 경향을 보였다는 점과 겹쳐 보면, 도구 출력이라는 형태 자체에 덜 반응한 것으로 읽을 수 있습니다.

연구진은 모든 조건에서 증거의 배치 순서를 뒤집어 가며 실험을 반복했습니다. 정답과 일치하는 증거가 프롬프트 앞에 오는 경우와 뒤에 오는 경우를 따로 잰 것입니다. 거의 모든 모델에서 정답 증거가 뒤에 있을 때 정확도가 높았습니다. 논문은 이걸 프롬프트 최신성 효과라고 부르며 시간적 최신성과 구분해 놓았습니다.

두 최신성은 서로 얽혀 있습니다. 시간적으로 더 최근인 증거가 프롬프트에서도 뒤에 놓이면 두 신호가 같은 방향으로 겹쳐 효과가 커집니다. 위치 효과는 모달리티 선호와도 상호작용합니다. 숫자 증거는 어디에 놓이든 영향력을 유지한 반면, 텍스트 증거는 마지막에 놓일 때 훨씬 큰 이득을 봤습니다.

모달리티 선호 자체는 모델 계열마다 고정된 성향에 가까웠습니다. Qwen3 계열은 숫자를 일관되게 선호했고, 텍스트가 완벽하게 정답을 가리키는 상황에서도 숫자를 따라갔습니다. Llama와 Mistral은 상대적으로 텍스트에 기울었습니다. 다만 이 두 모델은 숫자 단독 조건의 정확도도 다른 모델들보다 조금 낮았기 때문에, 선호가 아니라 숫자 해석 능력의 차이일 수도 있다는 단서를 논문이 스스로 붙여 두었습니다. Gemma가 두 형식 사이에서 가장 균형 잡힌 행동을 보였습니다.

크기를 키우면 나아지지 않겠느냐는 기대는 빗나갔습니다. Qwen3 계열을 1.7B부터 14B까지 늘려 봐도 이 편향이 단조롭게 줄어드는 관계는 관찰되지 않았습니다. 오히려 기준선 조건에서 큰 Qwen3 변형들이 여러 조건에서 정확도 0.5 아래로 내려갔습니다. 텍스트가 정답이고 숫자가 반대를 가리킬 때입니다. 우연히 찍었다면 나올 수 없는 값이라, 논문은 모델이 단순히 불확실한 것이 아니라 틀린 증거 출처를 체계적으로 선호할 수 있다고 적었습니다.

마지막으로 민감도 분석이 하나 더 있습니다. 도메인 프레이밍과 선택지 구성을 바꿔 가며 정확도가 얼마나 흔들리는지 잰 것입니다. 여기서 눈에 띄는 대비가 나옵니다. 선택지 라벨과 순서를 바꿨을 때 Qwen3-4B의 단일 출처 정확도는 평균 0.01 움직인 반면, 충돌 조건의 정확도는 0.20 움직였습니다. Mistral도 텍스트 단독은 변화가 없다시피 한데 충돌 조건은 0.17에서 0.18까지 흔들렸습니다. 어느 쪽이 A이고 어느 쪽이 먼저 나오는지 같은 표면적인 프롬프트 구조가, 판정에 한해서는 결론을 상당히 밀어냈다는 뜻입니다.

흔들린 것은 선택지 표기만이 아닙니다. 관측 길이를 8과 16과 32로 바꿔 본 조건에서 Gemma의 충돌 정확도는 평균 0.16 움직였는데, 같은 조작에서 단일 출처 정확도는 전혀 움직이지 않았습니다. 앞에서 두 형식 사이의 균형이 가장 좋다고 적은 그 모델입니다. Qwen3-4B도 0.13으로 비슷했습니다. 반대로 정답을 문턱 가까이 끌어당기는 조작은 숫자 단독 조건에서 가장 큰 변화를 냈고, 그 영향은 원래 숫자에 약했던 Llama와 Mistral에서 특히 컸습니다.

전부가 이렇지는 않습니다. 도메인을 의료나 산업, 금융으로 바꾸는 조작은 대체로 영향이 작았고, Qwen3 계열 안에서는 14B가 모든 조건에서 가장 안정적이었습니다. 크기가 판정 성향의 방향을 바꾸지는 못해도 흔들림은 줄인다는 정도로 읽을 수 있습니다.

논문은 이 관찰들을 한 문장으로 묶습니다. 지금의 모델은 여러 출처를 견고하게 통합하는 것이 아니라 휴리스틱에 기대어 판정한다는 것입니다. 휴리스틱이라면 어느 방향으로 틀릴지 미리 짐작할 수 있고, 그래서 연구진은 이 실패를 예측 가능한 실패라고 적었습니다.

논문은 자기 한계를 먼저 분명히 적어 둡니다. 실험은 전부 합성 데이터로 이뤄졌고, 예측 과제도 높음과 낮음 중 하나를 고르는 이진 문제로 단순화했습니다. 연구진은 이걸 실제 의사결정 환경을 재현한 것이 아니라 판정 단서를 통제해 놓고 성향만 떼어 보기 위한 설계라고 밝힙니다. 고위험 영역에 모델을 배치하는 지침으로 읽지 말라는 문장도 따로 적혀 있습니다.

그럼에도 이 결과가 실무에 닿는 지점은 좁고 뚜렷합니다. AI-Ready Data 작업에서 우리는 값을 정제하는 데 그치지 않고 그 값이 어디서 왔고 얼마나 믿을 만한지를 함께 적습니다. 그 메타데이터가 모델에게 실제로 어떻게 읽히는지는 그동안 검증 대상이 아니었습니다. 붙여 두면 참고하겠거니 했던 것입니다. 이 논문은 적어도 이 벤치마크 조건에서는 그 가정이 성립하지 않는다는 관측을 내놓았습니다.

그래서 점검할 자리가 세 군데로 좁혀집니다.

• • 신뢰도 표시가 실제로 작동하는지는 충돌 상태에서만 확인됩니다. 깨끗한 데이터로 잰 정확도는 그 표시를 모델이 존중하는지에 대해 아무것도 말해 주지 않습니다. 정답을 아는 상태에서 두 출처를 일부러 어긋나게 만들어 보는 편이 빠릅니다.
• • 증거를 프롬프트에 싣는 순서가 결과의 일부입니다. 검색 결과 정렬이 바뀌거나 컨텍스트 조립 로직이 리팩터링되면 판정도 같이 움직입니다. 순서를 정해 두고 기록해 두어야 나중에 원인을 되짚을 수 있습니다.
• • 도구 출력은 관측과 같은 층에 두지 않는 편이 안전합니다. 예측기가 낸 값과 실제로 측정된 값이 같은 형식으로 나란히 들어가면, 모델은 둘의 성격 차이를 스스로 구분하지 못했습니다.

연구진은 이 작업을 완성된 진단이 아니라 스트레스 테스트라고 부릅니다. 텍스트만, 숫자만, 도구 사용만 따로 재는 평가로는 여러 출처가 한꺼번에 들어오는 실제 환경에서의 행동을 알 수 없다는 것이 이들의 결론입니다. 원문은 arXiv:2608.20116에서 볼 수 있습니다.