Executive Summary

주요 수치

출처: Żatuchin, The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations, arXiv:2609.04047(2026) 표 7·표 8·표 11·6.2절

같은 질문을 다시 던질 때마다 답이 얼마나 달라지는지는 같은 저자의 앞선 연구에 날것으로 남아 있다. 크리스마스 선물 추천을 놓고 세 모델에 같은 질문을 마흔 번까지 반복해 던진 조사인데, 방법론 논문이 이 자료를 다시 정리하며 적은 브랜드 개수의 표준편차가 셀에 따라 0.49에서 3.67 사이였다. 가장 흔들리는 셀에서는 같은 질문을 다시 던질 때마다 브랜드 서너 개가 들고 났다는 뜻이다.

묻는 말을 조금만 바꿔도 답이 달라진다. 프롬프트를 남편에서 아내로 바꾸면 Gemini의 평균은 11.03개에서 6.28개로, Grok은 10.60개에서 4.13개로 내려갔다. GPT-5.2는 남편 프롬프트 40회 가운데 28회에서 브랜드를 하나도 말하지 않았고, 저자는 이것을 편향이라기보다 상업적 추천을 피하도록 설계한 결과로 본다고 썼다.

모델끼리도 합의가 없다. 남편 프롬프트에서 Gemini와 Grok이 겹치는 정도는 자카드 유사도 0.68이었지만 Gemini와 GPT는 0.14, Grok과 GPT는 0.18이었다. 성별을 넣지 않고 2025년 선물을 물었을 때 세 모델이 모두 언급한 브랜드는 레고 하나뿐이었다. 대시보드에 뜨는 추천 점유율이 어느 모델을 재느냐에 따라 다른 세계를 보여 준다는 뜻이다.

이 흔들림이 어디서 오는지를 방법론 논문은 네 갈래로 갈라 놓는다. 토큰을 뽑을 때 온도와 뉴클리어스 샘플링이 만드는 표집 변동, 같은 뜻을 다르게 적은 프롬프트 표현이 만드는 변동, 같은 프롬프트를 다른 시점에 돌렸을 때 생기는 실행 간 변동, 그리고 모델 버전이 바뀌면서 생기는 변동이다. 반복 쿼리로 누를 수 있는 것은 첫 번째뿐이고 나머지 셋은 설계로 고정하거나 따로 재야 한다. 논문의 분석은 온도 0.3, 모델 3종의 조건에서 이루어졌다.

그렇다면 우리가 재려는 신호는 전체 흔들림 가운데 얼마나 되는가. 저자는 두 스터디의 자료를 묶어 75개 모델·프롬프트 셀에서 나온 450건의 반복 관측치로 분산을 갈랐다. 측정하려는 대상은 특정 모델에 특정 프롬프트를 던졌을 때의 참값이고, 그 셀 사이의 차이가 전체 분산의 21.8%였다. 나머지 78.2%는 셀 안에서, 그러니까 같은 모델에 같은 질문을 다시 던지는 동안 생긴 것이다.

한 번만 물어서 얻은 숫자는 이 78.2% 위에 얹혀 있다. 반복은 그 위에 얹힌 값을 여러 번 평균해 아래에 깔린 21.8%를 드러내는 일이고, 몇 번을 평균해야 충분한가가 곧 이 논문의 질문이다.

교육 측정 분야에는 이 계산을 위한 도구가 이미 있다. 일반화가능도 이론이라 부르는 틀인데, 먼저 분산을 성분으로 가른 뒤 반복 횟수를 늘리면 신뢰도가 어디까지 오르는지를 투영한다. 나오는 값이 일반화가능도 계수이고, 0.80을 넘으면 집단 수준의 의사결정에 쓸 만하다고 보는 관례가 있다. 개별 대상 하나를 두고 판단할 때는 0.90을 요구한다.

추론에 쓴 도구도 새로 지어낸 것은 아니다. 관측이 서로 독립이 아닌 자료에 혼합모형을 세우고 검정력을 시뮬레이션으로 구하는 조합은 미국 국립표준기술연구소가 AI 벤치마크 평가에 권고한 방식이고, LLM 감사 문헌에서는 아직 쓰인 적이 없었다. 반복 쿼리를 쓴 기존 감사들은 저마다 실용적인 이유로 횟수를 골랐을 뿐이라는 것이 이 논문의 출발점이다.

앞 절의 두 분산 성분을 이 틀에 넣으면 반복 횟수별 값이 나온다.

저자는 여기서 세 단계를 뽑았다. 다섯 번에서 일곱 번은 탐색용이고, 열 번에서 열두 번은 확인용이며, 열다섯 번에서 스무 번은 엄격한 판단용이다. 지금 업계가 가장 흔히 쓰는 다섯 번은 셀별 평균을 서술하는 데까지는 쓸 수 있지만 어느 모델이 어느 브랜드를 더 추천한다는 판정에는 모자란다는 것이 이 표의 뜻이다. 효과 크기를 기준으로 봐도 마찬가지여서, 큰 차이를 셀 하나에서 80% 검정력으로 잡아내는 지점이 열다섯 번이다. 여러 프롬프트를 묶어 보는 분석은 더 적은 횟수로도 통과하는데, 논문은 이것을 셀 단위 감사의 상한으로 읽으라고 못 박았고, 두 계산이 아직 수치로 맞물리지 않는다는 점을 후속 연구의 첫 과제로 스스로 적어 두었다.

이 세 단계 자체도 온도 0.3에 모델 세 개라는 조건 위에서 나온 값이다. 온도를 올리면 토큰을 뽑을 때 생기는 분산이 커져 필요한 횟수가 위로 밀리고, 내리거나 모델을 하나로 줄이면 아래로 내려오되 결과를 넓게 일반화하기 어려워진다.

스무 번을 반복해도 계수는 0.85에서 멈추고 0.90에 닿지 않는다. 이 분산 구조에서 0.90에 이르려면 마흔 번을 넘겨야 하고, 그마저도 늘어나는 만큼 정밀도가 따라오지 않는다. 다른 길은 반복이 아니라 설계를 바꾸는 것이다. 프롬프트 표현을 더 좁게 고정하거나 디코딩 온도를 낮춰 셀 안 잡음 자체를 줄이는 방법을 논문은 대안으로 적었다. 그러니까 열다섯 번이면 충분하다는 말은 브랜드나 모델 단위의 비교에 한해서다. 이 프롬프트 하나에 대한 답을 그대로 믿어도 되느냐는 질문에는 이 표가 아직 답하지 못한다.

2.1비용은 이유가 되지 못한다

반복을 다섯 번에서 그치는 이유로 흔히 비용이 꼽히는데, 논문은 그 통념을 값으로 확인했다. API 호출 하나에 0.005달러, 모델 세 개를 쓴다고 잡고 질의 250개짜리 조사를 돌리면 다섯 번 반복이 18.75달러, 열 번이 37.50달러, 열다섯 번이 56.25달러다. 다섯 번을 열 번으로 올리는 데 드는 추가 비용이 18.75달러인 셈이다. 그 대가로 신뢰도는 0.58에서 0.74로, 큰 효과에 대한 셀 단위 검정력은 0.44에서 0.74로 오른다. 정밀도 대비 효율이 꺾이는 무릎은 일곱 번 근처에 있다. 실제 제약은 돈이 아니라 API 속도 제한과 수집에 걸리는 시간이라고 저자는 적었다.

2.2이미 나온 숫자들은 어떻게 되나

이 잣대는 앞으로 잴 조사에만 대는 것이 아니다. 저자는 같은 잣대를 자기가 앞서 발표한 감사에 되돌려 댔다. 셀 하나를 기준으로 다섯 번 반복의 검정력은 큰 차이에서 0.44, 중간 차이에서 0.23이었다. 제3자 코퍼스의 실제 100회 관측을 다시 표집해 구한 값도 0.43으로 거의 같게 나왔다. 그래서 다섯 번으로 잰 조사가 내놓은 수치, 이를테면 모델 간 일치율 14%나 41.6% 같은 값은 틀린 추정이 아니라 보수적인 서술이라고 논문은 정리한다. 서술로는 정확하되 확인 목적의 판정에는 근거가 얇다.

이전 판이 브랜드 개수의 성별 차이를 두고 Gemini가 가장 크다고 보고한 자리에서는 순서가 뒤집혔다. 새 분석에서 Gemini의 차이는 0과 구별되지 않았고 GPT와 Grok에서만 구별됐다. Grok의 효과 크기도 이전 판의 큰 효과에서 작은 쪽과 중간 사이로 내려앉았다. 다만 논문은 이 뒤바뀜을 분석 방법 하나로 돌리지 않는다. 새로 쓴 부분표본이 더 작아 검정력이 낮았고, 수신자를 남편이나 아내로 적은 표현이 모델마다 다른 반응을 끌어냈다는 두 가지를 함께 든다.

부록의 조견표는 여기에 값을 하나 더 붙인다. 이 정도 크기의 차이를 셀 하나에서 확인 목적으로 잡으려면 반복이 스무 번, GPT에서 관측된 크기라면 마흔 번을 넘겨야 한다.

저자가 미리 적어 둔 가설도 그대로 나오지는 않았다. 반복 횟수에 걸린 두 가설에 논문이 매긴 판정은 부분 지지다. 다섯 번이면 큰 효과에 대해 검정력 0.80을 넘으리라던 예측은 0.44에서 멈췄고, 열 번이면 신뢰도 0.80에 닿으리라던 예측은 열다섯 번으로 밀렸다. 방향은 맞았지만 필요한 횟수를 실제 분산 구조보다 낙관적으로 잡았다는 것을 저자가 자기 표에 적어 둔 셈이다.

여기까지의 계산은 전부 저자 자신이 모은 데이터 위에서 이루어졌다. 그래서 논문은 다른 팀이 다른 목적으로 모아 공개한 반복 쿼리 자료 세 벌을 골라 사전등록 검증을 붙였다. 정치 성향 검사를 100회씩 반복한 모토키 등의 자료, 24개 모델에 성향 검사를 열 번씩 돌린 로자도의 자료, 온도 0에서 벤치마크를 열 번씩 돌린 llm-stability 저장소다. 가설과 판정 규칙과 난수 씨앗을 담은 분석 계획을 확정 통계를 계산하기 전에 버전 관리에 고정해 두었고, 실패 항목을 성공 항목과 같은 비중으로 실었다.

옮겨 간 것과 옮겨 가지 않은 것이 뚜렷하게 갈린다.

예측 기계는 남의 데이터에서도 그대로 작동했다. 열 번 반복분에서 추정한 분산 성분으로 더 많이 반복했을 때의 신뢰도를 맞히는 항목은 39개 셀 가운데 37개가 재현되고 2개가 부분 재현이며 실패는 없었다. 모토키 자료에서는 1회에서 10회까지의 성분만으로 20회분과 50회분의 신뢰도를 맞혔는데, 다섯 배 밖으로 밀어낸 예측인데도 오차의 최댓값이 0.038이었다. 로자도 자료에서는 24개 모델에 걸친 오차의 중앙값이 0.008, llm-stability에서는 0.002 이하였다. 온도를 0으로 내려도 모든 셀에서 실행마다 값이 달라진다는 전제도 그대로 재현됐다.

버티지 못한 것은 숫자 자체다. 다섯 번 반복으로는 0.80에 못 미친다는 예측이 세 자료 모두에서 빗나갔다. 모토키 자료의 극단 페르소나 조건은 다섯 번만에 0.83에서 0.95에 이르렀고, 로자도의 24개 모델 가운데 22개가 다섯 번에서 이미 0.80을 넘었으며, llm-stability의 모델은 전부 0.99를 넘었다. 재려는 대상들 사이의 차이가 워낙 커서 잡음이 상대적으로 작았기 때문이다. 반대쪽 극단도 같은 자료 안에 있다. 로자도 자료의 qwen-14b-chat은 다섯 번 반복의 신뢰도가 0.07이었다. 이 모델을 다섯 번만 재는 감사는 잡음을 재는 셈이 된다.

수렴 항목이 빗나간 자리도 성질이 같다. 열 번 안에 점근 정밀도의 80%에 닿는다는 예측은 짧은 격자를 쓰는 두 코퍼스에서 여덟 번에 맞았지만, 100회까지 관측한 모토키 자료에서는 열여섯 번으로 밀렸다. 기준선을 열 번에 두고 잰 80%와 쉰 번에 두고 잰 80%가 애초에 다른 값이기 때문이다. 그래서 이 안내는 지평선에 매인 값이 됐고, 반복을 열다섯 번 너머로 계획하는 감사라면 곡선을 더 긴 지평선에 맞춰 다시 구해야 한다는 단서가 붙었다.

필요한 횟수가 조건마다 달라지는 일은 논문 자신의 자료 안에서도 일어난다. 여섯 개 유럽 언어로 같은 감사를 돌린 스터디에서 응답 일관성을 흔드는 몫은 언어보다 모델이 7.4배 컸다. 그런데 그 작은 언어 효과가 모델마다 고르지 않아서, Gemini는 에스토니아어와 핀란드어에서 유독 덜 안정적이었다. 같은 신뢰도에 닿으려면 이 조합만 반복이 여덟 번이 아니라 열두 번 필요하다는 것이 D-스터디의 답이었다. 감사 대상을 언어 하나 늘리는 일이 반복 횟수를 다시 계산할 일이 된다.

제3자 데이터는 논문 자신의 결함도 하나 들춰냈다. 모델이 시간에 따라 달라지는지 보는 드리프트 검사가 지나치게 많은 셀을 표시한 것이다. 정치적으로 중립인 문항만 모은 위약 조건에서 회귀 창 검정 하나가 180개 셀 가운데 142개를 표시했고, 같은 성분이 본 조건에서는 표시 310건 중 305건을 차지했다. 셀 하나 안에서만 적합시키는 검정이라 셀 안 분산이 0에 가까워지면 분산 추정이 무너지기 때문이다. llm-stability에서 표시된 셀들의 실제 정확도 차이는 평균 0.007에 그쳤다.

이에 따라 회귀 창 검정을 절반 평균의 차이에 대한 순열 검정으로 바꾸거나 여러 셀에 걸쳐 군집을 제대로 잡아 적합시킬 것, 인구 안정성 지수는 절반당 반복이 스무 번 이상일 때만 쓸 것, 모든 표시에 실질적 유의성의 하한을 붙일 것이라는 수정 세 가지가 프로토콜에 추가됐다. 외부 데이터가 자기 데이터로는 보이지 않던 결함을 짚어 줬다.

여기까지가 논문이다. 사내에 AI 가시성 지표를 세우거나 외부 도구를 들이려는 쪽에서 보면 이 연구는 지표 하나를 더 얹는 이야기가 아니라 지표에 붙는 조건을 적어 두라는 이야기다.

지표를 무엇으로 고르느냐도 같은 무게로 걸린다. 논문이 다섯 개의 구조 지표를 함께 계산해 보니 변동계수와 지니 계수의 상관이 0.98이었다. 한 화면에 둘 다 띄우면 서로 다른 두 가지를 보고 있다고 착각하기 쉽지만 실은 같은 정보다. 반대로 지표를 바꾸면 순위가 뒤집히는 경우도 나온다. 브랜드 언급 수를 그냥 세어 지니 계수를 구하면 집중도 순위가 OpenAI 0.31, Perplexity 0.27, Gemini 0.20이 되는데, 프롬프트별 점유를 같은 무게로 놓고 계산하는 PASOR 방식으로 바꾸면 Gemini 0.69, OpenAI 0.68, Perplexity 0.62가 된다. Gemini가 프롬프트마다 브랜드를 잘게 흩뿌리면서도 프롬프트를 가로질러서는 좁은 상위 집단을 밀기 때문이다. 같은 원자료에서 두 순위가 나온다.

논문이 내놓은 답은 지표 수를 줄이라는 것이다. 구조 안정성 하나, 의미 일관성 하나, 프롬프트별 점유를 보정한 가시성 하나로 세 축만 남기고, 나머지는 파일럿에서 상관을 확인한 뒤에 더하라고 권한다. 의미 일관성에서는 저자 자신의 가설이 기각됐다. 임베딩 하나로 코사인 유사도를 재면 요약으로 충분하리라던 예상과 달리, 임베딩 세 개를 묶어 최소 유사도와 모델 간 편차를 함께 보니 안정으로 분류됐던 응답 쌍의 40%가 기준을 통과하지 못했다.

그래서 대시보드 앞에서 물어볼 것이 세 가지쯤 남는다.

• 이 숫자는 같은 질문을 몇 번 던져 얻은 것인가. 그 횟수를 정한 근거가 파일럿 측정인가, 아니면 관행인가.
• 점유율 옆에 신뢰구간이 붙어 있는가. 붙어 있지 않다면 이번 주와 지난주의 차이가 변화인지 흔들림인지 가릴 방법이 없다.
• 온도와 모델 스냅숏이 수집 기간 동안 고정되어 있었는가. 논문의 분산 분해에서 반복으로 누를 수 있는 것은 표집 변동뿐이고, 모델 버전이 바뀐 구간은 반복을 아무리 늘려도 정리되지 않는다.

이 질문들은 논문의 프로토콜에도 요구 사항으로 들어가 있다. 호출마다 모델 식별자와 API 엔드포인트와 스냅숏 날짜를 고정해 기록할 것, 드리프트 표시가 미리 정해 둔 한계를 넘으면 시간 창을 모형에 고정 효과로 넣거나 분석을 드리프트 이전 구간으로 좁힐 것, 분석 계획을 자료를 모으기 전에 등록할 것이 목록에 들어 있다. 저자가 잡아 둔 규모는 모델 세 개에 질의 100개를 열 번씩 돌려 3,000회를 호출하는 조사이고, 여기에 드는 값이 15달러 안팎, 걸리는 시간이 두 시간에서 네 시간이다.

기록이 있어야 대조가 가능하다는 말은 이 논문에도 그대로 돌아온다. 방법론 논문은 다섯 스터디가 모두 온도 0.3에서 수집됐다고 두 곳에 적고 그 값을 프로토콜의 정의 조건으로 삼았다. 그런데 그 가운데 S1의 원자료를 담은 같은 저자의 2월 프리프린트를 열어 보면, 그 안의 첫 스터디는 API 기본값을 그대로 썼고 나머지 두 스터디는 온도 0.7을 썼다고 적혀 있으며 온도 불일치가 한계 항목으로 올라 있다.

반복 횟수 권고가 온도 0.3 위에서 교정된 값이고 온도가 달라지면 다시 맞춰야 한다고 논문 스스로 밝혀 두었으니, 이 어긋남은 그 권고를 얼마나 좁게 읽어야 하는지에 걸린다. 두 글 모두 수집 조건을 적어 둔 덕분에 독자가 이 대조를 할 수 있었다.

읽는 쪽에서 하나를 더 알고 봐야 한다. 이 표준을 제안한 저자는 AI 브랜드 가시성 도구를 만드는 Rankfor.AI의 대표이고, 재분석한 다섯 건의 데이터는 전부 자신이 앞서 수집한 것이며, 프로토콜을 구현한 오픈소스 패키지도 회사 저장소에 올라가 있다. 논문은 이해상충 항목에 이 사실을 직접 적었다. 원자료는 공개 저장소가 아니라 교신저자에게 요청해야 받을 수 있다고 적혀 있고, 브랜드 영역에서 다른 팀이 같은 방식으로 모아 공개한 자료가 없어 도메인 차원의 순환성은 남아 있다는 한계도 저자가 밝혀 두었다. 한편 같은 저자가 2월에 공개한 브랜드 편향 프리프린트에는 이해상충 보고가 없다고 표기되어 있다.

그럼에도 방법론을 참고할 근거는 그 반대쪽에 있다. 확정 통계를 계산하기 전에 분석 계획을 고정했고, 자기 예측이 빗나간 항목을 성공 항목과 같은 자리에 실었으며, 자기 데이터로 만든 고정 티어가 남의 데이터에서 무너진다는 결론까지 논문에 적었다. 이전 판에서 Grok의 효과를 크게 보고했던 대목을 이번 판에서 작은 쪽으로 내려 잡은 정정도 본문에 남아 있다. 이해관계가 어디에 걸려 있는지 알고 읽되, 무엇을 검증 가능하게 열어 두었는지도 같이 보는 편이 낫다.

여기까지 읽어 주신 데 감사드린다. 원문은 arXiv:2609.04047에서 전문을 볼 수 있고, 이 글의 신뢰도와 분산 성분은 논문 5.5절과 6.2절에서, 브랜드 개수와 모델 간 합의도는 같은 저자의 브랜드 추천 편향 연구에서 2026년 9월 6일에 직접 확인했다. 사내 AI 가시성 지표에 반복 횟수를 이미 정해 둔 팀이 있다면 그 근거를 어떻게 잡았는지 나눠 주시면 좋겠다.

• 1.Żatuchin, D. (2026). "The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations." arXiv:2609.04047.
• 2.Żatuchin, D. (2026). "Gender Bias in Large Language Model Brand Recommendations: A Three-Study Analysis of Prompt-Induced Disparities Across Seasonal and Recipient Contexts." Research Square (preprint). DOI: 10.21203/rs.3.rs-8883056/v1.

두 논문 모두 동일 저자(Dmitrij Żatuchin, Rankfor.AI 대표)의 작업이다 — 이해상충은 4절에서 다룬다.