Executive Summary

한 분야의 논문을 통째로 다시 돌린 조사가 나왔다. 미국 UT 댈러스의 두 연구자가 하나의 사건을 여러 편이 나눠 쓴 금융 논문 324편을 모아, AI 에이전트에게 원자료부터 다시 모으고 표를 다시 만들고 분석을 다시 돌리게 했다. 한 편의 결론을 저자가 고른 설정 하나로만 보지 않고, 그 논문의 맥락에서 정당화할 수 있는 설정을 전부 만들어 한꺼번에 돌린 것이다. 다중우주 분석이라 부르는 이 방법을 한 분야의 문헌 전체에 걸었다는 것이 저자들이 내세우는 차별점이다. 지금까지는 대개 연구 한 편을 두고 쓰던 방법이다.

효과의 방향을 주장하고 검정 결과까지 실은 305건 가운데 논문 자신의 설정에서 같은 결론에 다시 닿은 것은 128건이었고, 정당화 가능한 범위 전체로 넓히면 주장을 지키는 쪽은 평균 넷에 하나로 내려간다. 다만 흔들린 쪽이 결론의 방향 자체는 아니다. 발표된 부호를 그대로 지키는 쪽은 평균 열에 일곱이다. 결론이 뒤집힌 것이 아니라, 같은 방향을 가리키면서도 "통계적으로 유의하다"는 말이 붙지 않는 경우가 대부분이라는 뜻이다.

흔들린 자리를 따라가면 데이터 쪽이 나온다. 결론을 가장 자주 쥐고 있던 선택은 추정 기법도 모델도 아니라 결과 변수를 무엇으로 정의하느냐였고, 바로 그런 선택들에 대해 논문은 대개 아무 말도 적어 두지 않았다. 그리고 더 앞에서 이미 어긋난다. 재현에 실패한 추정치 가운데 관측치 수를 나란히 놓고 볼 수 있었던 것이 163건인데, 그중 141건은 설정을 비교하기도 전에 표의 행 수부터 발표값과 1% 넘게 벌어졌다. 독자의 보고서에 걸어 볼 질문도 거기서 시작한다. 우리가 적어 둔 숫자는 어떤 선택 위에 서 있으며, 그 선택은 어디에 적혀 있는가.

81 → 64%

설정 하나를 바꿨을 때

저자 설정에서 재현된 114건 기준이다. 정당한 다른 선택지로 하나만 갈아 끼워도 주장을 지키는 비율이 이만큼 줄어든다

68 대 25%

남는 방향, 사라지는 유의성

방향성 주장 304건의 평균이다. 발표된 부호를 지키는 쪽은 68%, 부호와 유의성을 함께 지키는 쪽은 25%다

87%

표부터 어긋난 비율

재현되지 않은 추정치 가운데 관측치 수를 견줄 수 있었던 163건 중 141건에서, 행 수가 발표값과 1% 넘게 달랐다

42%

저자가 아무 말 없던 선택

에이전트가 고른 가장 위험한 선택 1,855개 중 776개다. 다른 언어 모델로 돌린 두 번째 코더는 같은 자리를 34%로 봤다

1

한 편이 아니라 한 분야를 다시 돌렸다

이번 조사가 다시 돌린 범위는 금융 실증연구의 한 구역 전체다. 미국 UT 댈러스 네이븐 진달 경영대학원의 Ruijiang Gao와 Steven Chong Xiao가 11월 18일 arXiv에 올린 "An AI-Powered Multiverse Analysis of Empirical Finance Research: Evidence from Reused Natural Experiments"이고, 부록까지 66쪽이다. 동료심사를 거치지 않은 프리프린트이며, 파이프라인 코드는 MIT 라이선스로 공개돼 있다.

방법 자체는 새것이 아니다. 다중우주 분석은 하나의 분석 설정만 보고하는 대신, 같은 데이터와 같은 질문에 대해 정당화할 수 있는 조합을 전부 만들어 결과가 어떻게 흩어지는지 보는 방법이다. 2016년 심리학에서 제안됐고 멀티버스 분석이라고도 부른다. 본지는 세 주 전 허리케인 사망자 연구를 1,728가지로 돌려 어느 선택이 결론을 갈랐는지 짚는 도구를 다루면서 이 방법을 한 번 소개했다. 그러니 여기서 다시 입문을 쓸 필요는 없다.

새로운 것은 규모와 깊이다. 이번 조사는 같은 자연실험을 되풀이해 쓴 금융 논문 324편을 모아 전부 같은 절차에 넣었고, 저자가 공개한 결과표를 다시 계산하는 데서 그치지 않고 원자료부터 다시 모아 표를 다시 만든 뒤 분석을 돌렸다. 한 연구를 깊게 파는 대신 한 분야의 문헌을 통째로 같은 잣대에 올리는 쪽이고, 그래서 물을 수 있는 질문도 달라진다. "이 결론이 버티느냐"가 아니라 "몇 번째 선택에서 무너지느냐"를 물을 수 있게 된다.

1.1한 편을 다시 돌리는 데 중앙값 22시간이 들었다

규모를 가능하게 한 쪽은 사람이 아니라 에이전트다. 저자들이 짠 파이프라인은 역할이 다른 프롬프트 18개로 나뉘어 있고, 논문을 읽는 일, 데이터를 모으는 일, 표를 다시 만드는 일, 선택지를 감사하는 일, 결과를 점검하는 일이 각각 다른 에이전트에게 간다. 실제로 돌린 모델은 클로드 두 종이다. 논문 축자로 "The agents use Claude Sonnet 5.5 (Sonnet) and Claude Opus 5.5 (Opus)." 그리고 설계 원칙 한 줄이 함께 적혀 있다. "No agent checks its own work, and a script checks the files from each step before the next begins." 자기 작업은 자기가 검사하지 않고, 다음 단계로 넘어가기 전에 스크립트가 파일을 먼저 본다는 뜻이다.

검사 장치를 둔 데서 그치지 않고 에이전트가 볼 수 있는 것 자체를 깎아 두었다. 결과를 먼저 본 다음 그 결과에 맞는 분석을 고르는 일을 막으려는 설계다. 데이터를 다시 만들고 검토하는 에이전트는 어떤 결과 변수도 처치변수에 회귀시켜 볼 수 없고, 자기가 맡은 논문을 두고 제3자가 쓴 비판·논평·복제·재분석은 어느 에이전트도 읽지 못한다. 원문은 "No agent may read a third-party critique, comment, replication or reanalysis of the paper it analyzes."

비용은 저자 저장소 문서에 한 줄로 적혀 있다. 중앙값 논문 한 편에 첫 에이전트 세션부터 마지막 세션까지 약 22시간, 모델 토큰 약 1억 2,600만 개이고 대부분은 캐시 읽기다. 둘 다 중앙값이고 연산 시간이 아니라 경과 시간이다. 달러 금액은 논문에도 저장소에도 없다.

하나만 미리 못 박아 둔다. 이 글에 계속 나오는 분모들은 논문 편수가 아니라 주장의 수다. 연구진은 논문 한 편에서 그 논문이 자기 주된 결과로 내세운 추정치 하나씩을 뽑아 324건을 만들었고, 그다음부터는 논문과 주장을 같은 말로 쓴다. 그 324건 가운데 방향이 분명한 주장이 306건, 효과가 없다는 주장이 16건, 어느 쪽으로도 분류되지 않은 것이 2건이다. 이 글에서 비율이 나올 때마다 분모가 324인지 306인지 304인지가 계속 달라지는 이유가 여기 있다.

2

어떤 논문 324편을 모았나

324편을 한데 묶은 기준은 같은 사건을 공유한다는 것이다. 실증 금융에는 연구자가 고르지 않은 외부 사건을 실험처럼 쓰는 관행이 있다. 법이 바뀌고, 규제 당국이 일부 종목만 골라 시범 규칙을 적용하고, 지수가 해마다 종목을 갈아 끼우는 일 같은 것이다. 이런 사건을 자연실험이라 부르고, 하나의 사건을 여러 논문이 되풀이해 쓴다. 어떤 논문이 어떤 사건을 썼는지를 모아 둔 목록이 Heath·Ringgenberg·Samadi·Werner가 2023년 Journal of Finance에 실은 논문에 딸린 RNE 데이터베이스로, 실험마다 탭이 하나씩 있고 그 실험을 쓴 논문과 결과 변수가 행으로 들어 있다.

연구진은 내려받은 판본의 실험 탭 51개 가운데 논문이 둘 이상 달린 19개를 고르고, 금융·회계 바깥에 있는 5개를 뺐다. 남은 14개 중 모닝스타 지속가능성 등급 탭은 파이프라인을 끝까지 통과한 논문이 한 편도 없었다. 그래서 최종 표본은 13개 실험·324편이 된다. 표나 부록에서 14라는 수를 보게 되는 것은 그 때문이다.

324편의 출처도 둘로 갈린다. 201편은 RNE에 등재된 논문이고, 123편은 그 논문들의 인용 네트워크에서 에이전트가 찾아 추가한 논문이다. 추가분은 후보 4,863편에서 출발해 포함 기준 심사를 통과한 296편, 파이프라인에 들어간 283편을 거쳐 123편이 완주했다. RNE 쪽도 등재 항목 337건 중 201건만 끝까지 갔는데, 가장 큰 탈락 사유는 제약·독점·수작업 수집 데이터를 쓴 경우로 64건이다. 접근이 까다로운 데이터로 쓴 논문이 이 표본에 적게 들어와 있다는 점을 저자들은 한계로 따로 적어 두었다.

아래 표는 13개 실험이 각각 몇 편을 데려왔는지를 보여 준다. 러셀 지수 재편이나 공정공시규정처럼 RNE 등재분보다 추가분이 더 많은 실험이 있고, 반대로 Reg SHO 파일럿과 뮤추얼펀드 스캔들처럼 추가분이 0인 실험도 있다.

자연실험 시기 RNE 등재 인용망 추가 방향성 주장
Reg SHO 파일럿2005–200745039
주 사업결합법1985–199122930
뮤추얼펀드 스캔들200320019
증권사 폐쇄·합병1984–2008181836
보편수요법1989–200517825
러셀 지수 재편매년162237
소수점 호가 전환2000–2001151226
틱 사이즈 파일럿2016–201813720
공정공시규정2000123644
EDGAR 단계 도입1993–199610211
블랙록·BGI 인수2009616
도드-프랭크법20106812
EBA 자본확충2011–2012101
합계201123306

논문 Table 1에서 세 열만 옮겼다. 방향성 주장 열은 등재분과 추가분을 합한 수이고, 합계 306은 324건에서 효과 없음 주장 16건과 분류되지 않은 2건을 뺀 수다.

실험마다 결과도 꽤 다르다. 뒤에서 쓸 지표를 미리 한 줄로 당겨 오면, 정당화 가능한 조합 가운데 그 논문의 주장을 지키는 비율은 실험 평균으로 보편수요법 14%에서 도드-프랭크법 43%까지 벌어진다. RNE가 가장 많이 싣는 Reg SHO 파일럿은 방향성 주장 39건에 평균 21%로 표본 전체 평균인 25%보다 낮다. 어떤 사건을 다루느냐가 이미 상당한 차이를 만든다는 뜻이고, 이 글의 수치를 "금융 논문은 이렇다"로 뭉뚱그리면 안 되는 첫 번째 이유이기도 하다.

3

설정을 하나 바꿀 때마다 한 칸씩 깎인다

결론은 한 번에 무너지지 않는다. 저자가 고른 자리에서 한 칸, 두 칸 멀어질수록 주장을 지키는 비율이 계단처럼 내려간다. 그 계단을 보기 전에 두 가지를 먼저 정해 두어야 한다. 비교할 조합을 어떻게 만들었는가, 그리고 무엇을 "버틴다"로 세는가.

3.1선택지 조합의 격자를 짜는 방식

에이전트는 논문 한 편에서 분석가가 내려야 했던 선택과 각 선택의 선택지를 뽑아낸다. 중앙값 논문에서 선택 26개, 선택지 215개가 나왔다. 그다음 선택 감사 에이전트가 선택지 하나하나에 타당 / 의심스러움 / 부당 셋 중 하나를 매기는데, 전체 69,189건에서 그 비율은 각각 52%·27%·21%다.

여기서 가장 중요한 선택 네댓 개에서 여덟 개까지를 골라 모든 조합을 만든 것이 그 논문의 그리드, 곧 선택지 조합의 격자다. 여기 올라가는 것은 타당 판정을 받은 선택지만이 아니다. 의심스럽다고 본 쪽도 함께 올라가고, 격자에 넣지 않은 나머지 선택은 대개 논문 자신의 선택지로 고정한 뒤 왜 그쪽을 골랐는지를 적어 둔다. 중앙값 그리드는 선택 6개에 설정 192개이고, 그 수는 100개에서 250개 사이로 맞춘다. 통계적 추론 방법은 어느 조합을 추정하기도 전에 감사자가 먼저 못 박아 둔다.

이렇게 만들어진 조합이 전부 몇 개인지에 대해 논문에는 두 수가 나온다. 수치 추정치가 있는 323편 전체로는 62,409개, 그중 방향성 주장 몫이 59,106개다. 뒤에 나오는 비율은 대부분 뒤쪽 수 위에서 계산된 것이라, 앞쪽 수에 붙여 읽으면 틀린다.

세는 잣대도 둘로 갈라 둔다. 재현은 논문 자신이 보고한 설정을 에이전트가 다시 만든 데이터로 돌렸을 때 세 조건을 한꺼번에 맞추는지를 보는 것이다. 발표된 부호와 같을 것, 그 논문이 쓴 추론 방법으로 잰 양측 p값이 0.10 이하일 것, 그리고 크기가 발표값과 25%를 넘게 차이 나지 않을 것이다. 마지막 조건에 논문은 근접성이라는 이름을 붙였고, 선형모형에서는 결과 변수 표준편차의 0.10 미만이라는 기준을 함께 쓴다(6절에서 재현 실패를 조건별로 쪼갤 때 나오는 그 근접성이 이것이다). 반면 주장을 지키는 비율은 그리드 안의 설정 하나하나에 대해 발표된 부호와 같은 방향이면서 p가 0.10 미만인지를 세고, 판정에는 감사자가 그리드에 고정해 둔 추론 방법을 쓴다. 두 지표는 같은 자리를 놓고도 다른 답을 낼 수 있다.

3.2논문 자신의 설정에서 다시 나온 것은 305건 중 128건

먼저 출발점이다. 발표된 검정이 있는 방향성 주장 305건 가운데 논문 자신의 설정에서 주요 추정치가 다시 나온 것은 128건, 비율로는 42%다. 원자료를 다시 모아 표를 다시 만든 뒤 저자가 쓴 그대로 돌렸는데, 열에 여섯은 같은 결과에 닿지 않았다는 뜻이다. 어디서 어긋났는지는 6절에서 따로 본다.

이 출발점이 뒤의 모든 수를 가른다. 회귀 표본 304건을 둘로 나눠 보면, 재현된 128건의 평균은 주장을 지키는 비율 41%이고 나머지 176건은 14%다. 애초에 표가 다시 만들어진 논문과 그렇지 않은 논문은 다른 세계에 산다.

3.3한 칸 멀어질 때마다 깎이는 폭

본론은 여기다. 연구진은 그리드 안의 각 조합이 논문 자신의 설정과 몇 개의 선택에서 다른지를 세어 거리를 매겼다. 자기 설정을 특정할 수 있는 방향성 주장 267건에서, 저자 설정과 같은 자리의 평균은 43%이고 세 개 이상 바꾼 자리의 평균은 28%다. 그런데 이 267건 안에는 애초에 재현되지 않은 주장이 섞여 있고, 그쪽은 거리가 얼마든 14~15%에서 거의 움직이지 않는다. 계단이 또렷하게 보이는 쪽은 재현에 성공한 114건이다.

그 114건에서 저자 자신의 설정은 주장을 81% 지킨다. 선택 하나를 다른 정당한 선택지로 바꾸면 64%, 둘이면 57%, 셋 이상이면 47%로 내려간다. 한 번에 무너지는 것이 아니라 한 칸씩 깎인다는 그림이고, 이 글 제목이 물은 것에 논문이 내놓은 답이 이 네 수다.

선택을 몇 개 바꿨을 때 주장을 지키는 비율 재현된 114건 저자 자신의 설정 81% 선택 하나를 바꿈 64% 선택 둘을 바꿈 57% 선택 셋 이상을 바꿈 47% 자기 설정을 특정할 수 있는 267건 전체 저자 자신의 설정 43% 선택 셋 이상을 바꿈 28% 아래 계열의 중간 두 칸은 논문에 수치가 없어 비워 두었다.

위 네 칸은 재현된 114건, 아래 두 칸은 267건 전체다. 두 계열은 분모가 다르므로 같은 잣대로 이어 읽으면 안 된다. 267건 쪽에서 선택을 한둘 바꿨을 때의 값은 논문이 공개하지 않았다.

81%가 100%가 아닌 이유도 논문이 적어 두었다. 재현은 그 논문이 쓴 추론 방법으로 판정하는데, 주장을 지키는지는 감사자가 그리드에 고정한 추론 방법으로 판정한다. 같은 추정치라도 표준오차를 어떻게 묶느냐에 따라 p값이 0.10을 넘길 수 있다. 다섯 편에서는 그리드에 고정된 선택이 저자 자신의 선택지와 달랐다는 사정도 붙는다.

3.4논문 말미의 강건성 점검 표는 체계적으로 후하다

여기 실무로 바로 옮길 수 있는 결과가 하나 있다. 같은 267건 안에서, 한 번에 선택 하나만 바꾼 조합의 평균은 36%인데 그리드 전체의 평균은 30%다. 논문 말미에 붙는 "robustness check" 표가 바로 그 한 번에 하나씩 방식이다. 저자가 성실하게 점검표를 채워도, 그 방식 자체가 그리드 전체보다 후한 그림을 그린다. 논문은 이 대목을 이렇게 적는다. "specifications that change one choice at a time, as conventional robustness tables do, keep the directional claim more often than the full set of specifications."

3.5사라지는 것은 방향이 아니라 확신이다

지금까지의 수치만 읽으면 "금융 논문의 결론이 뒤집혔다"로 건너가기 쉽다. 논문은 그 독해를 정확히 막는 수를 함께 싣는다. 회귀 표본 304건에서 발표된 부호를 그대로 지키는 비율은 평균 68%·중앙값 77%인 반면, 부호와 유의성을 함께 지키는 비율은 평균 25%·중앙값 15%다. 저자들의 문장은 "The estimates keep the published sign more often than they keep significance." 방향은 대체로 남고, "통계적으로 유의하다"는 판정이 먼저 죽는다.

조합 쪽에서 세어도 같은 그림이다. 방향성 주장 몫 59,106개를 부호와 p값으로 가르면 반대 부호 32%, 발표된 부호지만 p가 0.10 이상 43%, 부호와 유의성을 모두 지킴 25%로 나뉜다. 발표된 부호를 가진 쪽만 놓고 보면 그중 63%가 p 0.10을 넘긴다. 논문을 논문당 동일 가중으로 다시 세어도 비율은 거의 같다.

다만 평균만 보면 분포의 양 끝이 지워진다. 304건 가운데 71건(23%)은 주장을 지키는 조합이 하나도 없고, 27%는 중앙값 설정의 부호가 발표값과 반대다. 조합별 z값의 중앙값은 평균 0.77·중앙값 0.70으로 둘 다 유의성 문턱인 1.645 아래에 있다. 평균 25%라는 수 아래에는 잘 버티는 쪽과 전혀 서지 못하는 쪽이 함께 들어 있다.

4

통계 기법보다 데이터 정의가 자주 결론을 쥔다

그리드 안을 열어 어느 선택이 결론을 쥐고 있었는지 세어 보면, 1위는 추정 기법 쪽이 아니라 결과 변수를 무엇으로 정의하느냐다. 선택 하나를 잡고 그 선택지별로 주장을 지키는 비율을 따로 계산한 다음, 가장 높은 값과 가장 낮은 값의 차이를 그 선택의 범위로 삼는 식이다. 범위가 가장 큰 선택이 그 논문에서 가장 영향력 큰 선택이다. 중앙값 논문에서 그 범위는 23%p이고, 논문에 따라 0%p에서 50%p 사이에 넓게 퍼져 있다.

한쪽 선택지에서는 절반 넘게 유지되는데 다른 선택지에서는 10% 아래로 떨어지는 경우, 연구진은 그 선택이 결과를 결정한다고 본다. 그런 선택이 존재하는 주장이 306건 중 50건(16%)이다. 여섯 편에 한 편꼴로, 분석가가 어느 쪽을 골랐는지가 결론을 그대로 정했다는 뜻이다.

이 범위가 그저 표본이 작아서 생긴 흔들림일 가능성은 논문이 먼저 지웠다. 논문마다 선택지 라벨을 무작위로 바꿔 달아 같은 계산을 1,000번 되풀이하면, 가장 영향력 큰 선택의 범위는 중앙값 7%p로 내려가고 결과를 결정하는 선택은 거의 나타나지 않는다. 실제로 관측된 최대 범위는 306건의 68%에서 그 논문 자신의 순열 분포 95분위를 넘었다. 선택이 결과를 흔드는 폭은 우연으로 설명되지 않는다.

아래 표는 선택을 이름의 성격에 따라 갈래로 묶은 것이다. 가운데 열은 그 갈래가 움직인 평균 범위이고, 오른쪽 열은 범위가 0이 아닌 223편 가운데 그 갈래가 그 논문에서 1위였던 비율이다. 두 열의 1위가 서로 다르다는 점이 이 표의 요점이다.

선택 갈래 등장 논문 평균 범위 1위 빈도
회귀불연속·도구변수 설계460.217%
추정량1040.1812%
결과 변수 정의2130.1721%
표본 기간과 창1910.1313%
처치 정의와 시점1630.128%
통제변수1990.1110%
고정효과와 추세1760.118%
표본 구성1570.106%
비교집단810.084%
이상치 처리1000.073%

논문 Table 8의 13개 갈래 가운데 열 갈래를 옮겼고, 잔여 성격인 '그 밖'·'가중'·'함수 형태' 행은 뺐다. 등장 논문은 그 갈래의 선택이 그리드 안에서 실제로 움직인 논문 수이고, 1위 빈도의 분모는 범위가 0이 아닌 223편이다. 갈래별 가중치와 표본이 서로 달라 세 열을 한 줄로 이어 읽으면 안 된다.

평균 범위가 가장 큰 갈래는 회귀불연속(RDD)과 도구변수 설계의 세부 선택이다. 대역폭을 얼마로 잡을지, 다항식 차수를 몇으로 둘지 같은 것들이고 한 번 움직이면 결과가 크게 흔들린다. 그런데 이 갈래는 그런 설계를 쓴 46편에만 등장한다. 반면 결과 변수 정의는 213편에서 움직였고, 범위가 0이 아닌 223편 가운데 21%에서 그 논문의 1위였고, 어떤 갈래보다 잦다. 세게 흔드는 선택과 자주 결론을 쥐는 선택이 다른 자리에 있고, 후자는 통계가 아니라 데이터를 무엇으로 셀 것인가의 문제다.

4.1추정량 하나로 2%와 100%를 오간 논문

논문은 익명 처리한 한 편을 예로 든다. 주마다 시점을 달리해 도입된 법의 효과를 보는 연구이고, 원 논문은 보통최소제곱에 고정효과를 넣어 추정했다. 도입 시점이 어긋나 있는 상황에서 이 추정량은 이미 처치를 받은 단위를 대조군으로 쓰고 일부 집단·기간 효과에 음의 가중을 줄 수 있다. 선택 감사자는 이 선택지를 부당으로 매겼고, 그리드에는 도입 코호트별로 쌓아 추정하는 적층 이중차분, 대입 추정량, 집단-시점 추정량 셋이 함께 올라갔다.

결과는 이렇다. 이 논문 전체에서 주장을 지키는 비율은 61%인데, 추정량이라는 선택 하나의 범위가 98%p다. 대입 추정량에서는 100%, 적층 이중차분에서는 81%, 집단-시점 추정량에서는 2%가 주장을 지킨다. 두 번째로 영향력 큰 선택의 범위는 17%p에 그친다. 같은 데이터, 같은 질문, 같은 사건이지만 추정량 한 줄에서 결론이 거의 전부 갈린다.

Paper A의 specification curve — 추정량 하나가 지지 비율을 가른다 점선 = p=0.10 문턱(발표된 부호 유지 기준) · 점 하나 = 그리드 속 설정 하나 집단-시점 추정량 2% 지지 적층 이중차분 81% 지지 대입 추정량 100% 지지 추정량의 범위 98%p — 두 번째로 큰 선택은 17%p 발표된 부호 유지 (p<0.10) 유지하지 못함

페블러스 원본 도식 (Fig. 6 재해석) — 점의 배치는 논문 원본 산점도가 아니라 설명을 돕기 위해 재구성한 예시다. 추정량별 지지 비율(2%·81%·100%)과 범위(98%p)는 논문 Figure 6·본문 수치 그대로다.

5

그 선택들은 대개 적혀 있지 않았다

결론을 쥐고 있던 그 선택들에 대해 논문이 무엇을 적어 두었는지도 이번 조사가 함께 셌다. 그리드 결과를 본 에이전트가 논문마다 주장을 가장 크게 위협하는 선택 네 개에서 여섯 개를 고르고, 저자가 그 선택에 대해 본문 어디에서 무엇을 말했는지 찾는다. 저자가 검증할 수 있는 주장을 적어 두었다면 다시 만든 데이터로 그 주장까지 돌려 본다. 그렇게 320편의 위험한 선택 1,855개가 다섯 갈래로 나뉘었다.

위험한 선택 1,855개에 대해 논문이 적어 둔 것 42% 27% 18% 7% 5% 아무 말도 없다 — 776개 쟁점은 논했지만 결과를 가르는 선택지는 빠졌다 — 499개 저자가 적어 둔 주장이 다시 돌려 보니 맞지 않았다 — 341개 미리 논하고 근거나 점검을 댔다 — 137개 적기는 했으나 사소하다고 했다 — 102개

논문 Table 11의 선택 수 기준이다. 같은 표의 논문 수 열은 한 논문이 여러 갈래에 걸칠 수 있어 갈래끼리 더할 수 없으므로 여기서는 쓰지 않았다. 두 번째 코더의 판정은 아래 본문에 따로 적는다.

가장 큰 칸은 침묵이다. 주장을 가장 크게 위협하는 선택의 42%에 대해 저자는 논문 어디에서도 그 선택을 언급하지 않았다. 근거나 점검을 댄 경우는 7%뿐이다. 그다음으로 큰 27%는 쟁점 자체는 논의했지만 정작 결과를 가르는 선택지는 다루지 않은 경우이고, 18%는 저자가 검증할 수 있는 말을 적어 두었는데 다시 돌려 보니 그 말이 맞지 않은 경우다. 적어 두기는 했으나 사소하다고 넘긴 것이 5%다.

코딩을 한 쪽도 에이전트이므로 이 42%에는 토를 달아야 한다. 연구진은 다른 언어 모델로 돌린 두 번째 코더에게 자기 나름의 정의를 쓰게 한 뒤, RNE 논문 20편을 무작위로 뽑아 그 안의 선택 116개를 다시 코딩하게 했다. 두 번째 코더가 본 침묵은 34%, 첫 코더는 같은 선택들에서 42%였고, 침묵 여부에 대한 두 코더의 일치도는 코언의 카파로 0.69다. 숫자 하나로 못 박기보다 34%에서 42% 사이로 읽는 편이 정직하다. 어느 쪽이든 셋에 하나 이상이다.

"2018년 이후에 나온 새 추정량을 옛 논문에 들이댄 것 아니냐"는 반론도 가능하다. 연구진은 시차 도입 추정량과 관련된 선택을 아예 빼고 다시 세어 보였다. 침묵 비율은 41%로, 1%p 내려갈 뿐이다.

5.1감사자가 논문에 불리하게 깎았다는 반론은 미리 막혀 있다

더 센 반론은 그리드 자체를 겨눈다. 선택 감사자가 저자 자신의 선택지를 부당으로 매겨 빼 버렸다면, 그 그리드는 애초에 저자에게 불리하게 짜인 것이다. 실제로 324편 중 259편에서 감사자는 저자의 선택지를 적어도 하나 배제했다. 연구진은 배제된 선택지를 전부 되살린 동반 그리드를 만들어 같은 추론 방법으로 다시 돌렸다.

결과는 251개 방향성 주장에서 평균 23%에서 26%로 3%p 오르는 데 그쳤다. 비율이 오른 논문이 115편, 내린 논문이 77편이다. 되살린 선택지 633개 가운데 507개는 감사자가 부당으로 매겼던 것이고, 모든 선택지가 타당 판정을 받은 조합만 남겨도 평균은 23%로 전체 24%와 거의 같다. 두 판본의 상관은 0.97이다. 그리드를 저자에게 유리한 쪽으로 다시 짜도 그림은 바뀌지 않는다.

세 주 전 글에서 본지는 이 방법의 한계 하나를 적었다. 목록에 올리지 않은 결정은 중요도를 받을 자리조차 없다는 것이었다. 이번 조사는 그 목록을 사람 대신 에이전트가 짜고, 저자가 그 선택을 어떻게 다뤘는지까지 대조해 한 칸 나아갔다. 그래도 목록 밖은 여전히 못 센다. 다만 이번에는 목록 안에서 이미 꽤 많은 것이 비어 있었다.

6

재현이 깨지는 자리는 설정 이전이다

지금까지는 선택을 바꿀 때 무슨 일이 생기는지를 봤다. 그런데 대개는 그보다 앞, 표를 다시 만드는 자리에서 이미 어긋난다. 3절에서 본 대로 논문 자신의 설정에서 주요 추정치가 다시 나오지 않은 것이 177건인데, 그 177건이 어느 조건에서 걸렸는지를 쪼개 보면 이렇다.

걸린 조건 건수
p값 조건만 못 맞춤49
근접성만 못 맞춤35
부호만 못 맞춤0
근접성과 p값33
부호와 p값13
근접성과 부호5
세 조건 모두42
재현되지 않은 주장177

논문 Table 4 Panel B를 겹치지 않게 쪼갠 것이라 일곱 줄의 합이 177이다. 조건별로 묶어 세면 p값 미달 137건(77%), 근접성 미달 115건(65%), 부호 미달 60건(34%)이고 이 세 수는 서로 겹친다.

가장 흔한 탈락 사유는 p값이지만, 더 앞에서 벌어진 일이 따로 있다. 논문 축자로 "our number of observations differs from the published number by more than 1% in 141 of 163 claims (87%)". 재현되지 않은 주장 가운데 관측치 수를 양쪽 다 확인할 수 있었던 163건 중 141건에서, 표의 행 수부터 발표값과 1% 넘게 달랐다. 추정 방법을 논하기 전에 같은 표가 다시 만들어지지 않았다는 뜻이다. 발표값과 다시 뽑은 추정값의 중앙값 절대 차이는 발표값의 46%이고, 표본 크기 차이가 큰 논문일수록 추정치 차이도 크다(스피어만 상관 0.28, 278편).

6.1사람이 열 수 있는 공개와 기계가 닿을 수 있는 공개는 다르다

무엇이 재현을 갈랐는지에 대한 가장 선명한 수는 저자 자료 쪽에서 나온다. 에이전트가 저자의 데이터나 코드를 찾아낸 주장은 발표된 검정이 있는 방향성 주장 305건 중 18건뿐인데, 그 18건 가운데 15건이 재현돼 83%다. 찾지 못한 287건은 39%였다. 표본 전체로 보면 자료를 찾은 논문이 20편이고 그중 데이터까지 들어 있던 것은 8편이다.

여기서 말을 정확히 써야 한다. 이것은 저자가 공개했느냐가 아니다. 논문이 잰 것은 에이전트가 그 자료에 닿을 수 있었느냐이고, 각주에 사정이 적혀 있다. "for some papers, the authors share their code on the journal's website, but the website blocks the agents' access. We count the authors' materials as missing for these papers." 저널 웹사이트가 에이전트의 접근을 막은 경우는 자료가 없는 것으로 셌다는 것이다. 사람이 브라우저로 열 수 있게 올려 두는 일과, 기계가 받아 갈 수 있게 두는 일은 이 조사에서 서로 다른 일로 취급됐다.

같은 자연실험 안에서만 견주는 회귀로도 이 차이는 살아남는다. 실험 고정효과를 넣은 회귀에서 저자 자료가 있는 주장의 재현 확률은 46%p 높다(p<0.001). 이 46%p는 회귀 계수이고, 83%와 39%의 단순 차이인 43.9%p와는 다른 수다. 둘을 같은 문장에 섞으면 안 된다.

6.2논문이 스스로 그어 둔 선

이 조사의 도구도 에이전트다. 연구진은 그 한계를 본문에 따로 적어 두었다. 첫째, "the models' training data likely include most sample papers, and we cannot determine whether an agent recalls a paper or analyzes it independently." 표본 논문 대부분이 모델 학습 데이터에 들어 있을 것이고, 에이전트가 논문을 기억해 낸 것인지 독립적으로 분석한 것인지 가릴 수 없다는 뜻이다. 둘째, 논문마다 선택 감사자 하나로 한 번씩만 돌렸다. 다른 에이전트가 같은 일을 반복하면 선택과 판정이 얼마나 달라지는지는 모른다.

점검 장치와 그 한계도 수로 적혀 있다. 1차 감사에서 수정이 필요한 오류가 49편에서 발견됐고, 모든 오류가 해결되기 전에는 그리드가 최종 점검을 통과하지 못한다. 그럼에도 마지막 감사 뒤 69편에 걸쳐 108건의 심각한 지적이 미해결로 남았고, 그중 14건은 추정치를 바꿀 수 있다. 데이터 자체도 2026년 시점의 WRDS와 공개 출처에서 다시 받은 것이라 저자들이 몇 해 전 쓴 판본과 다르고, 77편은 적어도 한 입력에 대체 데이터를 썼다. 연구진은 "alternative data may explain part of the low robustness we observe"라고 적는다.

반대로 흔들림의 크기를 직접 잰 수도 함께 적혀 있다. 논문마다 격자 안에서 움직인 선택 하나를 무작위로 골라 그 선택지를 반으로 가르고, 양쪽 절반에서 따로 계산한 값이 논문들 사이에서 얼마나 함께 움직이는지를 200번 다시 뽑아 평균했다. 주장을 지키는 비율도 조합별 z값의 중앙값도 0.93이 나온다. 1이면 두 절반이 완전히 같이 움직인다는 뜻이니, 격자를 반으로 갈라도 논문들의 순서는 거의 그대로라는 말이다. 미해결 지적 108건과 이 0.93은 함께 읽어야 할 수다.

그리고 결론 부분에 선이 하나 그어져 있다. "a low share does not establish that the claim is false." 주장을 지키는 비율이 낮다는 것은 그 주장이 분석 선택에 의존한다는 뜻이지, 거짓이라는 뜻이 아니다. 저자들은 어떤 연구도 정당화 가능한 모든 설정에서 버티지는 못할 것이라고 먼저 적었고, 참인 효과도 잡음을 더하거나 재는 대상을 바꾸는 선택지 아래서는 유의성을 잃는다고 덧붙였다. 이 글의 수치를 "금융 실증연구의 넷 중 셋이 무너졌다"로 옮기면, 논문이 명시적으로 막아 둔 독해를 하는 것이 된다.

7

페블러스 관심의 이유

페블러스가 파는 것은 모델이 아니라 데이터가 쓸 만한지 재는 일이고, 이 논문은 그 "쓸 만함"의 목록에 한 줄이 빠져 있었다고 말한다. 결측도 없고 중복도 없고 라벨도 깨끗한 데이터라도, 그 데이터에서 숫자를 뽑을 때 고른 선택들이 적혀 있지 않으면 같은 숫자가 다시 나오지 않는다. 결론을 가장 자주 쥔 선택이 결과 변수의 정의였다는 4절의 결과가 그 증거다. 데이터 품질 점검표에 분석 설정의 기록이라는 항목이 하나 선다.

7.1이 논문에서 가장 과소평가될 숫자는 87%다

널리 옮겨질 숫자는 평균 25%라는 비율이겠지만, 데이터 쪽에서 일하는 사람에게 더 아픈 숫자는 87%다. 재현되지 않은 추정치 가운데 관측치 수를 견줄 수 있었던 163건 중 141건에서, 표의 행 수부터 발표값과 1% 넘게 어긋났다. 조합을 견주기 전에, 같은 표부터 다시 만들어지지 않는다. 필터 조건, 조인 순서, 결측 처리, 기간 경계 같은 것들이 어디에도 적혀 있지 않기 때문이다. 이 자리는 통계보다 데이터 파이프라인 쪽 문제다.

6절의 저자 자료 수치도 같은 방향을 가리킨다. 에이전트가 자료에 닿을 수 있었던 18건은 83%가 재현됐고, 닿을 수 없었던 287건은 39%였다. 그런데 논문이 "자료 없음"으로 센 것에는 저널 사이트가 접근을 막아 못 받은 경우가 들어 있다. 사람이 로그인해서 열 수 있게 올려 두는 일과 기계가 받아서 돌릴 수 있게 두는 일은 여기서 갈리고, AI-Ready Data라는 말이 가리키는 지점이 정확히 거기다. 올려 둔 것과 닿을 수 있는 것 사이의 간격이 이 조사에서는 83%와 39%라는 재현율 차이로 나타났다.

"선택을 기록한다"에 가장 가까운 선행 사례는 본지가 7월에 다룬 전처리 이력을 자동으로 남기는 과학 데이터 파이프라인이다. 저장된 연구데이터가 학습에 쓸 수 있는 상태가 되기까지 무엇이 필요한지는 7월 리포트에서 따로 정리했고, 품질을 재기는 하지만 스스로 고치지는 못하는 파이프라인의 구조는 6월 글이 다뤘다.

7.2자기 보고서에 걸어 볼 다섯 가지 질문

기업이 분석 설정을 어떻게 기록하고 있는지에 대해서는 이번 조사에서 인용할 만한 자료를 확보하지 못했다. 그래서 아래 다섯 줄은 사례가 아니라 질문이고, 도구를 고르기 전에 문서만 보고 물을 수 있는 것들이다.

  • 이 보고서의 숫자는 몇 번째 선택까지 버티는가. 하나만 다른 정당한 선택지로 바꿔 보면 어떻게 되는가
  • 우리가 하는 점검은 한 번에 하나씩만 바꾸고 있지 않은가. 그 방식은 체계적으로 후한 그림을 그린다
  • 결과 변수의 정의가 어디에 적혀 있는가. 지표 사전에 있는가, 아니면 쿼리 안에만 있는가
  • 이 표를 반년 뒤에 다시 만들면 행 수가 같은가. 같지 않다면 무엇이 안 적혀 있어서인가
  • 우리가 밖으로 내보내는 데이터와 코드는 기계가 닿을 수 있는 자리에 있는가

7.3이것은 어떤 종류의 일인가

분석 설정을 기록하고, 지표 정의를 한곳에 두고, 같은 표가 다시 만들어지는지를 주기적으로 확인하는 일. 이것은 모델을 더 좋은 것으로 바꿔서 해결되는 종류의 일이 아니다. 더 좋은 에이전트는 다시 돌리는 비용을 낮춰 주지만, 무엇을 골랐는지가 어디에도 적혀 있지 않으면 다시 돌릴 대상 자체가 없다. 데이터 쪽에서 계속 돌려야 하는 상시 업무이고, 그 성격을 알아보는 것이 첫 단계다.

오늘 아침 본지가 올린 환각 인용 리포트와는 결함의 축이 다르다. 그쪽은 없는 것이 기록에 들어간 일이고, 이쪽은 있는 것을 고르는 방식이 기록되지 않은 일이다. 앞의 것은 대조로 잡히지만, 뒤의 것은 대조할 원본이 애초에 없다.

사실과 해석을 가른다. 2절부터 6절까지의 모든 수치와 축자 인용은 arXiv:2611.25184 본문과 Table 1·4·5·6·8·9·11에서, 한 편당 22시간·1억 2,600만 토큰은 저자 공개 저장소 README에서 직접 가져왔다. 분모를 가르는 방식, 표와 도식의 배치, 7절 전체는 페블러스가 붙인 해석이다. 확인하지 못한 것도 적어 둔다. 논문 부록 35쪽 이후는 읽지 않았고, 이 조사에 대한 학계 안팎의 반응은 세지 않았으며, 국내 학회·학술지의 데이터·코드 제출 규정과 기업의 분석 설정 기록 관행은 이번 조사 범위 밖이다. 사람이 논문 한 편을 재현하는 데 드는 비용과 견주지 않은 것도 비교 기준이 될 수치를 원문으로 확인하지 못해서다.

R

참고문헌

본문 수치는 거의 전부 1번 한 편에서 나왔고, 한 편당 소요 시간과 토큰 수만 2번에서 가져왔다. 3번과 4번은 본문이 이름으로만 가리키는 문헌이다. 서지사항을 1번의 참고문헌 목록에서 옮겼고 원문을 직접 대조하지는 않았다.

1차 — 이 글이 딛는 문서

  • 1.Ruijiang Gao, Steven Chong Xiao, "An AI-Powered Multiverse Analysis of Empirical Finance Research: Evidence from Reused Natural Experiments" (2026년 11월 18일, v1, 부록 포함 66쪽). arXiv:2611.25184, doi:10.48550/arXiv.2611.25184 — 324편·13개 실험, 128/305, 68% 대 25%, 81→64→57→47, 36% 대 30%, 침묵 42%, 87%, 83% 대 39%와 모든 축자 인용이 여기서 나왔다. 동료심사 전 프리프린트다.
  • 2.Ruijiang Gao, Steven Chong Xiao, agentic_multiverse_analysis 저장소 README (MIT 라이선스) — 1절의 중앙값 22시간·1억 2,600만 토큰과 역할 프롬프트 18개가 여기서 나왔다. 두 수치는 모두 중앙값이고 달러 금액은 적혀 있지 않다.
  • 3.Davidson Heath, Matthew C. Ringgenberg, Mehrdad Samadi, Ingrid M. Werner, "Reusing natural experiments," Journal of Finance 78(4), 2329–2364 (2023) — 2절이 가리키는 RNE 데이터베이스의 원 논문이다. 서지사항은 1번의 참고문헌에서 옮겼다.
  • 4.Sara Steegen, Francis Tuerlinckx, Andrew Gelman, Wolf Vanpaemel, "Increasing transparency through a multiverse analysis," Perspectives on Psychological Science 11(5), 702–712 (2016) — 1절의 "2016년 심리학에서 제안됐다"가 가리키는 문헌이다. 서지사항은 1번의 참고문헌에서 옮겼다.

페블러스 선행 글