Executive Summary

주요 수치

네 숫자만 추리면 이렇다. 앞의 하나는 선행 연구에서 가져온 값이고, 나머지 셋은 저자들이 직접 계산해 표에 실은 값이다.

출처: arXiv:2610.38797 (2026-10-28)

논문이 서론에서 첫 근거로 드는 것은 Aczel 연구진의 재분석 실험이다. 이미 발표된 사회과학 연구 결과 100건을 골라, 원 논문이 쓴 것과 같은 데이터를 독립 분석가들에게 넘기고 각 건마다 최소 다섯 번씩 다시 분석하게 했다. 원 결과와 비슷하게 나온 재분석은 34%였고, 26%는 효과가 없다고 하거나 아예 반대 결론에 닿았다. 데이터도 같았고 물음도 같았다. 달랐던 것은 분석가가 도중에 내린 판단뿐이다.

이런 민감성이 새로 발견된 것은 아니다. 저자들은 사회과학만의 일도 아니라고 적었다. 자연과학도 같은 어려움을 겪는다. 문제는 통상적인 통계 추론이 이 변동 자체를 거의 다루지 않는다는 점이다. 분석가에게는 그것을 측정하고 설명할 도구가 없고, 그래서 결론은 실제보다 더 확신에 찬 모습으로 발표된다.

논문은 이 문제가 더 커질 참이라고 본다. 초록은 AI와 에이전트 도구가 빠르게 퍼지면서 의사결정 과정의 투명성이 떨어지고 그 결과 재현성 위기가 증폭될 위험이 있다고 적었다. 서론은 좀 더 구체적이다. 에이전트형 프로그래밍 도구가 분석가로 하여금 꼼꼼히 들여다보지 않은 방법론적 결정을 그대로 받아들이게 만든다는 것이다. 사람이 내리던 판단을 도구가 대신 내리기 시작하면, 판단이 사라지는 것이 아니라 보이지 않는 곳으로 옮겨 간다.

이 변동을 정면으로 다루는 기존 방법들은 전략이 같다. 분석에서 갈릴 수 있는 지점을 남김없이 적어 두고, 그 조합마다 분석을 한 번씩 돌린 뒤 결과가 어떻게 흩어지는지 살핀다. 멀티버스 분석(multiverse analysis), 명세 곡선 분석(specification curve analysis), 효과의 진동(vibration of effects)이 그런 방법들이다. 데이터 과학 생애주기 전반의 판단이 결론에 어떤 영향을 주는지 평가하는 PCS(예측 가능성·계산 가능성·안정성) 틀도 같은 자리에 있다. 이 접근들이 만들어 내는 결과물을 논문은 멀티버스라고 부르고, 그 안의 조합 하나하나를 우주라고 부른다.

그 멀티버스는 이름으로만 남지 않는다. 수식으로도 정의돼 있다. 결정이 d개 있고 각 결정에 선택지가 몇 개씩 달려 있을 때, 우주 하나는 그 선택들을 차례로 적은 나열이고 멀티버스는 선택지 집합들의 곱집합이다. 저자들은 멀티버스를 이렇게 형식적으로 정의한 것이 자기들이 아는 한 처음이라고 적었다. 멀티버스를 놓고 이야기할 공통 언어가 생겨야 멀티버스에서 나온 데이터를 다루는 방법론도 뒤이어 쌓일 수 있다는 이유를 달았다. 뒤에 나올 DECIDE의 계산은 모두 이 표기 위에 올라간다.

여기까지 하면 결과가 얼마나 흩어지는지는 눈에 들어온다. 그런데 어느 결정이 그 흩어짐을 만들었는가는 다른 물음이고 도구가 따로 필요하다. 지금까지 흔히 쓰던 방법은 이렇다. 결정들을 입력으로 삼고 결과를 출력으로 삼는 모델을 하나 더 학습시킨 다음, 그 모델의 회귀계수나 변수 중요도를 각 결정의 영향력으로 삼는다. 이렇게 덧붙여 세우는 보조 모델을 논문은 대리 모델(surrogate model)이라고 부른다.

이 방식은 대리 모델이 실제를 제대로 맞힌다는 가정 위에 서 있다. 그 가정이 실제로 서는지 저자들이 확인해 봤다. 잘 알려진 멀티버스 두 개에 선형회귀를 대리 모델로 얹었더니, 생식 주기와 투표 행동을 다룬 멀티버스에서는 조정 결정계수(R²)가 0.816으로 비교적 잘 맞았지만 허리케인 멀티버스에서는 0.490에 그쳤다. 잔차 그림에도 무작위가 아닌 패턴이 남아 선형회귀가 전제하는 가정이 깨져 있었다. 같은 대리 모델이 데이터에 따라 잘 맞기도 하고 절반만 맞기도 하는데, 안 맞을 때도 그 계수를 결정의 영향력으로 읽어 온 것이다.

실제 멀티버스에서는 정답을 모른다. 그래서 논문은 정답을 아는 장난감 멀티버스를 직접 만들었다. 이진 결정 세 개(c₁, c₂, c₃)가 여덟 가지 우주를 만든다. 설계는 이렇다. c₁과 c₂는 혼자서는 정확도를 건드리지 않고 둘이 맞물릴 때만 정확도를 움직인다. c₃는 반대로 다른 결정과 상관없이 혼자 작동한다. 어떤 배경에서든 c₁이나 c₂를 뒤집으면 정확도가 0.05 바뀌고, c₃를 뒤집으면 0.04 바뀐다. 따라서 참값 순서는 c₁과 c₂가 같고 그 아래가 c₃다.

이 멀티버스에 흔히 쓰는 방법들을 걸어 봤다. 상호작용 항을 넣지 않은 선형회귀, 랜덤 포레스트의 두 가지 변수 중요도(불순도 감소 MDI와 순열 중요도 PFI), 그리고 랜덤 포레스트 예측 위에서 분산을 나누는 함수형 분산분석(fANOVA)이다. 상호작용 항을 뺀 회귀를 기준선으로 삼은 이유도 따로 밝혀 뒀다. 큰 멀티버스에서 어떤 상호작용이 중요한지 미리 아는 분석가를 기대하기 어렵고, 가능한 상호작용을 전부 넣으면 변수 수가 데이터 수와 같아져 추론 자체가 불가능해지기 때문이다.

순서를 맞춘 것은 DECIDE 하나뿐이고, 나머지는 전부 c₃를 가장 중요한 결정으로 꼽았다. 실패하는 이유는 방법마다 다르다. 선형회귀와 fANOVA 주효과는 c₁과 c₂의 순수한 상호작용에 개별 효과가 없어 중요도를 거의 주지 못한다. MDI는 트리가 탐욕적으로 가지를 가르는 방식 때문인데, 상호작용으로만 작동하는 변수는 뿌리 노드에서 불순도를 줄이지 못해 주효과 결정인 c₃가 초기 분할을 독차지하고 점수도 가져간다. PFI와 fANOVA 전체는 부트스트랩 탓이다. 트리마다 학습에서 빠진 우주가 생기고, 그 우주를 예측할 때 트리가 전체 평균으로 물러나면서 상호작용의 중요도가 줄어든다.

분석은 여기서 멈추지 않는다. 대리 모델이 이런 상호작용 중심 상황에서 올바른 중요도를 잡으려면, 모든 트리가 데이터 전체를 쓰고 매 분할에서 모든 변수를 보도록 포레스트를 맞춰야 한다. 그렇게 하면 포레스트가 멀티버스를 완전히 보간하게 되어 PFI와 fANOVA 전체도 올바른 순위를 되찾는다. 그런데 그 조건 아래서 두 방법은 DECIDE와 구별되지 않고 그대로 DECIDE가 되어 버린다. 그래서 대리 모델을 해석하는 일은 어느 쪽으로 가도 손해라는 것이 논문의 결론이다. 신호를 제대로 못 잡거나, 아니면 비싼 계산을 치르고 DECIDE가 바로 주는 답에 도달하거나 둘 중 하나다.

대리 모델을 세우지 않는 설계는 계산 시간에서도 이득을 본다. 이미 돌려 둔 멀티버스 다섯 개를 놓고 각 방법이 중요도를 내는 데 걸리는 시간도 쟀다. DECIDE는 전체 중요도와 주효과를 함께 내고도 어느 멀티버스에서나 1초 안에 끝났다. 우주가 2만 개가 넘는 멀티버스에서 fANOVA 주효과가 13.9초 걸릴 때 DECIDE는 181밀리초였고, 상호작용까지 전부 분해하는 fANOVA 전체는 가장 큰 멀티버스 둘에서 아예 돌리지 못했다. 가장 싼 것은 회귀 계수라는 점을 논문도 인정한다. 다만 어떤 상호작용이 중요한지 미리 알지 못하면 그 계수로는 상호작용 구조를 담아낼 수 없다. 모형을 적합시키지 않으니 DECIDE의 비용은 대리 모델의 복잡도가 아니라 멀티버스의 크기를 따라간다.

Jung 연구진은 여성스러운 이름이 붙은 허리케인이 남성스러운 이름이 붙은 허리케인보다 더 많은 사망자를 낸다고 주장했고, 이 질문에 어떻게 제대로 답할 것인가를 두고 긴 논쟁이 붙었다. Simonsohn 연구진은 명세 곡선 분석을 설명하면서 이 분석을 멀티버스로 만들었다. 결정은 일곱 개이고 우주는 1,728개다. 어떤 회귀 모델을 쓸지, 사망자와 피해액의 이상치를 어떻게 처리할지, 피해액에 로그를 씌울지, 어떤 공변량을 넣을지, 예측 변수를 어떻게 설정할지, 그리고 이름의 여성스러움을 어떻게 정의할지가 그 일곱이다.

아래는 DECIDE가 매긴 일곱 결정의 중요도다. 전체는 상호작용까지 포함한 값이고, 주효과는 그 결정이 혼자 움직일 때의 값이다. 비율은 전체 가운데 주효과가 차지하는 몫이다.

어떤 회귀 모델을 쓰느냐가 표의 맨 위에 있다. 논문에 실린 모든 추정기가 이 결정을 1위에 놓는다는 점에서 여기까지는 이견이 없다. 갈리는 곳은 그 뒤다. 상호작용까지 보는 두 방법은 '피해액 변환'을 3위로 올리지만, 주효과만 보는 방법들은 하나같이 이 결정을 맨 아래로 내린다. DECIDE 주효과는 0.001이고 fANOVA 주효과는 0.000, 회귀 계수는 0.059다. 피해액에 로그를 씌우느냐는 그 자체로는 결론을 바꾸지 않는다. 다른 결정과 겹칠 때 비로소 결론을 가른다. 상호작용을 셈에 넣지 않는 방법에게 이 결정은 보이지 않는다.

그리고 이 연구가 애초에 묻고 싶었던 변수가 표의 맨 아래에 있다. 허리케인 이름이 얼마나 여성스러운지를 어떻게 정의하느냐는 전체 중요도 0.261로 일곱 가운데 꼴찌다. 논문은 이를 두고 보고된 효과가 핵심 예측 변수를 어떻게 정의하느냐보다 그것을 둘러싼 모델링 선택에 훨씬 더 크게 좌우된다는 뜻으로 읽었다.

비율 칸은 다른 멀티버스에서도 같은 방식으로 읽힌다. 멀티버스 분석이라는 방법을 처음 내놓은 Steegen 연구진이 예시로 쓴 생식 주기 멀티버스에는 결정이 다섯 개 있다. 1위인 '관계 상태'는 전체 0.089 가운데 주효과가 0.078이라 비율이 88.3%다. 거의 혼자 힘으로 결론을 끌고 간다는 뜻이다. 3위인 '월경 주기 계산법'은 전체 0.041인데 주효과가 0.011뿐이라 27.1%에 그친다. 순위표에서는 중간쯤의 평범한 결정으로 보이지만 그 영향은 대부분 다른 결정과 엮인 자리에서 나온다. 같은 멀티버스에서 선형회귀는 아래 세 결정에 0.152, 0.152, 0.146을 매겨 서로 거의 붙여 놓았고, 결국 셋을 구별하지 못했다.

방법끼리 어긋나는 모습이 더 뚜렷한 사례도 있다. 청소년의 기술 사용과 웰빙의 관계를 다룬 Orben과 Przybylski의 분석은 미국 YRBS와 MTF, 영국 MCS 세 설문으로 각각 멀티버스를 만든다. 앞의 두 설문에서는 방법들이 대체로 같은 답을 내지만, MCS에서는 갈린다. DECIDE와 fANOVA는 '기술 사용 측정 방식'을 1위로 같이 놓는데, DECIDE가 근소한 2위로 올린 '결과 변수'에 fANOVA는 거의 0에 가까운 0.003을 주고 선형회귀는 그 결정을 1위로 꼽는다. 이 멀티버스에서는 중요도가 대부분 상호작용에서 나와서(주효과 비율이 21.1%와 15.5%) 주효과 중심 방법이 변동을 제대로 나눠 담지 못한다.

이런 순위가 결정 목록에 얼마나 기대고 있는지도 논문은 실제로 재 봤다. 결정 하나를 특정 선택지에 고정해 멀티버스를 줄인 다음 남은 결정들의 순위를 다시 매기고, 줄이기 전 순위와 얼마나 같은지를 보는 방식이다. 허리케인 멀티버스에서 일곱 번을 돌려 평균하면 DECIDE 전체가 0.86으로 가장 잘 버텼고 선형회귀가 0.69로 가장 못 버텼다. 순위가 가장 크게 흔들리는 자리는 '모델 종류'를 고정했을 때다. 이때 선형회귀의 순위는 원래 순위와 사실상 무관해지고(평균 0.11, 두 선택지 가운데 하나에서는 −0.26), 주효과만 보는 방법들은 0.29까지 떨어지는데, 상호작용까지 보는 두 방법은 0.66에서 0.69를 지킨다. 생식 주기 멀티버스에서도 차례는 같아서 DECIDE 전체가 0.91, 선형회귀가 0.65였다.

DECIDE는 결과를 요약하는 연산자와 흩어짐을 측정하는 연산자를 분석가가 고르게 열어 둔다. 앞 절들은 평균과 분산을 넣어 각 결정의 평균적인 영향력을 계산했다. 여기에 최댓값과 범위를 넣으면 다른 물음으로 바뀐다. 이 결정이 결과를 최대 얼마나 흔들 수 있는가. 평소에는 얌전한데 드물게 치명적인 실패를 부르는 결정을 찾는 자리에 쓸 수 있고, 집계 방식이 설계에 박혀 있는 대리 모델은 이런 해석을 내놓지 못한다.

논문은 이를 보여 주려고 이진 결정 열두 개로 4,096개 우주를 만들었다. 다섯 개는 혼자서만 정확도를 올리는 평범한 결정이고, 여섯 개는 각각 0.02씩 정확도를 올려 주는 방아쇠 결정이다. 마지막 하나는 방아쇠 여섯 개가 모두 켜져 있을 때만 작동해 정확도를 0.30 떨어뜨린다. 그 일이 실제로 일어나는 우주는 4,096개 중 32개, 전체의 0.78%뿐이다.

평균으로 매기면 이 마지막 결정은 열둘 가운데 가장 낮다. 효과가 없는 경우가 대부분이어서 점수가 희석되기 때문이다. 최악으로 매기면 단독 1위가 된다. 논문은 어느 쪽도 틀리지 않았고 서로 다른 물음에 답하고 있을 뿐이라고 적었다. 눈길이 가는 쪽은 방아쇠 결정들이다. 하나하나 보면 정확도를 0.02씩 올려 주는 합리적인 선택처럼 보이는데, 그것들이 모여 마지막 결정이 당길 덫을 만든다.

데이터 품질을 말할 때 우리가 세는 것은 대개 결측과 중복과 라벨 오류다. 그 목록은 데이터 자체의 흠을 겨냥한다. 이 논문이 가리키는 자리는 그보다 한 칸 뒤에 있다. 데이터가 완전히 깨끗해도 전처리와 변수 정의와 모델 선택은 그대로 남고, 허리케인 사례가 보여 주듯 그 선택이 연구의 핵심 변수보다 결론을 더 크게 갈라놓을 수 있다.

같은 데이터로 두 팀이 다른 보고서를 냈을 때 우리가 보통 할 수 있는 말은 분석 방법이 달랐다는 데까지다. DECIDE가 주는 것은 그다음 칸이다. 어느 결정이 차이를 만들었는지, 그 결정이 혼자 작동했는지 다른 결정과 함께 작동했는지가 숫자로 갈린다. 주효과 비율이라는 한 칸이 그 구분을 담는다. 비율이 0.1%인 결정은 그것만 떼어 놓고 검토해 봐야 아무것도 안 나오고, 어떤 결정과 함께 놓이느냐를 같이 봐야 한다. 비율이 높은 결정은 반대로 그 하나만 들여다봐도 영향이 드러난다. 실무에서 무엇을 먼저 합의할지가 이 숫자로 달라진다.

논문이 향후 과제로 적은 네 가지 가운데 셋째가 에이전트형 데이터 과학 시스템에 DECIDE 점수를 넣는 일이다. 자동화된 시스템이 자기 분석 결정을 스스로 감사하고, 취약한 선택을 사용자에게 알리게 하자는 것이다. 넷째는 한 걸음 더 간다. 언어 모델이 답에 이르기까지 밟는 추론 단계 하나하나를 결정으로 보면 어느 단계가 특정 행동을 낳았는지 짚어 낼 수 있고, 그 실마리로 모델을 어느 쪽으로 몰지 정할 수 있다는 것이다. 지금 분석 파이프라인에서 결정을 대신 내리기 시작한 쪽이 바로 그 시스템이다. 1절에서 본 경고와 이 과제는 같은 문제의 양면이다. 에이전트가 더 많은 판단을 떠안을수록, 그 판단을 하나씩 되짚을 장치도 같이 있어야 한다.

논문이 스스로 적은 한계도 그대로 실무의 한계다. DECIDE의 점수는 사용자가 적어 넣은 결정 공간에 조건부다. 빠뜨린 결정이나 선택지는 곧바로 순위를 바꾼다. 4절의 절제 실험이 그 변화를 실제로 잰 자리인데, DECIDE가 다른 방법보다 순위를 잘 지켰다는 것이지 안 흔들렸다는 것은 아니다. 모든 우주의 결과를 다 써야 하므로 우주 하나를 얻는 비용이 큰 상황에서는 돌리기 어렵다는 제약도 있다. 그러니까 어느 선택이 결론을 갈랐나에 답하려면 먼저 우리가 어떤 선택을 할 수 있었나를 빠짐없이 적어야 한다. 그 목록을 적는 일은 여전히 사람 몫이고, 현장에서 더 어려운 쪽도 대개 그쪽이다.

여기까지 읽어 주셔서 감사하다. 논문의 저자와 제출일, 초록과 서론의 주장, Aczel 연구의 34%와 26%, 대리 회귀의 조정 R² 0.816과 0.490, 장난감 멀티버스 표와 허리케인 표의 숫자, 생식 주기 멀티버스의 비율 칸, 절제 실험의 상관값과 실행 시간 표, 청소년 웰빙 세 설문의 결과, 그리고 최악 사례 실험의 설계와 한계·향후 과제는 모두 arXiv:2610.38797 원문에서 확인했다. 데이터 품질 목록에 분석 결정을 한 항목으로 더하자는 제안과 결정 목록 문서화를 품질 작업으로 읽은 6절의 해석은 이 글의 것이다. 같은 데이터로 팀마다 다른 수치가 나와 회의가 길어진 경험이 있다면 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 31일

원 논문

• 1.Rewolinski, Z. T., Simson, J., Kreuter, F., Kern, C., & Yu, B. (2026). "Pinpointing Pivot Points: The DECIDE Framework for Data Analysis Decision Importances." arXiv:2610.38797.

멀티버스·재현성 방법론

• 2.Aczel, B., Szaszi, B., Clelland, H. T., et al. (2026). "Investigating the analytical robustness of the social and behavioural sciences." Nature, 652(8108), 135–142. DOI
• 3.Steegen, S., Tuerlinckx, F., Gelman, A., & Vanpaemel, W. (2016). "Increasing Transparency Through a Multiverse Analysis." Perspectives on Psychological Science, 11(5), 702–712. DOI
• 4.Simonsohn, U., Simmons, J. P., & Nelson, L. D. (2020). "Specification curve analysis." Nature Human Behaviour, 4, 1208–1214. DOI
• 5.Yu, B., & Kumbier, K. (2020). "Veridical data science." Proceedings of the National Academy of Sciences, 117(8), 3920–3929. DOI

DECIDE가 재분석한 원 연구

• 6.Durante, K. M., Rae, A., & Griskevicius, V. (2013). "The Fluctuating Female Vote: Politics, Religion, and the Ovulatory Cycle." Psychological Science, 24(6), 1007–1016. DOI
• 7.Jung, K., Shavitt, S., Viswanathan, M., & Hilbe, J. M. (2014). "Female hurricanes are deadlier than male hurricanes." Proceedings of the National Academy of Sciences, 111(24), 8782–8787. DOI
• 8.Orben, A., & Przybylski, A. K. (2019). "The association between adolescent well-being and digital technology use." Nature Human Behaviour, 3, 173–182. DOI