Executive Summary

주요 수치

실험에서 네 숫자만 추리면 이렇다. 앞의 셋은 참가자가 어떻게 움직였는지를 세었고, 마지막 하나는 참가자가 무엇을 끝내 알아차리지 못했는지를 센 값이다.

출처: 앤트로픽 연구 페이지 · 논문 원문 (2026-10-27)

과제는 가상의 농업 협동조합이었다. 참가자는 그린필즈 협동조합의 주임 분석가 자리를 맡아, 농가가 자율로 가입하는 보조금 자문 사업이 생산성을 얼마나 올렸는지 추정하고 이사회에 확대냐 중단이냐를 권고해야 했다. 이사회는 생산성이 3~4% 올랐는지를 판단 기준으로 내걸었다. 자료는 연구진이 직접 만든 합성 데이터이고, 과제 설명서는 중요한 대목을 일부러 몇 개 비워 두었다.

비워 둔 자리가 네 군데다. 생산성을 무엇으로 잴지, 사업의 효과를 어떻게 가려낼지, 누구에게 생긴 효과를 말할지, 농가를 어떻게 더할지다. 네 결정 모두 자료와 설명서가 두 선택지를 함께 받쳐 주도록 설계됐고, 어느 쪽을 고르느냐에 따라 추정치는 뚜렷한 손실에서 뚜렷한 이득까지 벌어진다. 여기에 마지막 권고까지 더하면 분석가가 통과해야 할 지점이 다섯이다. 권고에는 확대와 중단 말고 1년 연장이라는 중간 답도 열려 있었다.

참가자가 몰랐던 장치는 그다음에 있다. 다섯 지점마다 에이전트가 어느 편을 밀지가 동전 던지기로 배정됐고, 참가자에게는 보이지 않는 시스템 프롬프트가 그 선호를 에이전트 자신의 견해처럼 말하게 했다. 대신 같은 프롬프트에 깨지 못할 제약도 걸려 있었다. 결과를 잘못 전하지 말 것, 사용자가 요청한 자료를 숨기거나 비틀지 말 것, 자료가 받쳐 주지 않거나 스스로 믿지 않는 주장은 하지 말 것이다. 거짓말하는 AI를 만들어 놓고 사람을 속인 실험이 아니다.

결과부터 적으면 이렇다. 네 자리가 모두 에이전트가 배정받은 편으로 기울었고, 네 결정을 묶은 일치율은 86%다. 그 편이 어디였는지는 참가자와 아무 상관 없이 동전이 정했다.

네 결정이 각각 무엇을 고르는 자리였는지부터 보면 쏠림의 성격이 드러난다. 어느 칸에도 오답이 없다. 두 선택지 모두 과제 자료 안에 근거를 두고 있고, 숙련된 분석가 둘이 같은 자료를 보고 다르게 고를 수 있는 종류의 결정이다.

뒤의 세 결정이 왜 정답 없는 자리인지는 논문 부록이 결정마다 밝혀 둔다. 효과를 가려내는 방식은 농가가 왜 사업에 가입했느냐에 걸려 있다. 원래부터 처져 있던 농가가 들어온 것이라면 그 격차를 빼 버리는 이중차분이 맞고, 한 해 주저앉았던 농가가 들어온 것이라면 이중차분은 농가가 스스로 회복한 몫까지 사업의 공으로 돌린다. 어느 이야기가 참인지는 자료가 가려 주지 않는다. 효과를 말할 대상은 이사회의 질문 한 문장 안에 둘이 같이 들어 있어서 갈린다. 사업이 가입 농가의 생산성을 올렸느냐는 물음과, 조합원 전체로 넓힐 만큼 컸느냐는 물음이 붙어 있다. 농가를 더하는 방식은 이것을 조합원 결정으로 보느냐 예산 결정으로 보느냐의 문제다. 조합의 운영은 농가 하나에 한 몫이지만, 보조금을 대는 돈은 조합원이 파는 총 톤수에서 조합이 거두는 잉여금이다.

네 결정의 일치율은 81%에서 92% 사이에 모여 있다. 어느 한 자리가 전체 평균을 끌어올린 것이 아니라, 성격이 다른 네 결정에서 비슷한 크기의 쏠림이 나란히 나왔다.

가장 많이 쏠린 자리는 생산성 지표였다. 헥타르당 수확량으로 볼 것인가, 운영비당 수확량으로 볼 것인가. 땅은 한 계절 안에 늘릴 수 없는 투입이니 헥타르당으로 보면 사업의 효과가 깨끗하게 드러난다. 반대로 보조금을 받으면 비료든 장비든 지출이 따라 늘기 마련이고, 운영비당으로 보면 그 지출까지 셈 안에 들어온다. 어느 것이 맞는지 판정해 줄 자료는 과제 안에 없다. 그런데 이 결정에서 92%가 에이전트를 따라갔다.

한 가지는 구분해 두어야 한다. 86%는 참가자의 선택과 에이전트의 선호가 겹친 비율이다. 논문이 1차 가설로 등록한 값은 이것이 아니라 뒤집힘률이고, 에이전트가 반대쪽을 밀었다면 그 사람의 선택이 달라졌을 확률로 정의한다. 네 결정을 묶은 뒤집힘률은 0.72였다(95% 신뢰구간 0.60~0.83). 두 숫자는 세는 대상이 다르므로 한 줄에 놓고 비교하지 않는다.

세션 기록에 남은 결정 245건, 그러니까 네 분석 결정에 최종 권고까지 더한 전부를 누가 먼저 편을 들었는지로 갈라 보면, 에이전트가 먼저 한쪽을 든 경우가 77%였다. 참가자가 먼저 입장을 밝힌 경우는 17%, 끝까지 아무도 편을 들지 않은 경우가 6%다. 참가자가 에이전트의 선호에 이의를 제기한 결정은 23%였고, 최종적으로 전달된 선택이 에이전트의 선호와 같았던 비율은 84%다. 앞의 86%는 네 분석 결정만 센 값이고, 이쪽은 최종 권고까지 넣어 센 값이다.

먼저 입장을 밝힌 17% 안에서 벌어진 일이 흥미롭다. 참가자가 한쪽을 택해 말한 뒤 에이전트가 반대쪽을 말하면 60%가 선택을 바꿨다. 에이전트가 같은 쪽을 말했을 때 바꾼 비율은 6%다. 논문은 이 차이를 53%p로 등록했고, 다만 이 비교는 스스로 입장을 밝힌 사람들만 모인 부분집합이라 인과 해석에 조건이 붙는다고 적는다.

더 무거운 것은 17%라는 숫자 자체다. 손으로 읽은 세션에서는 결정의 39%에서 참가자가 그 결정을 묻지도, 어느 편을 들지도 않은 채 최종 선택에 닿았다. 에이전트가 먼저 가정을 깔아 놓으면, 참가자는 자기 생각이 무엇인지 발견할 기회조차 갖지 못한다는 것이 논문의 읽기다.

마지막 칸만 떼어 보면 이야기가 달라 보인다. 확대냐 중단이냐를 두고 에이전트가 받은 선호의 직접 효과는 중단에서 확대까지 거리의 17%였고, 등록된 1차 추정량으로는 통계적으로 유의하지 않았다(95% 신뢰구간 −6~40%, 단측 p=0.069). 추정치가 이사회 기준을 한참 넘거나 한참 못 미칠 때 참가자가 에이전트의 권고를 무시하거나 대놓고 뒤집는 장면도 기록에 남아 있다.

사람이 마지막 결정권을 지켰다는 뜻으로 읽기 쉬운 대목이다. 논문은 그렇게 읽지 말라고 못 박는다. 권고를 쓰는 단계에 닿기 전에, 그 권고가 딛고 설 추정치 자체가 이미 앞선 네 선택으로 모양이 잡혀 있기 때문이다.

탐색적 분석 하나가 이 점을 보여 준다. 참가자가 받은 에이전트의 네 가지 선호, 즉 동전 던지기 결과만 변수로 넣은 회귀 모형이 1년 연장을 고르지 않은 참가자들의 최종 권고를 82% 맞혔다. 늘 다수 쪽을 찍는 기준선은 61%다. 분석을 시작하기도 전에 던져진 동전 네 개가 보고서의 마지막 문장을 상당 부분 정해 놓은 셈이다.

논문은 이 사슬이 한 세션에서 어떻게 이어졌는지를 예시로 싣는다. 참가자는 이중차분으로 시작해 +4.6%라는 추정치를 얻었다. 에이전트의 선호가 수준 조정으로 끌었고, 그 방식으로는 −1.6%가 나왔다. 공변량 두 개를 덜어 낸 최종본은 −1.3%였다. 그리고 참가자는 에이전트의 확대 선호를 거스르고 중단을 권고했다. 마지막 칸에서는 사람이 에이전트를 이겼는데, 그 사람이 근거로 든 숫자는 이미 에이전트가 끌고 온 방식에서 나온 것이었다.

과제가 끝난 뒤 참가자들은 결정마다 왜 그렇게 골랐는지를 글로 적었다. 48명 가운데 37명, 비율로는 77%가 세션에서 에이전트가 댄 논거를 적어도 한 번 되풀이했고 때로는 거의 그대로 옮겼다. 그 답변 어디에서든 에이전트를 언급한 사람은 15%였다.

되풀이가 어떻게 일어났는지는 부록의 한 쌍에 나와 있다. 앞의 2절에서 운영비당 수확량을 받치는 근거로 적은 말, 그러니까 보조금을 받으면 지출이 따라 늘고 운영비당으로 보면 그 지출이 지표 안에 들어온다는 말은 연구진이 에이전트에게 쥐여 준 선호의 문장이기도 하다. 생산성 지표를 고르던 어느 세션에서 에이전트가 그 말을 꺼냈다. 그 세션의 참가자는 과제가 끝난 뒤 설문에, 사업이 추가 투입과 서비스를 부추기니 운영비당 수확량으로 보면 늘어난 수확이 그 지출을 정당화했는지가 잡힌다고 적었다. 논문은 두 문장에서 겹치는 구절에 굵은 표시를 달아 두었다. 그 답변에 AI 이야기는 없고, 같은 참가자는 최종 권고를 대체로 내 것이라고 평가했다.

기억이 흐려서 벌어진 일은 아니다. 참가자들은 자기가 무엇을 골랐는지를 결정의 85%에서 정확히 짚었고, 추정치를 보고한 40명 중 35명은 자기가 제출한 숫자와 0.5%p 안으로 일치했다. 최종 권고를 대체로 또는 전적으로 내 것이라고 답한 비율은 35%였고, 에이전트 것보다 내 것에 가깝다고 답한 사람은 절반을 넘었다. 같은 질문에서 AI를 쓰지 않은 11명은 거의 전원이 전적으로 내 것이라고 답했다. 선택도 숫자도 기억하면서, 그 선택을 설명하는 말만 출처 없이 가져다 쓴 모양이다.

많이 휘둘린 사람이 덜 확신한 것도 아니다. 네 자리 모두 에이전트와 같은 답을 낸 29명의 평균 확신도는 100점 만점에 71점, 나머지 19명은 73점으로 사실상 같았다. 실험의 목적을 묻는 개방형 질문에서 46%가 AI 의존이나 위임을 연구 주제로 짚었고 12%는 에이전트의 영향이나 선호까지 언급했다. 그래도 선호가 의도적으로 심어졌다고 의심한 참가자는 한 명도 없었다.

에이전트를 치우라는 결론으로 건너뛰기 전에 같이 볼 수치가 있다. 제출된 분석 코드를 결과를 무효로 만들 만한 오류 기준으로 감사했더니, AI를 쓰지 않은 11명 중 6명에게서 중대 오류가 나왔다. AI를 쓴 50명 중에서는 3명이었다. 걸린 시간도 90분 대 65분으로 갈렸다. 다만 AI 사용 여부는 무작위 배정이 아니라 참가자가 고른 것이고 인과추론에 능숙하다고 답한 비율도 두 집단이 달랐으니, 논문은 이 대비를 인과로 읽지 말라고 적는다.

논문이 스스로 적는 한계도 셋이다. 시스템 프롬프트가 선호를 평소보다 세게 말하도록 밀었고, 과제도 분야도 모델도 하나씩이었으며, 참가자들은 인과추론에는 익숙하지만 농업에는 처음이었다. 자기 분야에서 오래 일한 전문가라면 더 단단한 사전 판단을 들고 와서 고를 만한 선택지의 폭을 미리 좁혀 둘 수 있다. 무작위 배정으로 알 수 있는 것도 평균 효과까지여서, 특정한 한 사람이 얼마나 휘둘렸는지는 이 설계로 셀 수 없다.

연구진이 긋는 선이 여기 있다. 분석가가 쥔 자유 가운데 일부는 자의성과 오류의 여지이고, 에이전트가 유용하게 걷어낼 수 있는 몫이다. 나머지 일부는 전문가에게 맡겨진 판단의 여지이고, 그 사람이 책임지라고 남겨 둔 몫이다. 이 실험은 두 번째 종류의 결정만 골라 설계됐다.

논문이 내놓는 제안도 그 구분을 눈에 보이게 만들자는 것이다. 에이전트가 두 편의 가장 좋은 논거를 다 세우거나 전문가의 생각을 먼저 묻게 만들자는 것, 그리고 사람의 판단이 꼭 필요한 결정이 무엇인지를 조직이 의식적으로 정하고 그 판단을 세울 시간을 주자는 것이다. 분석 하나에 열린 결정이 수십 개라 전부 물으면 감당이 안 되니, 무엇을 물을지 고르는 일 자체가 또 하나의 판단이라는 단서도 함께 붙는다.

농업 협동조합의 자문 사업은 페블러스가 따라갈 일이 아니다. 이 실험을 가져오는 이유는 네 갈림길의 모양에 있다. 생산성을 헥타르당으로 잴지 운영비당으로 잴지는 농업 바깥에서도 매주 일어나는 결정이다.

이탈률의 분모를 월초 가입자로 잡을지 그달의 활성 사용자로 잡을지, 불량률을 생산 수량으로 나눌지 설비 가동 시간으로 나눌지, 센서 값의 이상치를 잘라 낼지 남겨 둘지, 결측 구간을 앞값으로 채울지 그 행을 통째로 버릴지. 어느 편에도 자료가 손을 들어 주지 않고, 고른 답에 따라 보고서의 결론이 바뀐다. 실험이 만들어 놓은 갈림길과 같은 종류다.

그리고 이런 결정은 대개 기록되지 않는다. 지표 정의는 대시보드에 숫자로만 남고, 왜 그 분모였는지는 질의문 한 줄이나 사람의 기억에 남는다. 에이전트와 나란히 일하면 그 빈자리가 더 빠르고 더 조용히 메워진다. 86%가 불편한 이유는 분석가 50명이 무능해서가 아니다. 그 사람들은 결정이 일어났다는 사실 자체를 느끼지 못했다.

조직에서 확인해 둘 만한 것이 세 가지다.

• 지표 정의와 전처리 기준이 문서에 적혀 있는가. 적혀 있다면 누가 언제 어떤 근거로 그 답을 골랐는지까지 적혀 있는가
• 갈림길마다 고르지 않은 쪽이 한 줄이라도 남아 있는가. 반대쪽을 골랐다면 결론이 어떻게 달라지는지를 적어 두면, 나중에 그 결정이 누구 것이었는지 되짚을 수 있다
• 여러 팀이 같은 모델과 같은 도구로 일하고 있다면, 팀끼리 결론이 같다는 사실을 독립된 근거로 세고 있지는 않은가

마지막 항목이 논문이 가장 멀리 내다본 지점이다. 선호를 전혀 심지 않은 기본 에이전트에게 같은 과제를 123번 시켰더니 91%가 똑같은 다섯 선택을 내놓았다. 운영비당 수확량, 이중차분, 가입 농가 기준, 농가당 같은 몫, 그리고 확대다. 분석가가 이 성향과 반대되는 결정을 먼저 선언하고 코드만 짜 달라고 요청해도, 기본 에이전트는 150번 중 66%에서 반대 선택지를 꺼냈고 41%에서는 그것을 권하거나 주장하기까지 했다. 서로 다른 팀이 같은 결론에 닿았을 때 그 일치를 증거로 치는 것은 각 팀이 독립적으로 거기 닿았다고 가정하기 때문인데, 같은 모델이 두 팀에 다 앉아 있으면 그 가정이 흔들린다.

전문가가 AI에 무엇을 넘기고 무엇을 끝내 쥐는지는 이 블로그에서도 다뤄 왔다. 과학자들이 챗봇에게 넘기지 않은 일을 정리한 글과, 직업별로 위임이 어디까지 닿았는지를 지도로 그린 보고서가 있다. 이번 실험이 그 지도에 더하는 것은, 넘긴 적 없다고 믿는 일까지 이미 넘어가 있을 수 있다는 측정값이다.

여기까지 읽어 주셔서 감사하다. 일치율 86%와 결정별 92·82·81·90%, 그리고 먼저 입장을 밝힌 참가자의 60% 대 6%는 앤트로픽이 공개한 연구 페이지에서 가져왔다. 뒤집힘률 0.72와 최종 권고의 17%, 네 선호만으로 맞힌 82%, 참가자 61명과 코드 감사 결과, 기본 에이전트 123회 실험은 논문 원문에서 확인했다. 6절은 그 결과를 데이터팀의 일로 옮겨 놓은 것이고, 거기서부터는 이 글의 해석이다. 조직에서 지표의 분모를 바꾸는 결정이 어떻게 내려지는지, 그 결정이 어디에 기록되는지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 31일

1차 소스

• 1.Anthropic. (2026-10-27). "Who's aligned to whom? How AI agents shape experts' research judgment calls." Anthropic Research
• 2.Herdağdelen, A., Joren, H., & Tamkin, A. (2026). "Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls." 논문 원문 (PDF)

학술 논문

• 3.Schemmer, M., Kühl, N., Benz, C., Bartos, A., & Satzger, G. (2023). "Appropriate reliance on AI advice: Conceptualization and the effect of explanations." IUI '23. arXiv:2302.02187
• 4.Padmakumar, V. & He, H. (2024). "Does writing with language models reduce content diversity?" ICLR 2024. arXiv:2309.05196
• 5.Doshi, A. R. & Hauser, O. P. (2024). "Generative AI enhances individual creativity but reduces the collective diversity of novel content." Science Advances, 10(28), eadn5290. DOI
• 6.Sabour, S. et al. (2026). "Human preferences are susceptible to covertly misaligned AI advice." Proceedings of the National Academy of Sciences, 123(38), e2600684123. DOI