Executive Summary

주요 수치

출처: Shao, T. (2026), arXiv:2609.20543 · 사전등록 osf.io/5jp7s

재료가 된 코퍼스는 델리데이터(DeliData)다. 2023년에 공개된 이 자료에는 웨이슨 카드 선택 과제를 놓고 채팅으로 토론한 500개 조가 들어 있다. 참가자 1,974명, 발화 14,003건이다. 과제 자체는 1968년부터 심리학 교과서에 실려 온 연역추론 문제다. 카드 넉 장이 놓여 있고 규칙이 하나 주어지는데, 그 규칙이 지켜지는지 확인하려면 어느 카드를 뒤집어야 하는지를 고르는 문제다. 논리적으로 맞는 답이 하나 정해져 있고, 사람 대부분이 그 답을 틀린다는 점이 오래 알려져 있다. 참가자는 토론 전에 자기 답을 한 번 적고, 자유롭게 대화한 뒤, 토론 후 답을 다시 적는다.

이 500개 조를 저자는 조 식별자의 고정 해시로 400개와 100개로 갈랐다. 앞의 400개는 설정을 맞추는 데만 쓰고, 뒤의 100개는 봉인해 두었다. 두 목록의 SHA256 값을 2026년 7월 4일 오픈사이언스프레임워크 사전등록에 박아 두었기 때문에, 결과를 본 뒤에 목록을 바꿀 수 없다. 400개 조에서 맞춘 것도 딱 하나, 집단 향상률뿐이다. 사람 조의 향상률이 35.8%였고 그 값에 가장 가까워지는 설정을 골랐다. 다른 지표는 설정 단계에서 아예 들여다보지 않았다.

설계에서 가장 중요한 결정은 에이전트를 자유롭게 풀지 않았다는 점이다. 본 실험 전에 돌린 오염 점검에서, 요즘 모델은 카드를 다른 낱말로 바꿔 놓아도 이 과제를 사람 개인보다 훨씬 잘 풀었다. 그냥 두면 조의 성적이 좋아지는 이유가 토론이 아니라 모델 실력이 된다. 그래서 에이전트마다 담당 참가자가 토론 전에 혼자 적은 답을 신념으로 심었다. 에이전트가 받는 정보는 자기 별칭, 그 주입된 답, 눈에 보이는 카드 넉 장, 규칙까지다. 정답도, 다른 참가자의 사전 답도, 사람들이 실제로 나눈 대화도, 사후 답도 주지 않는다. 그러니 에이전트가 새로 얻는 정보는 재현된 대화 안에서 생기는 것뿐이다.

모델은 딥시크의 한 서빙 빌드(deepseek-v4-flash)를 채팅 모드와 추론 모드 두 설정으로 불렀다. 여기에 역할 유지 스캐폴드 세 가지(없음, 역할 유지 지시, 역할 유지 지시에 더해 매 턴 신념 재주입)와 시드 세 개를 교차해 100개 조를 돌리니 확증 분석용 셀이 1,800개 나온다. 추론 모드 셀 일곱 개(0.4%)가 네트워크 오류로 실패했고, 저자는 그 자리를 다시 채우는 대신 제외했다. 모델 계열이 바뀌어도 같은 일이 벌어지는지 보려고 오픈웨이트 모델 Qwen3-14B를 로컬에 띄워 같은 100개 조를 한 번 더 돌렸다.

합성 응답자를 두고 앞서 쌓인 경고도 논문이 함께 인용한다. 모델 표본이 집단 평균은 맞히면서 응답의 분산은 무너뜨린다는 보고, 페르소나를 씌우면 집단 안의 다양성이 눌린다는 보고다. 정확도를 끌어올리는 것은 합의가 아니라 보존된 다양성과 독립성이라는 결과도 집단 인지 쪽에 오래 쌓여 있어서, 저자는 과잉수렴을 성공이 아니라 실패 양식으로 놓는다. 앞선 두 재현 연구 가운데 하나는 정답이 없는 주관 질문이라 합의를 정답과 오답으로 쪼갤 수 없었고, 다른 하나는 참가자를 에이전트에 짝지었지만 대화 자체를 시뮬레이션하지 않았다. 이 연구는 대화를 시뮬레이션하면서 정답이 있는 과제를 골랐다.

완전합의는 조원 전원의 최종 답이 똑같은 경우를 말한다. 정답인지 아닌지는 따지지 않는다. 정의만 보면 간단한데, 같은 100개 조를 놓고도 네 가지 채점 규칙이 서로 다른 값을 낸다. 아래 표가 그 넷이다.

24.0%와 57.0%를 가른 것은 침묵이다. 이 코퍼스에서 참가자의 20.1%는 토론 중에 한 번도 글을 올리지 않았다. 전원의 답이 같아야 완전합의로 치는 규칙에서는, 조에 침묵한 사람이 한 명만 있어도 그 사람의 낡은 선택이 남아 조 전체가 비합의로 떨어진다. 다섯 명 중 한 명이 침묵하는 자료에서 이 규칙은 합의율을 기계적으로 끌어내린다.

여기서 논문의 첫 번째 주장이 나온다. 완전합의율은 숙의라는 행위의 성질이 아니라, 누구를 참가자로 치고 답하지 않은 사람을 어떻게 적을지에 대한 결정이 만들어 내는 추정치다. 어떤 연구가 사람 조의 합의율을 하나만 보고했다면, 그 값이 24%짜리 규칙에서 나왔는지 57%짜리 규칙에서 나왔는지부터 물어야 한다.

사람 쪽 분모에 침묵이 불리하게 작용한다면, 그 불리함을 걷어 내면 격차가 사라져야 한다. 저자는 두 가지 방법으로 걷어 냈다. 하나는 모든 조원이 한 번 이상 발언한 45개 조만 남기는 것이고, 다른 하나는 사람의 실제 제출 답을 쓰는 것이다. 둘은 서로 다른 종류의 오차를 줄인다.

전원이 발언한 45개 조에서 사람의 완전합의율은 51.1%다. 같은 조를 재현한 채팅 모드 에이전트는 85.2%, 추론 모드는 95.6%다. 조끼리 짝지어 뺀 차이는 각각 34.1%포인트(95% 신뢰구간 19.3~48.9)와 44.4%포인트(29.6~59.3)이고, 두 구간 모두 0을 넉넉히 비켜 간다. 제출 답으로 계산한 98개 조에서는 34.0%포인트(24.1~44.2)와 43.9%포인트(34.0~53.7)가 나왔다. 서로 다른 오차를 줄인 두 경로가 0.5%포인트 안쪽으로 모인 셈이다. 아무 보정도 하지 않은 100개 조 전체 비교에서는 격차가 62.0%포인트와 72.0%포인트까지 벌어지는데, 이 값에는 참여 차이와 이월 방식의 차이가 섞여 있다.

그 45개 조가 어떤 조인지는 따로 봐야 한다. 논문 보충 표 S3에 이 부분집합의 구성이 나와 있다. 전원이 발언한 조는 평균 3.20명으로 전체 100개 조의 3.86명보다 작고, 조 안에 서로 다른 사전 답이 2.73가지로 전체의 3.07가지보다 적으며, 정답을 쥐고 출발한 사람의 비율도 9.0%로 전체 11.2%보다 낮다. 그래서 저자는 이 값을 두 명에서 다섯 명 사이의, 대체로 의견이 갈린 채 시작하고 초기 정답률이 낮은 조에 대한 참여 맞춤 민감도 추정치일 뿐이라고 못 박는다. 같은 격차가 더 큰 조에서도 나온다는 증거는 아니라는 뜻이다. 그래도 사람과 에이전트를 같은 조 안에서 짝지어 재기 때문에 조 크기가 한쪽 편만 들지는 않고, 구성이 전혀 다른 제출 답 경로가 0.5%포인트 안에 들어온다는 사실이 이 우려를 좁힌다.

시뮬레이션이 합의에 닿으면 대화를 멈추게 되어 있으니, 멈춤 규칙 때문에 합의율이 부풀었을 수도 있다. 저자는 그 규칙을 꺼 놓고 모든 조를 정해진 분량까지 끝까지 돌려 봤다. 채팅 모드 87.0%, 추론 모드 100.0%로 원래 값(86.0%, 96.0%)과 거의 같았다. 모델 계열을 바꾼 Qwen3-14B에서도 완전합의율은 65.7%로 사람의 24.0%를 크게 넘었다. 다만 저자는 이 교차 확인이 같은 조와 같은 조건을 다시 쓴 탐색적 신호이지 독립 재현은 아니라고 분명히 해 둔다. 실제로 Qwen은 집단 향상률에서는 37.7%로 사람의 41.0%를 넘지 못했다. 과잉합의만 계열을 건너 따라왔다. 전체 조 대비로 보면 Qwen이 오답에 합의한 조가 42.0%, 정답에 합의한 조가 23.7%로 오답 쪽이 더 많다.

웨이슨 과제는 교과서에 실려 온 문제라, 모델이 정답을 기억하고 있을 가능성이 큰 반박거리로 남는다. 사전등록 문서에는 이 반박에 답하는 절차가 미리 적혀 있었다. 네 장의 카드를 논리 구조는 그대로 둔 채 무의미한 낱말 넷(단풍나무, 자작나무, 랜턴, 초)으로 갈아 끼우는 것이다. 외워 둔 글자와 숫자 조합만 쓸 수 없게 만드는 장치다. 저자는 이 치환의 한계도 함께 짚는다. 갈아 끼운 낱말이 평범한 영어 단어이고 새로 쓴 규칙 문장이 원래보다 덜 자연스러우므로, 이 실험이 보이는 것은 표면 치환에 대한 강건성이지 암기를 따로 떼어 낸 증거가 아니다. 낱말의 뜻이 어느 답으로 모일지를 건드릴 가능성도 열어 둔다.

결과는 두 갈래로 갈렸다. 합의 자체는 그대로였다. 채팅 모드 80.0%, 추론 모드 98.7%로 여전히 사람의 어떤 채점 규칙보다도 높다. 그런데 그 합의가 어느 답에 대한 것인지를 보면 얘기가 뒤집힌다. 추론 모드에서 정답에 합의한 조는 전체의 84.0%에서 24.7%로 내려앉았고, 오답에 합의한 조는 12.0%에서 74.0%로 치솟았다. 조끼리 짝지어 잰 오답 합의 증가폭은 62.0%포인트(95% 신뢰구간 53.3~70.7, p<0.001)다. 채팅 모드도 같은 과제에서 정답 합의 36.7%, 오답 합의 43.3%로 오답 쪽이 앞섰다. 한 가지 단서를 달아야 한다. 이 치환 실험은 100개 조 가운데 88개가 시드 하나로만 돌아갔고 시드 셋을 다 채운 조는 열한 개뿐이라, 논문은 조별 추정치가 본 실험보다 성기다고 적는다.

사람 조와 나란히 놓으면 대비가 더 분명해진다. 사람 100개 조 가운데 정답에 합의한 조는 11.0%, 오답에 합의한 조는 13.0%다(합의에 이른 조만 보면 45.8% 대 54.2%). 사람도 틀린 답에 모이기는 한다. 그런 일이 벌어지는 조 자체가 적을 뿐이다. 에이전트 조는 정답 합의와 오답 합의를 함께 늘렸고, 외운 답을 치우자 늘어난 몫이 오답 쪽으로 몰렸다.

논문은 메커니즘을 증명하지 않는다고 여러 번 밝히지만, 전사록에서 읽어 낸 흔적 몇 가지를 나란히 보고한다. 첫째는 침묵의 부재다. 실험 규약은 에이전트에게도 매 턴 넘어갈 권한을 주었다. 사람의 비참여를 재현할 통로를 열어 둔 셈인데, 실제로 침묵한 비율은 0.2%에 그쳤다. 사람 쪽 20.1%와 백 배 가까이 벌어진다. 사람 조에서는 다섯 중 하나의 의견이 끝까지 대화에 노출되지 않는데, 에이전트 조에서는 모든 의견이 거의 매 턴 반박에 노출된다.

둘째는 최종 의견의 쏠림이다. 조 안에 남은 서로 다른 최종 답의 몫을 제곱해 더한 허핀달 지수로 재면, 채팅 모드는 0.94로 사람 조의 0.62를 크게 웃돌고 추론 모드는 0.98로 사람의 0.61을 웃돈다. 합의에 못 닿은 조까지 포함해 세는 지표이므로, 이 값은 에이전트 조가 끝내 한 점으로 모이는 반면 사람 조에는 소수 의견이 훨씬 많이 살아남는다는 뜻이다.

셋째는 동료 발언에 대한 반응이다. 저자는 다른 에이전트의 메시지를 전부 가린 채 각자 혼자 다시 풀게 하는 진단 실험을 돌렸다. 나머지 설정은 그대로다. 두 모드가 전혀 다르게 반응했다.

채팅 모드의 합의는 사실상 동료 발언에 기대어 있다. 남의 말을 가리자 31.0%로 주저앉아 사람의 51.1%보다도 낮아졌다. 그리고 남의 말을 보여 주었을 때 늘어난 56.0%포인트 가운데 절반쯤이 오답 쪽 합의다. 오답 합의만 따로 보면 4.7%에서 32.0%로 일곱 배 가까이 늘었다. 반면 추론 모드는 혼자 풀게 해도 이미 91.0%가 같은 답에 닿는다. 토론으로 뜻을 모은 것이 아니라 같은 곳에서 출발해 같은 곳에 도착한 쪽에 가깝다.

저자는 이 결과를 단일 모델의 동질화나 아첨 성향을 집단 수준에서 되풀이한 것으로 읽지 말라고 덧붙인다. 신념이 바뀐 방향을 세어 보면 추론 모드는 85.6%가 논리적 정답 쪽으로, 37.5%가 그때의 다수 쪽으로 움직였고 채팅 모드는 54.8%와 40.5%였다. 다수가 이미 정답을 쥐고 있으면 두 범주가 겹치므로 저자는 이를 상관적 서술로만 보고하고, 여론이 한쪽으로 쏠려 가는 연쇄가 입증됐다고는 말하지 않는다.

프롬프트로 고칠 수 있는 여지는 제한적이다. 역할을 지키라는 지시 하나를 넣으면 채팅 모드의 완전합의율이 98.7%에서 81.7%로, 추론 모드가 100.0%에서 96.0%로 내려간다. 그런데 매 턴 원래 신념을 다시 주입하는 처방을 얹으면 더 내려가지 않고 오히려 살짝 올라간다. 신념 재주입 쪽이 역할 유지 지시만 준 쪽보다 나았던 경우는 채팅 100개 조 중 32개, 추론 100개 조 중 17개뿐이었다. 저자가 쓸 만한 손잡이로 남긴 것은 역할을 지키라는 지시 하나다. 이 결론은 정답이 있는 과제에 걸려 있다. 뒤에 나올 주관적 토론에서는 순서가 뒤집힌다.

전사록은 두 모드가 주입된 신념을 대하는 태도도 갈린다고 말한다. 처음 심어 준 답을 토론 끝까지 쥐고 있던 비율이 채팅 34.6%, 추론 17.1%다. 추론 모드는 남이 준 입장을 고쳐도 되는 전제쯤으로 다루고, 그래서 더 빨리 모인다. 공유된 답에 닿기까지 걸린 라운드가 채팅 4.4회, 추론 2.3회다. 두 번째 라운드 안에 이미 공유 답을 가진 조가 추론 76.0%, 채팅 26.7%였다.

논문은 한계를 정리한 자리에서 곧바로 체크리스트를 꺼낸다. 에이전트 조의 결과를 사람의 집단 인지에 대한 근거로 읽으려면 무엇이 문서에 있어야 하는지를 여섯 항목으로 적었다. 저자는 이 여섯이 모두 지켜졌다면 이번에 드러난 불일치도 진작 드러났을 것이라고 덧붙인다.

• 사람과 에이전트를 같은 기준선에서 채점한다. 참여 조건을 맞추고, 끌고 간 최종 상태와 강제로 받아 낸 최종 상태의 차이를 셈에 넣는다. 같은 코드가 같은 측정은 아니다.
• 사전등록한 봉인 자료로 재현한다. 그래야 지표가 맞아떨어지도록 설정을 끼워 맞추는 일이 생기지 않는다.
• 합의를 정답 합의와 오답 합의로 쪼개 보고한다. 높은 일치는 높은 오류와 함께 올 수 있다.
• 참여율과 침묵률을 공개한다. 에이전트가 거의 다 발언한다는 사실 자체가 이미 왜곡이다.
• 서빙 모델과 버전, 프롬프트, 스캐폴드를 밝힌다. 결과가 그것들에 크게 좌우된다.
• 객관성이 다른 과제로도 재현한다. 왜곡의 방향이 과제에 따라 달라지는지 확인해야 한다.

첫 항목이 왜 맨 앞에 오는지는 이 논문 자신의 수치가 보여 준다. 채점 규칙에 흔들리는 것이 합의율만은 아니다. 조가 나아졌는지를 세는 지표에서도, 정답 조합과 완전히 같아야 맞다고 치면 사람 조의 향상률이 41.0%인데 부분 일치를 인정하는 방식으로 바꾸면 77.0%가 된다. 저자는 이 취약성을 들어 에이전트가 사람보다 토론을 잘한다고 주장하지 않는다. 관대한 채점으로 바꾸면 에이전트 쪽도 86.0%와 94.7%로 함께 올라가기 때문이다.

마지막 항목은 논문 스스로 제 발등을 찍는 조항이기도 하다. 저자는 같은 재현 장치를 정답이 없는 토론에 한 번 걸어 봤다. 일본 대학 강의실에서 AI를 채용에 쓰는 일의 윤리를 놓고 스무 명이 다섯 조로 나눠 나눈 토론이다. 여기서는 정반대 실패가 나왔다. 에이전트가 주입된 의견을 사람보다 더 고집스럽게 붙들어, 의견이 사람 조만큼 좁혀지지 않았다. 수치로는 이렇다. 구직 경험이 있는 쪽과 없는 쪽의 의견 거리가 읽기 전에 2.592였는데, 사람 조는 토론 뒤 0.599까지 좁혔다. 에이전트 조는 그 폭의 3분의 1가량만 좁혔고 남은 거리가 1.91쯤으로 사람의 세 배를 넘는다. 역할 유지 지시가 아예 없는 조건도 똑같이 못 좁혔으니 지시 탓도 아니다. 그리고 여기서 순서가 뒤집힌다. 정답이 있는 과제에서 쓸모가 없던 매 턴 신념 재주입이 이 토론에서는 사람이 좁힌 폭의 64%를 따라가 가장 가까웠다. 표본이 스무 명이고 시드도 하나뿐이라 저자는 이 대비를 추론에 쓸 수 없는 서술로만 보고하고, 이 순서 역시 안정적이지 않다고 본다. 다만 왜곡이 늘 과잉합의 방향으로 난다고 일반화하지 말라는 경고로는 충분하다.

논문이 밝힌 한계는 넷이다. 사전등록된 확증 검정은 100개 조 전체 비교이고, 앞에서 본 34.1%포인트와 44.4%포인트는 봉인을 연 뒤에 채택한 참여 맞춤 민감도 값이다. 확증 근거는 정답이 하나로 정해진 과제 하나에만 걸려 있다. 채팅과 추론은 같은 서빙 빌드의 두 설정이라 호스팅 모델의 가중치가 같은지 독립적으로 확인할 수 없고, Qwen 결과도 같은 조를 다시 쓴 한 점일 뿐이다. 그리고 신념 고정이 완전하지 않아 모델의 과제 실력이 일부 새어 나왔다.

자기 절차를 어떻게 검사했는지도 함께 공개돼 있다. 사전등록에서 바뀐 항목이 다섯인데, 참여 맞춤 값을 봉인 해제 뒤에 대표값으로 올린 일이 거기 들어 있다. 사전등록 문서 자체가 같은 코드로 채점한다는 원칙과 코퍼스 기본 상수를 쓴다는 서술 사이에서 어긋나 있었다는 사실까지 적었고, 그 결정은 봉인을 열기 하루 전에 분석 코드에 못 박혔다. 보고한 값은 전부 셀 단위 원자료에서 다시 뽑아 맞춰 봤으며, 정지 규칙 순환과 지표 선택과 절단·제외·시드 민감도를 겨냥한 반대 공격 셋에도 결론이 유지됐다. 응답이 길이 제한에 걸려 잘린 셀을 빼면 추론 모드 합의율이 96.0%에서 97.5%로 오히려 오른다. 잘림이 합의를 만든 것이 아니라 깎고 있었다는 뜻이다.

지금 기업과 기관은 설문 응답자와 포커스그룹 참가자를 에이전트로 대체하는 실험을 빠르게 늘리고 있다. 사람을 모으는 비용과 시간이 줄고, 표본을 원하는 만큼 키울 수 있으며, 결과가 깔끔하게 수렴한다는 것이 팔리는 이유다. 이번 연구는 그 마지막 항목을 정면으로 건드린다. 깔끔하게 수렴하는 것이 바로 왜곡의 얼굴이다.

논문의 윤리 문단이 그 점을 분명하게 말한다. 신념을 심은 에이전트 조는 끝점의 일치를 과잉 생산하므로, 그 출력을 숙의하는 공중의 대역으로 내놓으면 소수 의견을 과소 대표하고 사회적 합의를 과대 진술할 위험이 있다는 것이다. 그래서 검증되지 않은 에이전트 합의를, 한 집단이 실제로 얼마나 동의할지에 대한 사람 근거의 자리에 갖다 놓아서는 안 된다고 저자는 쓴다.

끝점의 일치가 무엇을 지우는지도 논문이 짚는다. 집단 의사결정 연구는 여럿이 이미 아는 지식이 한 사람만 가진 지식보다 훨씬 자주 입에 오른다는 사실, 반대 의견이 잡음이 아니라 다른 생각을 끌어내는 자극이라는 사실을 오래 쌓아 왔다. 최종 답이 같아졌다는 한 줄에서는 소수 의견이 얼마나 남았는지, 한 사람만 갖고 있던 정보가 대화에 올라오기는 했는지를 읽어 낼 수 없다. 저자가 열어 둔 물음도 같은 방향이다. 완전합의율 하나로는 에이전트 조를 사람의 집단 인지 대역으로 인정할 수 없고, 소수 의견 생존율과 참여율과 정답 오답 합의 비율을 함께 맞추면 충분한지는 아직 답이 없다고 적는다. 초점을 에이전트 조가 합의하는지에서 사람처럼 불일치하는지로 옮겨야 한다는 것이 논문의 마지막 제안이다.

페블러스가 오래 붙들어 온 물음으로 옮기면 이렇다. 어떤 값이 어디서 와서 무엇을 거쳐 지금 모습이 됐는가. 이번 연구에서 가장 눈에 걸리는 대목은 20.1%와 0.2%의 거리다. 사람의 다섯 중 하나가 남긴 빈칸은 답변이 누락된 결함이 아니다. 지쳤거나, 관심이 없거나, 말을 꺼내기 어려웠다는 사실이 기록된 관측이다. 합성 응답자는 그 자리를 성실한 발언으로 채워 버리고, 채워진 자리는 나중에 구별되지 않는다. 데이터 품질의 관점에서 보면 이것은 정확도 문제가 아니라 분포 문제다. 저자도 이 왜곡이 평균을 내서 지워지는 잡음이 아니라고 적었다.

합성 응답을 실측의 자리에 놓으려는 팀이라면 다음 네 가지를 먼저 확인해 볼 만하다. 이 목록은 논문의 여섯 항목과 위의 열린 물음을 실무 쪽으로 옮긴 페블러스의 정리다.

• 우리 합성 응답자 중 답변을 거부하거나 중간에 이탈한 비율이 얼마인가. 그 비율이 0에 가깝다면 사람 표본과 이미 다른 자료다.
• 합의율이나 지지율을 보고할 때, 무응답과 유보를 어떻게 셈했는지 문서에 적혀 있는가. 같은 자료에서 그 규칙 하나로 24%가 57%가 된다.
• 소수 의견이 몇 퍼센트나 살아남았는가. 평균만 맞고 분산이 무너진 합성 표본은 여론이 아니라 여론의 최빈값이다.
• 정답이 있는 과제로 한 번이라도 대조해 봤는가. 정답이 없는 주제만 다루면 합의가 옳은지 그른지를 가릴 방법이 없다.

여기까지 읽어 주셔서 감사하다. 이 글이 인용한 수치와 설계는 arXiv:2609.20543 원문과 사전등록 문서에서 누구나 확인할 수 있고, 전사록과 설정, 분석 코드는 제노도 저장소에 공개돼 있다. 다만 저자는 호스팅 모델로 만든 전사록을 그대로 다시 생성할 수는 없다고 미리 알린다. 서빙 빌드가 언제든 바뀔 수 있어서, 재실행 스크립트 대신 기록된 전사록과 빌드 지문을 넣었다. 로컬에서 돌린 Qwen 쪽만 올려 둔 설정으로 다시 돌릴 수 있다. 여러분의 조직에서는 합성 응답을 실측 대신 쓸 때 무엇으로 타당성을 확인하고 계신지 나눠 주시면 좋겠다.

참고문헌

1차 소스

• 1.Shao, T. (2026-09-17). Language-model groups overstate consensus when replaying human deliberation on a reasoning task. arXiv:2609.20543
• 2.Shao, T. (2026-07-04). Belief-anchored agent replay of DeliData Wason groups (사전등록). osf.io/5jp7s
• 3.Shao, T. (2026). Replication data and code: Language-model groups overstate consensus. Zenodo. doi.org/10.5281/zenodo.21318346

학술 논문

• 4.Karadzhov, G., Stafford, T., & Vlachos, A. (2023). DeliData: A dataset for deliberation in multi-party problem solving. Proceedings of the ACM on Human-Computer Interaction, 7(CSCW2), Article 265. doi.org/10.1145/3610056
• 5.Wason, P. C. (1968). Reasoning about a rule. Quarterly Journal of Experimental Psychology, 20(3), 273–281. doi.org/10.1080/14640746808400161
• 6.Chuang, Y.-S. et al. (2025). DEBATE: A large-scale benchmark for evaluating opinion dynamics in role-playing LLM agents. arXiv:2510.25110
• 7.Qian, C. et al. (2025). To mask or to mirror: Human-AI alignment in collective reasoning. arXiv:2510.01924
• 8.Stasser, G., & Titus, W. (1985). Pooling of unshared information in group decision making. Journal of Personality and Social Psychology, 48(6), 1467–1478. doi.org/10.1037/0022-3514.48.6.1467
• 9.Nemeth, C. J. (1986). Differential contributions of majority and minority influence. Psychological Review, 93(1), 23–32. doi.org/10.1037/0033-295X.93.1.23
• 10.Lorenz, J., Rauhut, H., Schweitzer, F., & Helbing, D. (2011). How social influence can undermine the wisdom of crowd effect. Proceedings of the National Academy of Sciences, 108(22), 9020–9025. doi.org/10.1073/pnas.1008636108
• 11.Prelec, D., Seung, H. S., & McCoy, J. (2017). A solution to the single-question crowd wisdom problem. Nature, 541(7638), 532–535. doi.org/10.1038/nature21054