Executive Summary

이 보고서가 딛고 선 숫자는 넷이다. 앞의 둘은 모델이 정체성을 얼마나 쓰는지를 가리키고, 뒤의 둘은 그 부족분이 어디로 쏠리는지를 가리킨다.

이 글은 2026년 8월 24일 공개된 논문 한 편을 1차 자료로 삼되, 그 결과를 합성 데이터 검수라는 실무 질문 쪽으로 옮겨 읽는다. 페블러스가 2026년 4월에 다룬 한국어 합성 페르소나 데이터셋이 왜 필요한지를 물었다면, 이 글은 그 데이터셋의 다양성을 무엇으로 검수할 것인지를 묻는다.

설문조사를 하려면 사람을 모아야 한다. 그 자리에 대형 언어모델을 앉히는 방법이 몇 해 전부터 실제 상품으로 팔린다. 모델에게 인구통계 프로필을 하나 주고 문항에 답하게 한 뒤, 그 응답을 실제 응답자의 자리에 놓는 방식이다. 2023년 아길(Argyle) 연구진이 이 방식에 실리콘 샘플(silicon sample)이라는 이름을 붙이고 알고리즘 충실도라는 판정 기준을 함께 제안하면서 학술 논의가 시작됐다. 지금 이 글에서 쓰는 실리콘 샘플링과 합성 응답자라는 말은 모두 그 계보에 있다.

상품이 무엇을 약속하는지부터 보는 편이 빠르다. 아래 두 문구는 각각 다른 회사의 공식 페이지에서 그대로 옮긴 것이다. 하나는 프로필을 얼마나 촘촘히 지정할 수 있는지를 팔고, 다른 하나는 그렇게 지정한 희귀 집단을 안정적으로 분석할 수 있다고 말한다.

경제성은 이 약속을 뒷받침하는 두 번째 축이다. Synthetic Users는 인터뷰 1건에 2달러에서 60달러가 들며 전통적인 조사기관을 쓰면 100달러가 넘는다고 자사 페이지에 적어 두었다. 조사 하나를 몇 주가 아니라 몇 시간 만에 끝낸다는 속도까지 붙으면, 표본이 얇아서 여태 잘라 내던 세그먼트를 값싸게 채우고 싶다는 유혹이 생긴다. 실무에서 합성 응답자가 가장 먼저 불려 가는 자리가 대체로 거기다.

두 회사 모두 자기 한계를 함께 적어 놓았다. 이 점은 분명히 해 두는 편이 공정하다. Fairgen은 자사 결과를 방향성이지 확정이 아니라고 규정하고, Synthetic Users는 실제 연구의 대체가 아니라 탐색 단계의 부조종사라고 쓴다. 그러니 이 글이 겨누는 것은 개별 상품 설명이 아니다. 그 단서를 무엇으로 확인할 것인가가 비어 있다는 쪽이다.

업계 온도는 두 숫자를 함께 봐야 읽힌다. 그린북 GRIT 리포트에서 합성 데이터를 써 본 실무자의 87%가 만족한다고 답했고, 같은 리포트에서 데이터 품질에 대한 우려는 전년 대비 40% 늘었으며 그 주된 원인으로 합성 응답자가 지목됐다. 쓰는 속도와 의심하는 속도가 같이 빨라지고 있다는 뜻이다. 참고로 이 논의가 벌어지는 인사이트 산업 전체 규모는 2024년 기준 약 1,530억 달러다.

업계 규범 쪽에서도 신호가 나왔다. 미국여론조사협회(AAPOR)는 2026년 5월 태스크포스 보고서에서 조사 과정에 인공지능을 쓰는 여러 방식을 나열한 뒤, 그중 합성 응답에 가장 높은 위험 등급을 매겼다. 그리고 위험이 커지는 조건을 한 문장으로 특정했다.

상품이 파는 자리와 지침이 경고하는 자리가 정확히 같다. 희귀한 조합을 싼값에 채우는 일이다. 그렇다면 남는 질문은 하나다. 그 위험이 실제로 발생했는지를 무엇으로 확인하는가. 이 글이 다루는 논문은 그 확인을 실제로 해 본 첫 사례에 가깝고, 확인에 쓸 정답표로 미국 트렌드 패널(ATP)을 골랐다.

정답표의 자격은 잠깐 따져볼 만하다. 퓨 리서치 센터의 ATP는 2014년에 만들어진 상시 패널로 성인 약 1만 명 규모이고, 2018년부터는 우편배달 주소에서 무작위로 가구를 뽑아 초청하는 주소 기반 확률표집으로 모집한다. 온라인 자발 참여 패널과 달리 표본이 누구를 대표하는지 계산할 수 있다는 뜻이다. 논문이 쓴 15개 웨이브는 2017년부터 2021년 사이에 실시됐고 웨이브마다 2,524명에서 10,221명이 응답했다. 응답자 개인 단위 자료가 공개돼 있으므로 인종과 종교와 소득이 겹치는 셀의 실제 응답 분포를 직접 계산할 수 있다. 합성 응답자를 채점하려면 채점표가 있어야 하는데, 그 조건을 만족하는 자료가 흔치 않다.

페블러스는 2026년 4월에 한국어 합성 페르소나 데이터셋 700만 건을 다뤘다. 100만 개 레코드에 일곱 종류의 서사를 붙여 만든 데이터셋이고, 그때의 질문은 한국어 학습·평가 데이터가 왜 이런 형태로 필요한가였다. 이 글은 같은 대상을 반대편에서 본다. 그렇게 만든 페르소나의 다양성이 진짜인지를 무엇으로 확인할 것인가.

실험 설계는 수식 없이도 설명된다. 먼저 정체성을 하나만 준 프로필을 만든다. 예를 들어 여성이라는 정보만 준 프로필의 응답 분포가 전체 응답자 평균에서 어느 쪽으로 얼마나 밀려나는지를 잰다. 이 밀림을 편향 벡터라고 부르고, 그 정체성이 남기는 지문으로 삼는다. 그다음 정체성을 두 개 준 프로필의 실제 밀림을 두 가지 방식으로 맞혀 본다. 하나는 두 지문을 그냥 더한 값이고, 다른 하나는 둘 중 한 지문만 쓴 값이다. 어느 쪽이 실제에 더 가까운지를 프로필과 문항의 조합마다 세어 나가면, 모델이 정체성을 몇 개나 실제로 썼는지가 드러난다.

규모는 이렇다. 퓨 리서치 트렌드 패널 15개 웨이브에서 폐쇄형 문항을 가져와, 연령과 성별과 인종과 소득과 정당과 종교와 학력 일곱 개 축을 조합해 문항마다 1,791개의 프로필을 만들었다. 정체성 하나짜리가 31개, 둘짜리가 405개, 셋짜리가 1,355개다. 여기에 다섯 개 조직의 모델 여덟 종을 붙여 주 파이프라인에서 1,570만 건, 부가 조건까지 합쳐 2,110만 건을 시뮬레이션했다. 모델에게 준 지시는 이 프로필에 해당하는 가상 응답자 1,000명을 선택지에 배분하고 정수 개수만 출력하라는 것이었다. 두 응답 분포가 얼마나 다른지는 총변동거리(TV)로 쟀는데, 이 값은 한쪽 분포를 다른 쪽으로 만들려면 응답을 바꿔야 하는 사람의 비율이라고 읽으면 된다.

결과는 한 방향으로 나왔다. 대표 모델인 GPT-4o-mini에서 두 정체성 조합 사례의 78.4%가 덧셈보다 단일 특성 하나로 더 잘 설명됐고, 신뢰구간은 77.8%에서 79.0% 사이다. 모델 여덟 종의 범위는 75.3%에서 81.2%였다. 여기서 단위를 정확히 해 둘 필요가 있다. 이 비율은 서브그룹의 비율이 아니라 프로필과 문항이 만나는 셀의 비율이다.

2.178%라는 숫자에는 눈금이 필요하다

78%를 그대로 읽으면 나머지 22%는 정상이라는 오해가 생긴다. 그렇지 않다. 이 방식의 승률에는 우연 수준이 있고, 그 수준이 절반이 아니다. 논문은 두 극단을 각각 시뮬레이션해 눈금을 만들었다. 덧셈이 완벽하게 성립하는 세계에서도 이 방식은 40.3%가 나오고, 정체성을 하나만 쓰는 세계에서는 84.3%가 나온다. 관측치를 그 두 끝점 사이로 다시 척도화한 값이 붕괴지수다.

모델 여덟 종의 붕괴지수는 0.83에서 0.95 사이에 놓인다. 완전 붕괴까지 대략 7분의 6쯤 왔다. 22%가 정상이라는 읽기와는 거리가 멀다.

2.2정체성 예산이라는 한 장의 그림

이 결과를 가장 잘 보여 주는 그림은 따로 있다. 두 정체성을 준 프로필의 실제 밀림을, 첫 번째 지문의 몇 배와 두 번째 지문의 몇 배를 더한 것으로 볼 수 있는지 최소제곱으로 분해한다. 그 두 배수를 각각 알파와 베타라고 하면, 알파와 베타를 좌표로 삼는 평면에 셀 하나가 점 하나로 찍힌다. 오른쪽 위 구석의 (1, 1)은 두 정체성을 온전히 다 쓴 상태다.

사람 쪽 중앙값은 (0.95, 0.95)이고 두 값을 더하면 1.83이다. 두 정체성을 거의 온전히 다 쓴다는 뜻이다. 모델 쪽 점들은 알파와 베타를 더하면 1이 되는 대각선 능선 위에 흩어지고, 합계 중앙값은 0.98이다. 모델별로는 0.91에서 1.03 사이다. 정체성을 둘 줬는데 하나 분량의 무게만 쓴 셈이다.

더 눈여겨볼 대목은 그 하나 분량을 반씩 나눠 쓰지도 않는다는 것이다. 우세한 쪽 성분이 차지하는 비중의 중앙값이 0.88이고, 셀의 63%에서 한쪽이 0.75를 넘게 가져간다. 두 정체성을 절충하는 것이 아니라 한쪽을 골라잡고 다른 쪽을 거의 놓는다.

2.3셋을 주면 최대 둘처럼 행동한다

정체성을 세 개 준 프로필에서는 간격이 더 벌어진다. 세 지문을 모두 더한 예측이 이기는 사례는 일곱 개 모델에서 7.8%에서 10.0%에 그친다. 대신 셋 중 둘만 골라 더한 예측이 52%에서 66%를 가져간다. 전체 밀림 가운데 덧셈으로 설명되는 몫도 두 정체성일 때 19%에서 25% 사이였다가 세 정체성에서 7%에서 10%로 떨어진다. 정리하면 열에 아홉 이상의 경우에 세 정체성 페르소나가 실제로는 최대 두 개짜리처럼 행동한다.

여기에도 눈금이 필요하다. 세 정체성에서 같은 방식으로 두 극단을 시뮬레이션하면, 덧셈이 완벽하게 성립하는 세계에서 세 지문을 모두 더한 예측의 승률은 67.2%가 나오고, 정체성을 하나만 쓰는 세계에서도 6.6%는 나온다. 세 개의 단일 예측과 세 개의 부분쌍 예측을 상대로 우연히 이기는 몫이다. 관측된 7.8%에서 10.0%는 그 아래쪽 끝점에 거의 붙어 있고, 그래서 깊이 3의 붕괴지수가 0.92에서 0.98까지 올라간다.

마지막으로 이 숫자들이 처리 방식에 흔들리지 않는지도 확인해 두자. 퓨 리서치의 웨이브 가중치를 적용했을 때 붕괴율은 78.4%, 적용하지 않았을 때는 78.3%다. 세 정체성의 덧셈 승률도 7.8%와 8.3%로 거의 같다. 가중과 비가중 사이의 응답 분포 차이 자체가 0.029에서 0.053 수준으로, 어떤 모델의 오차보다도 네 배에서 여섯 배 작다. 셀 크기를 올려도 마찬가지다. 유효 응답 20명이라는 기본 문턱 대신 200명을 요구하면 붕괴율이 78.4%에서 77.3%로, 세 정체성 덧셈 승률이 7.8%에서 8.6%로 조금 움직인다. 정답이 깨끗해질수록 모델이 미세하게 덜 붕괴한 것처럼 보이는 셈인데, 잡음으로 설명할 때 예측되는 방향 그대로다. 선택지 개수는 원시 승률을 흔들지만 보정된 붕괴지수는 흔들지 못한다. 선택지가 서너 개인 문항에서 붕괴지수 0.84, 여섯에서 여덟 개인 문항에서 0.82다.

여기서 당연히 나올 반박이 하나 있다. 정체성 두 개를 한꺼번에 반영하는 일이 원래 어려운 것 아닌가. 사람이라고 그걸 깔끔하게 해내겠는가. 저자들은 이 반박을 미리 닫아 두었다. 같은 규칙을 같은 셀에, 이번에는 실제 응답자에게 적용했다.

실제 응답자 쪽에서는 두 지문을 더한 예측이 이기는 비율이 44.4%다. 유효 응답이 100명 이상인 셀 236,752개를 기준으로 잰 값이다. 이 44.4%도 그대로 읽으면 안 된다. 정답 자체가 표본에서 추정한 값이라 잡음이 섞여 있고, 그래서 덧셈이 완벽하게 성립하는 세계에서도 이 지표의 천장은 49.3%다. 사람은 그 천장의 90%까지 올라간다. 같은 계산을 GPT-4o-mini에 적용하면 승률 9.3%에 천장 29.7%, 그러니까 천장의 31%다.

사람 쪽에 남은 5%포인트 격차도 실패라기보다 잡음으로 보인다. 셀을 200명 이상으로 좁혀 정답을 깨끗하게 만들면 승률이 47.8%로 따라 오르고, 천장도 같이 올라간다. 잡음의 영향을 받지 않는 계수 쪽 지표에서는 완전한 덧셈과 구별되지 않는다. 사람이 덧셈에서 조금 모자라 보이는 몫은 사람의 성질이 아니라 정답을 표본에서 추정했다는 사정에서 온다.

정체성이 겹칠수록 의견이 뚜렷해진다는 것도 실제 자료에서 확인된다. 각 셀의 응답 분포가 전체 평균에서 얼마나 떨어져 있는지를 잡음 보정한 값으로 재면, 정체성 하나에서 0.0082, 둘에서 0.0147, 셋에서 0.0204가 된다. 하나에서 셋으로 가는 동안 약 2.5배로 벌어진다. 흑인이면서 복음주의 개신교도이면서 저소득인 응답자 집단의 의견은 그중 어느 한 축만 공유하는 집단보다 확실히 특징적이다.

이 사실이 모델에게 유리할 것 같지만 정반대다. 만약 실제 사람에게 큰 상호작용이 있었다면, 모델의 실패는 사람도 못 하는 일을 요구받은 결과라고 변호할 수 있다. 그런데 여기서 요구된 것은 결합 중에서도 가장 단순한 형태다. 두 기울기를 더하기만 하면 되는 과제였고, 모델은 거기서 미끄러졌다. 정체성을 두 개 준 프로필의 응답이 한 개 준 프로필과 크게 다르지 않다는 것은, 어려운 상호작용을 못 잡았다는 이야기가 아니라 둘째 정체성을 거의 안 읽었다는 이야기다.

사람 쪽의 이 덧셈 구조는 다른 분야에서 이미 관찰된 것과 맞물린다. 사회역학에서 교차 집단의 건강 격차를 다층 모형으로 분해해 온 MAIHDA 계열 연구는, 집단 간 차이의 대부분을 각 축의 주효과가 설명하고 조합 고유의 몫은 크지 않다고 보고해 왔다. 그리고 표본이 얇은 소집단의 여론을 추정하는 표준 기법인 다수준 회귀·사후층화(MRP)가 바로 이 구조를 가정한다. 각 축의 효과를 추정한 뒤 인구 구성비로 다시 짜맞추는 방식이라, 조합 고유 효과가 크지 않을 때 잘 작동한다. 이 논문의 인간 대조군 결과는 그 가정이 실제 여론 자료에서 성립한다는 증거이기도 하다. MRP는 뒤에서 다시 나온다. 합성 응답자가 비교돼야 할 상대가 아무것도 하지 않는 쪽이 아니라 이 기법이기 때문이다.

두 정체성 중 하나만 쓴다면, 다음 질문은 어느 쪽을 쓰느냐다. 논문은 두 단계로 답한다. 먼저 대체로 우연에 가깝다는 것을 보이고, 그다음 그 우연 위에 한 방향의 치우침이 얹혀 있다는 것을 보인다. 순서를 지켜야 결과를 과장하지 않고 읽을 수 있다.

모델이 남긴 축과 실제 응답자에게서 더 강한 축이 일치하는 비율은 53.3%에서 57.9% 사이다. 얼핏 절반을 넘으니 의미가 있어 보이지만, 축의 조합 구성을 무작위로 섞어 만든 귀무 기준값이 이미 50.4%에서 52.2%다. 진짜 우연 대비 3%포인트에서 7%포인트 앞설 뿐이다. 그 얼마 안 되는 초과분마저 대부분 정당이 혼자 가져간다. 정당이 실제로 우세한 셀에서는 54%에서 62%가 보존되지만, 정당이 우세하지 않은 셀에서는 42%에서 47%로 떨어진다. 요약하면 모델은 어느 정체성을 살릴지를 대체로 아무렇게나 고른다.

모델이 무엇을 못 보고 있는지는 축과 상대를 짝지어 늘어놓으면 더 분명해진다. 실제 응답자 쪽에서 그 축이 이겨야 하는 비율을 가로축에, 모델이 실제로 그 축을 남긴 비율을 세로축에 찍으면, 충실한 보존은 대각선으로 나타나야 한다. 실제 점들은 대각선을 따라가지 않고 43%에서 53% 사이의 좁은 띠 안에 거의 수평으로 눕는다. 사람 쪽 관련도가 22%에서 78%까지 벌어져 있는데도 그렇다. 어느 축이 중요한지가 세 배 넘게 달라지는 동안 모델의 선택은 동전 던지기 근처에서 거의 움직이지 않는다.

4.1우연 위에 얹힌 한 방향

그런데 어느 축이 얼마나 자주 살아남는지를 축별로 나눠 보면 이야기가 달라진다. 기준은 실제 응답자 쪽에서 그 축이 우세한 정도다. 사람 자료에서 그만큼 강한 축이라면 모델 출력에서도 그만큼 살아남아야 한다는 뜻인데, 실제로는 축마다 어긋나는 방향이 정해져 있다.

성별은 사람 자료에서의 무게보다 12.5%포인트 더 자주 살아남고, 소득은 3.0%포인트 더 남는다. 반대편에서 종교는 5.0%포인트, 인종은 9.5%포인트 덜 남는다. 인종의 과소보존은 인종 조합이 충분히 등장한 이전 세대 모델 여섯 종 전부에서 통계적으로 유의했고 범위는 -8.3%포인트에서 -10.6%포인트였다. 웨이브의 주제별로 나눠 봐도 15개 주제 전부에서 같은 방향이었으며, 인종 문제를 정면으로 다룬 웨이브에서는 오히려 -11.4%포인트로 더 컸다. 주제가 인종이어도 인종이 덜 남았다는 뜻이다.

축을 값 단위로 쪼개면 편차의 소재가 더 분명해진다. 아래는 플래그십 모델에서 실제 우세도 대비 보존율이 어긋난 정도를 논문이 열거한 그대로 옮긴 것이다. 이 글은 여기에 해석을 붙이지 않는다.

4.2정당이 세다는 이야기가 아니다

여기까지 읽으면 모델이 정치 성향을 다른 무엇보다 강하게 쥐고 있어서 나머지가 밀려난다는 설명이 떠오른다. 자료는 그 설명을 지지하지 않는다. 정답 자료를 끌어들이지 않고 모델 자신의 표현 공간 안에서만 축끼리 맞붙였을 때의 승률을 보면, 정당은 인종을 73%, 종교를 72%로 이기지만 연령과 학력과 소득에는 진다. 전체 승률로 줄을 세우면 연령이 63%로 가장 높고 인종이 39%, 종교가 35%로 가장 낮다. 인종과 종교는 어떤 축과 붙어도 진다. 정당이 유난히 세다기보다 특정 두 축이 유난히 억제된다고 읽는 편이 자료에 맞는다.

4.3사후학습 이전에 이미 있었다

가장 손쉬운 설명은 정렬 정책이다. 민감한 속성을 조심하도록 훈련받은 결과로 인종과 종교를 덜 쓰게 됐다는 가설인데, 이것도 검증 가능하다. 가중치를 열어 볼 수 있는 모델이라면 사전학습 직후 상태와 지시 튜닝 이후 상태를 갈라서 같은 측정을 돌릴 수 있기 때문이다. 저자들은 Llama-3.1-8B를 세 조건으로 나눠 비교했다. 사전학습 가중치에 기본 프롬프트, 지시 튜닝 모델에 같은 프롬프트, 지시 튜닝 모델에 대화 템플릿까지 적용한 조건이다.

결손은 사전학습 단계에서 이미 거의 완성돼 있었고, 지시 튜닝과 대화 템플릿은 그 위에 거의 아무것도 더하지 않았다. 이 실험의 검출력은 인종 5.9%포인트, 종교 2.7%포인트 수준이므로 큰 변화가 있었다면 잡혔을 것이다. Mistral-7B에서도 같은 방향이 재현됐다. 사전학습 상태에서 인종 -7.3%포인트, 종교 -3.6%포인트다.

다만 이 결론은 가중치를 분해할 수 있는 공개 모델 두 종에 한정된다. 닫힌 모델의 내부에서 같은 일이 벌어졌는지는 이 실험으로 말할 수 없다. 그럼에도 결과의 함의는 작지 않다. 학습 데이터에 담긴 성질이 모델의 조건화 방식에 그대로 남고, 그 뒤에 무엇을 덧붙여도 잘 지워지지 않는다는 사례가 하나 더 늘었다. 데이터 품질을 다루는 쪽에서는 이 대목이 이 논문의 가장 실용적인 발견이다.

여기까지의 결과에 대해 실무자가 던질 질문은 정해져 있다. 측정 방식의 문제 아닌가. 공개된 표를 외워서 되뱉은 것 아닌가. 프롬프트를 잘 쓰면 되지 않나. 다음 모델이 해결하지 않겠나. 논문은 이 네 갈래를 각각 실험으로 막아 두었다.

5.1읽어내는 방식도 프롬프트도 범인이 아니다

모델에게서 응답 분포를 뽑아내는 방법은 하나가 아니다. 주 실험처럼 1,000명분을 한꺼번에 배분하게 할 수도 있고, 개별 페르소나를 온도 1.0으로 셀당 100명씩 따로 뽑아 집계할 수도 있고, 선택지 토큰의 로그확률을 읽는 OpinionQA 방식으로 갈 수도 있다. 다섯 개 모델 패밀리에 이 세 방식을 교차한 전 조합에서 붕괴율은 75.3%에서 83.4% 사이에 머물렀다. 읽어내는 방식이 만든 결과가 아니다.

프롬프트 쪽도 마찬가지다. 중립적인 표현으로 바꾸거나 1인칭 시점으로 바꿔도 차이는 2%포인트를 넘지 않았다. 두 정체성을 모두 통합해서 답하라고 명시적으로 지시해도, 생각의 사슬을 붙여 단계적으로 추론하게 해도 값이 움직이지 않았다. 플래그십 모델에서 79.4%, 79.5%, 79.0%로 사실상 제자리였다. 한 모델에서는 오히려 나빠졌다. Claude Haiku 4.5는 기본 79.7%에서 명시 지시를 붙이면 83.1%, 생각의 사슬까지 붙이면 85.5%로 올라갔다. 더 신중하게 생각하라고 시켰더니 정체성을 더 적게 쓴 셈이다.

암기 쪽 반박은 조금 더 무겁다. 퓨 리서치의 집계 결과와 그것을 가공한 OpinionQA 데이터셋은 공개돼 있고, 정체성 하나짜리 분포는 그 안에 들어 있다. 반면 정체성이 겹친 조합의 표는 공개 자료에 없다. 그러니 모델이 외워 둔 단일 분포 가운데 하나를 골라 되뱉기만 해도, 지금 붕괴라고 부르는 것과 똑같은 흔적이 남는다. 검사 대상과 검사 방법이 같은 모양을 만들 수 있다는 뜻이라 그냥 넘길 반박이 아니다.

저자들은 이 가능성을 네 가지로 닫는다. 첫째, 정체성 하나짜리 응답부터 노이즈 바닥의 1.8배에서 4배 위에 있어서 공개된 표를 그대로 옮긴 것으로 보기 어렵다. 둘째, 어느 축을 억제하는가는 프롬프트 안에서 축끼리 경쟁할 때 생기는 성질이므로 공개된 주변분포에서는 만들어질 수 없다. 셋째, 같은 억제가 OpinionQA와 표면 형태가 전혀 다른 문서 완성 프롬프트를 쓴 사전학습 체크포인트에서도 같은 강도로 나타난다. 넷째가 가장 직접적이다. 암기가 원인이라면 단일 분포가 정답에 가까운 셀일수록 더 많이 붕괴해야 하는데, 33만여 건의 조합 대조를 그 정확도로 3등분해 보면 붕괴율이 78.5%, 78.0%, 78.7%로 평평하다. 암기가 있었다면 정확도를 정답 쪽으로 끌어당겼을 뿐, 조합 실패를 만들어 내지는 못한다.

5.2세대를 바꿔도

가장 흔한 기대는 다음 모델이다. 이 기대에 대해 논문이 내놓은 반례가 선명하다. GPT-5.5는 GPT-4o-mini 대비 예측 오차를 34%에서 38%까지 줄였다. 실제 응답 분포에 훨씬 가까워졌다. 그런데 같은 모델의 붕괴율은 79.1%로 이전 세대와 다르지 않다. Claude Sonnet 5도 77.8%다. 더 정확해지는 것과 정체성을 더 많이 쓰는 것이 서로 다른 능력이라는 이야기다.

같은 분리가 한 세대 안에서도 보인다. 예측 오차는 대체로 모델의 전반적인 성능을 따라간다. GPT-4o는 정체성 깊이에 걸쳐 0.171에서 0.188 사이에 있고 Mistral-7B는 0.329에서 0.356 사이에 있다. 두 배 가까이 벌어지는 차이다. 그런데 정체성을 하나에서 셋으로 늘렸을 때의 거동은 두 모델이 사실상 같다. 규모를 키우면 단일 축의 보정이 좋아지지 조합하는 능력이 따라 생기지는 않는다.

다만 한 가지는 신세대에서 달라졌다. 인종 축이 덜 남는 정도가 GPT-5.5에서는 완화됐다. 반면 Claude Sonnet 5는 이전 세대와 같은 강도를 유지했다. 그러니 신세대가 이 문제를 개선하고 있다는 일반화도 성립하지 않는다. 모델마다 다르고, 붕괴율 자체는 어느 쪽에서도 내려가지 않았다.

5.3캐리커처가 아니라 얼버무림

이 대목에서 기존 문헌 하나를 정정할 필요가 생긴다. 왕(Wang) 연구진이 2025년 네이처 머신 인텔리전스에 낸 논문은 인간 참여자를 대체하는 언어모델이 정체성 집단을 평탄화한다고 보고했고, 이 서사는 지금 합성 응답자 비판의 표준 문장처럼 쓰인다. 그런데 이번 논문은 정반대로 보이는 결과를 내놓았다. 시뮬레이션된 집단은 실제 집단보다 내부적으로 더 흩어진다. 응답 분포의 엔트로피 차이가 정체성 하나에서 +0.180, 둘에서 +0.206, 셋에서 +0.234 nats이고, 표본 크기 제한이나 정규화 방식을 바꾼 다섯 개 추정량 전부에서 양수였다.

이와 관련해 논문 자신이 겪은 함정 하나가 기록으로 남아 있다. 고정관념과 어긋나는 프로필, 예를 들어 공화당 지지 무신론자나 흑인 공화당원처럼 실제로는 드물게 함께 나타나는 조합에서 모델의 오차가 특히 클 것이라는 예상이 있었다. 원시 데이터로만 보면 그 예상이 맞았다. 그런 셀의 평균 오차가 0.277로 뚜렷하게 높았다. 그런데 그 셀들은 실제 응답자 수가 적어 정답 자체의 잡음이 크다. 잡음 몫을 떼어 내면 0.277은 실제 오차 0.178과 정답 잡음 0.099로 갈라지고, 보정 후에는 상관이 오히려 살짝 반대 방향으로 뒤집힌다. 응답자가 100명 이상인 셀만 보면 관계가 사라진다. 노이즈 바닥을 재지 않으면 없는 발견이 만들어진다는 것을, 논문 자신의 데이터가 먼저 보여 준 셈이다.

5.4정확도는 다른 문제였다

붕괴가 확인됐으니 합성 응답이 부정확하다는 결론으로 이어질 것 같지만, 논문은 그 연결을 스스로 끊어 놓는다. 먼저 거리부터 보자. 같은 셀의 실제 응답자를 반으로 갈라 서로의 분포를 비교하면 정체성 깊이별로 0.079, 0.120, 0.147이 나온다. 이것이 어떤 완벽한 시뮬레이터도 내려갈 수 없는 바닥이다. GPT-4o-mini의 실제 오차는 0.212, 0.238, 0.269로 그 바닥의 1.8배에서 2.7배이고, 가장 약한 모델은 약 4배까지 벌어진다. 응답 거부 선택지가 만든 인공물도 이 격차를 메우지 못한다. 모델 출력에서 거부에 실린 비중은 5.1%로 실제 응답자의 0.7%보다 훨씬 큰데, 그 몫을 걷어 내도 GPT-4o-mini의 정체성 하나짜리 오차는 0.212에서 0.168로 내려갈 뿐 바닥 0.079의 두 배 위에 남는다. 그리고 정체성을 더 줘도 이 비율이 개선되지 않는다. 노이즈 바닥이 오르는 만큼만 오차가 오른다. 추가로 준 정체성 정보가 사실상 아무 정보도 아니었다.

재현성도 짚어 둘 만하다. 같은 웨이브를 네 번 반복 실행했을 때 실행 사이의 응답 분포 차이가 0.119였고, 이 값은 정체성 깊이와 무관하게 일정했다. 같은 표 안에서 비교된 실제 응답자 반분 차이는 0.096, 0.134, 0.159다. 모델을 한 번 더 돌리는 것만으로 생기는 변동이, 대체하려는 실제 표본의 오차와 맞먹거나 그보다 크다. 다만 흔들리는 것은 개별 셀이다. 셀을 모두 합친 뒤의 평균 오차는 실행 사이에 0.001도 움직이지 않았으니, 이 글이 인용한 수치들 자체가 실행 운에 좌우된 것은 아니다. 개별 조합 하나를 뽑아 쓰는 쪽이 위험하다는 뜻으로 읽어야 한다.

그런데 마지막 실험 하나가 이 그림을 뒤집는다. 오차의 원인이 정말 붕괴인지 확인하려면, 모델이 정체성 하나짜리 프로필에 대해 내놓은 예측을 가져다 직접 덧셈해 주면 된다. 붕괴 때문에 부정확했다면 이 조작으로 오차가 줄어야 한다. 결과는 그 반대였다.

모델 자신의 단일 예측으로 덧셈을 대신 해 주면 오차가 오히려 조금 나빠진다. 그런데 같은 덧셈을 실제 응답자의 단일 정체성 분포로 하면 오차가 0.062로 떨어진다. 셀 중앙값 기준으로 0.22에서 0.05로 내려가는 수준이고, 앞에서 본 인간 노이즈 바닥보다도 낮다. 더 눈에 띄는 것은 세 모델의 값이 거의 같다는 점이다. 0.062와 0.062와 0.061이다.

그러면 그 재료는 어떻게 어긋나 있는가. 연구진은 조합을 보기 전에 정체성 하나짜리부터 따로 재 두었고, 어긋남이 두 겹이다. 첫째는 순서다. 실제 여론에서 어느 축이 응답을 가장 크게 가르는지는 주제마다 달라서, 대부분의 웨이브에서는 종교가 가장 강하고 범죄와 경제 문항에서는 인종이 앞서며 정당은 정치 웨이브에서만 1위다. 모델의 순서는 주제를 타지 않는다. GPT-4o-mini는 15개 주제 가운데 12개에서 정당을 1위에 놓고, 사람 쪽 순서와의 순위 상관은 0.36에 그친다. 다른 모델들은 0.46에서 0.55로 조금 낫지만 정당을 먼저 놓는 것은 마찬가지다.

둘째는 크기다. 축과 값과 웨이브를 조합한 429개 지점에서, 모델은 실제로는 약하게 가르는 축을 부풀린다. 성별이 실제 평균 0.039에서 0.074로, 정당이 0.071에서 0.130으로 커진다. 반대로 실제로 가장 크게 가르는 두 축만은 부풀지 않는다. 인종은 0.080에서 0.080으로 그대로이고, 종교는 0.088에서 0.093으로 거의 움직이지 않는다. 모델은 모든 축에 비슷한 크기의 차이를 나눠 주고, 사람은 축마다 다르게 가른다. 그러니 4장에서 본 조합 단계의 억제는 새로 생긴 것이 아니라, 정체성을 하나만 준 단계에서 이미 눌려 있던 두 축 위에 얹힌 것이다.

이 논문의 실무적 산출물은 붕괴율이 아니라 그 붕괴율을 재기 위해 만든 절차다. 논문은 그 절차를 실리콘 샘플링 감사의 표준으로 제안한다고 결론에 적어 두었다. 합성 데이터의 품질을 재는 일을 하는 쪽에서 보면, 이 세 가지는 여론조사에만 쓰이는 도구가 아니다.

6.1절대 점수는 해석할 수 없다

먼저 널 바닥 이야기부터 해야 한다. 저자들은 아무 관계도 없는 두 축의 편향 벡터를 짝지어 유사도를 재 봤다. 결과는 코사인 유사도 중앙값 0.84다. 서로 상관없는 정체성끼리도 이미 0.84가 나온다. 같은 척도에서 두 지문을 더한 예측은 0.94, 둘 중 하나만 쓴 예측은 0.96이다. 그러니까 0.94는 좋은 점수가 아니다. 0.84라는 바닥이 어디 있는지 모르면 0.94는 아무 뜻도 없는 숫자다.

방향만 그런 것이 아니라 크기도 그렇다. 두 정체성을 준 프로필의 실제 밀림은 두 지문을 더한 예측의 0.59배 크기다. 방향은 그럴싸하게 맞고 크기는 절반쯤이라는 뜻이다. 품질 리포트에 유사도 하나만 찍혀 있으면 이 두 가지가 모두 보이지 않는다. 데이터 품질 지표에서 절대 점수를 그대로 노출하는 관행이 왜 위험한지에 대해 이보다 깔끔한 사례는 찾기 어렵다.

6.2규격은 2차원에서 멈춘다

그렇다면 합성 데이터의 다양성을 검수하라고 적어 둔 규격은 지금 어디까지 와 있는가. 세 방향을 확인했고, 세 방향 모두 조합 층위에서 멈춘다. 여기서 중요한 것은 이 문서들이 무엇을 틀리게 적었는지가 아니라, 무엇을 아직 다루지 않는지다.

AAPOR 보고서는 잘 만들어진 문서다. 합성 응답을 쓰지 말라고 하지 않고, 명확히 표시된 사전 테스트와 파일럿, 탐색적 진단까지는 용인하면서 그 밖으로 나갈 때 타당성과 노출 위험이 커진다고 적는다. 소집단 추정의 기준선으로 다수준 회귀·사후층화를 언급하고, 언어모델 기반 합성 응답은 투명한 통계 모형이 아니라 관측 범위 밖으로 불투명하게 외삽할 수 있는 생성 절차라고 구분해 둔 대목도 정확하다. 그런데 위험이 가장 커지는 조건으로 지목한 그 지점, 희소한 인구통계 군집을 확인할 방법이 문서 안에 없다. 필수 공시는 인공지능이 응답자 역할을 했는지를 묻고, 그 응답이 정체성을 몇 개나 실제로 썼는지는 묻지 않는다.

한국 안내서에 대해서도 같은 어법이 필요하다. 이 문서는 개인정보 보호를 목적으로 만들어졌고, 두 개의 축을 다룬다. 재식별 위험이라는 안전성 축과 원본과 얼마나 닮았는지라는 유용성 축이다. 다양성과 대표성은 세 번째 축으로 서 있지 않다. 목적이 다르니 당연한 일이고, 빠뜨렸다고 말할 대목이 아니다. 정확한 서술은 지금 그 층위가 필요해졌다는 쪽이다. 국제적으로도 ICC와 ESOMAR의 강령 개정 논의는 공시 의무 쪽에 서 있다. 썼다고 밝히라는 요구이지 무엇으로 검수하라는 요구가 아니다.

6.3한국어에서 이미 같은 형태가 나왔다

조합 층위 검수가 필요하다는 주장을 미국 여론 자료 하나에만 기대어 할 필요는 없다. 2026년 5월에 공개된 감사 연구 한 편이 한국어 합성 페르소나에서 같은 실패 형태를 이미 잡아냈다. 배준형의 논문은 독립 가정 발자국(Independence-Assumption Footprint, IAF)이라는 감사 방법을 제안한다. 데이터카드가 스스로 독립으로 처리했다고 적어 둔 속성 조합을 골라, 그 조합의 합성 결합분포를 외부 공식 통계와 대조하는 방식이다.

대상은 NVIDIA의 Nemotron-Personas-Korea 100만 레코드였고, 정답표로는 국가통계포털과 대졸자직업이동경로조사, 대법원 성명 통계, 병무청 연감을 썼다. 결과는 한 문장으로 요약된다. 국가통계포털의 주변분포와는 정렬되는데 결합 세 종에서 무너진다. 전공과 직업의 조건부 분포가 어긋나고, 병역 관련 연령 프로파일이 제도적으로 성립하지 않으며, 남성이 압도적인 직업의 여성 비율이 실제보다 균등한 쪽으로 과도하게 평탄해진다. 여섯 개 다른 로케일로 확장했을 때 이 패턴은 보편적이지 않고 로케일마다 달랐다.

두 논문이 감사한 대상은 서로 다르다. 이 글이 다룬 연구는 의견 분포를 봤고, 한국어 감사는 인구통계 결합구조를 봤다. 그래서 같은 결론이라고 말할 수는 없다. 다만 같은 실패 형태다. 축별로는 맞는데 조합에서 무너지고, 무너지는 방향이 소수 쪽을 균등 쪽으로 밀어 놓는다. 한국 안내서가 규정한 검증 4종 가운데 앞의 둘이 정확히 이 실패를 통과시키는 지점에 있다는 점도 함께 봐 둘 만하다.

6.4합성 페르소나 다양성 검수 항목 일곱 가지

아래 표는 논문이 방법으로 쓴 세 가지와 결론에서 덧붙인 기준선 이야기를, 합성 데이터를 검수하는 쪽의 항목으로 옮긴 것이다. 1번부터 3번과 6번, 7번은 논문에 근거가 있고, 4번과 5번은 이 글이 논문의 방법에서 끌어내 항목으로 세운 것이다. 논문은 그 둘을 감사 항목으로 제안하지는 않았다. 그 구분을 적어 두는 편이 정직하다.

5번 항목의 값은 이 논문에서 이미 구체적인 숫자로 나와 있다. 두 정체성을 준 프로필에서 실제로 쓰인 정체성이 하나 분량이라면 그 데이터셋의 정체성 예산은 1에 가깝다는 뜻이고, 사람 자료의 1.83과 나란히 놓으면 얼마나 모자란지가 바로 보인다. 축별 분포 일치만 보고하는 품질 리포트에서는 이 수치가 아예 나타나지 않는다.

처방의 방향도 논문이 못박아 두었다. 인종과 종교가 덜 남는다는 결과에 대한 대응은 그 축의 신호를 더 세게 밀어 넣는 것이 아니다. 실측된 집단 차이에 맞춰 보정하는 것이다. 근거 없이 특정 축을 증폭하면 반대편 실패 모드로 넘어간다. 집단을 과장해서 그리는 캐리커처가 그것이다.

6.5한국에 그대로 옮길 수 없는 이유

같은 감사를 한국에서 하려면 무엇이 필요한지도 정직하게 적어 두는 편이 낫다. 두 가지 제약이 있고, 두 번째가 더 근본적이다.

첫째는 표본 크기다. 조합 셀마다 유효 응답 20명, 안정적으로는 100명이 필요한데 한국의 대표적인 의견 조사인 한국종합사회조사는 웨이브당 약 1,000명에서 1,600명 규모다. 2025년 조사가 1,211명이었다. 미국 트렌드 패널의 가장 작은 웨이브가 2,524명이었으니 그 절반에 못 미친다. 통계청 사회조사는 약 3만 6천 명으로 표본은 충분하지만 의견보다 실태와 행동을 묻는 문항이 많다. 한국복지패널은 약 7,500가구 규모다.

둘째는 축 자체의 문제다. 이 논문에서 가장 크게 억제된 축은 인종인데, 미국 자료에서 인종이 하는 역할, 즉 응답 분산을 가장 크게 가르는 축의 자리에 대응하는 항목이 한국 조사 자료에 그대로 있지 않다. 종교나 지역, 세대가 후보가 될 수는 있지만 1대 1로 옮겨 놓을 수 있는 관계가 아니다. 그래서 이 글은 한국에서도 같은 결과가 나올 것이라고 쓰지 않는다. 대신 순서를 뒤집는다. 결과를 예측하기 전에 검수 절차를 세워야 한다. 어느 축이 억제되는지는 재 봐야 아는 것이고, 재는 방법은 이미 나와 있다.

논문 저자들이 스스로 그은 범위도 함께 남겨 둔다. 이 결과는 미국과 영어, 트렌드 패널의 폐쇄형 문항, 2017년부터 2021년 사이, 그리고 집단 수준의 응답 분포에 한정된다. 다른 나라와 언어, 다른 조사 도구로의 이식성은 검증되지 않았다고 저자들이 직접 적었다. 저자들이 쓴 교차성과 가법성이라는 말도 의도적으로 보수적으로 조작화한 것이며, 크렌쇼 계열의 구조적 교차성 개념을 담지도 반박하지도 않는다고 명시한다. 집단 수준에서 덧셈이 성립하더라도 개인 수준의 예측에서는 깊은 상호작용이 중요할 수 있다는 점 역시 논문이 인정한 대목이다. 정확도 통계에 붙은 단서도 두 개 있다. 프롬프트가 조사 시점을 고정하지 않아 실제 여론 변동이 오차에 섞일 수 있고, 트렌드 패널의 집계 결과가 공개돼 있어 암기가 있었다면 오차를 줄이는 방향으로 작용한다. 뒤쪽 단서는 보고된 실패가 보수적으로 잡힌 값이라는 뜻이다.

합성 데이터의 다른 실패 모드에 대해서는 페블러스가 앞서 다룬 글이 몇 편 있다. 합성 데이터로 반복 학습할 때 능력이 갈라지는 현상은 이 글에서, 합성 벤치마크의 품질을 재는 문제는 이 글에서 다뤘다. 데이터셋 대표성이 규제 요구사항으로 들어오는 경로는 인공지능법 제10조를 다룬 글에 정리해 두었다.

데이터 품질을 재고 그 판정을 문서로 남기는 일을 하는 회사가 이 논문을 왜 붙잡고 있는지 적어 둔다. 네 갈래다.

7.1감사 표준 세 가지는 데이터 검증 도구가 하는 일이다

논문이 실리콘 샘플링 감사의 표준으로 제안한 노이즈 바닥과 널 보정, 분할표본 확인은 여론조사 전용 기법이 아니다. 어떤 수치를 무엇과 비교해야 뜻이 생기는지를 정하는 작업이고, 데이터셋에 품질 판정을 붙이는 도구가 하는 일과 같은 종류다. 특히 무관한 축끼리도 이미 0.84가 나온다는 발견은 품질 리포트 설계에 바로 쓰인다. 절대 점수를 그냥 노출하면 독자가 그 점수를 자기 기준으로 해석하고, 그 기준은 대개 100점 만점이다. 바닥과 천장을 함께 보여 주지 않는 지표는 읽는 사람을 오해시킨다.

7.2학습 데이터의 성질이 조건화 방식에 남는다

4.3절의 3원 대조가 이 글에서 가장 실용적인 대목이다. 인종과 종교가 덜 남는 현상은 정렬 정책이 만든 것이 아니라 사전학습 단계에서 이미 들어와 있었고, 그 뒤의 지시 튜닝과 대화 템플릿은 거의 아무것도 바꾸지 못했다. 가중치를 분해할 수 있는 공개 모델 두 종에 한정된 결과이지만, 학습 데이터의 성질이 모델의 조건화 방식에 어떻게 남는지를 단계별로 갈라 보인 사례는 흔치 않다. 데이터 품질이 모델 거동으로 이어진다는 명제에 붙일 수 있는 실증이 하나 늘었다.

7.3검수 항목에도, 계약서에도 한 줄이 붙는다

합성 데이터를 학습이나 평가, 조사에 쓰는 조직의 검수 항목은 대개 축별 분포 일치에서 멈춘다. 성별 비율이 맞는가, 연령 분포가 원본과 닮았는가를 확인하는 식이다. 한국의 공식 안내서조차 유용성 검증을 1차원 분포와 2차원 쌍 상관까지로 규정한다. 이 논문이 보인 것은 축별로 다 맞아도 조합 층위에서 정보가 사라진다는 사실이므로, 검수 항목에 조합 셀 단위 대조와 노이즈 바닥 대비 초과 오차가 추가되어야 한다는 권고가 그대로 나온다.

계약서 쪽에도 붙일 문장이 하나 생긴다. 모델을 한 번 더 돌리는 것만으로 생기는 변동이 대체하려는 실제 표본의 오차와 맞먹거나 그보다 크다는 결과는, 합성 데이터를 납품받는 쪽이 재현성 요구사항을 명시해야 할 근거다. 같은 조건으로 몇 번 돌렸고 그 사이 편차가 얼마였는지를 함께 받지 않으면, 받은 숫자가 얼마나 흔들리는 숫자인지 알 방법이 없다.

7.4파는 쪽도 반대하는 쪽도 아닌 자리

페블러스는 2026년 4월에 한국어 합성 페르소나 데이터셋이 왜 필요한가를 썼다. 같은 해 8월에 그 데이터셋의 다양성을 무엇으로 검수할 것인가를 쓴다. 찬반이 아니라 한 주제의 양면이다. 4월 리포트도 이미 독립 가정의 한계를 한계 항목으로 적어 두었고, 5월에 한 연구자가 실제로 그 가정을 감사했으며, 8월에 미국 여론 데이터에서 같은 실패 형태가 확인됐다. 순서가 이렇게 이어졌으니 다음 질문도 정해진다. 한국어 합성 페르소나의 조합 층위 검증을 실제로 수행할 수 있는 곳이 국내에 어디인가.

이 글이 도덕적 결론으로 닫히지 않기를 바란다. 합성 응답자를 쓰지 말라는 이야기가 아니고, 쓰는 사람을 탓하는 이야기도 아니다. 정체성을 둘 줬는데 하나만 쓰였다는 것은 재면 알 수 있는 사실이고, 재는 방법은 이미 논문 안에 있다. 지금 비어 있는 것은 그 측정을 검수 항목으로 세워 둔 규격이다. 항목이 서면 그다음은 실무의 일이다.

학술

• 1.Rennard, V. & Xypolopoulos, C. (2026). Large language models simulate intersectional synthetic identities with a budget of one to two dimensions. arXiv:2608.23005v1 [cs.CY], 2026-08-24. 라이선스 CC BY-SA 4.0. 이 글의 모든 논문 내부 수치의 출처. arXiv
• 2.Bae, J. (2026). Marginal Alignment Does Not Guarantee Joint-Distribution Fidelity: An Official-Reference Audit of Nemotron-Personas-Korea with Cross-Locale Replication. arXiv:2606.12433, 2026-05-15. 독립 가정 발자국(IAF)과 한국어 합성 페르소나 100만 레코드 감사. arXiv
• 3.Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. & Wingate, D. (2023). Out of one, many: using language models to simulate human samples. Political Analysis 31(3), 337–351. 실리콘 샘플링의 출발점.
• 4.Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. & Hashimoto, T. (2023). Whose opinions do language models reflect? ICML 40th. OpinionQA. 단일 축 평가의 정본이며 이 논문이 로그확률 읽기 패러다임으로 재현한 대상.
• 5.Wang, A., Morgenstern, J. & Dickerson, J. P. (2025). Large language models that replace human participants can harmfully misportray and flatten identity groups. Nature Machine Intelligence 7, 400–411. 평탄화 서사의 정본. 5.3절의 그룹 내부 과분산 결과가 이 관찰의 층위를 특정한다.
• 6.Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. & Larson, J. M. (2024). Synthetic replacements for human survey data? The perils of large language models. Political Analysis 32(4), 401–416. 합성 응답의 분산 축소.
• 7.Cheng, M., Piccardi, T. & Yang, D. (2023). CoMPosT: characterizing and evaluating caricature in LLM simulations. EMNLP. 페르소나 캐리커처 측정.
• 8.Park, J. S. et al. (2026). LLM agents grounded in self-reports enable general-purpose simulation of individuals. arXiv:2411.10109 (v3, 2026-06 개정. v1 제목은 Generative Agent Simulations of 1,000 People). 자기보고 기반 조건화는 다르게 작동할 수 있다는 예외. arXiv
• 9.Evans, C. R., Williams, D. R., Onnela, J.-P. & Subramanian, S. V. (2018). A multilevel approach to modeling health inequalities at the intersection of multiple social identities. Social Science & Medicine 203, 64–73. MAIHDA. / Merlo, J. (2018). Multilevel analysis of individual heterogeneity and discriminatory accuracy (MAIHDA) within an intersectional framework. Social Science & Medicine 203, 74–80.
• 10.Ghitza, Y. & Gelman, A. (2013). Deep interactions with MRP: election turnout and voting patterns among small electoral subgroups. AJPS 57(3), 762–776. 소집단 추정의 기준선.
• 11.Alaa, A., van Breugel, B., Saveliev, E. & van der Schaar, M. (2022). How faithful is your synthetic data? Sample-level metrics for evaluating and auditing generative models. arXiv:2102.08921. 알파 정밀도와 베타 재현율. / Naeem, M. F. et al. (2020). Reliable fidelity and diversity metrics for generative models. 밀도와 커버리지. arXiv
• 12.Sun, S. et al. (2024). Random silicon sampling. arXiv:2402.18144. / Crenshaw, K. (1989). Demarginalizing the intersection of race and sex. University of Chicago Legal Forum 1989(1), 139–167. 교차성 원전으로 인용.

정책·통계·업계

• 13.Rothschild, D., Marlar, J., Amaya, A. et al. (2026). Responsible AI Integration in Survey Research. American Association for Public Opinion Research, 2026-05. 합성 응답의 위험 등급, 희소 인구통계 군집 경고, 필수 공시 체계. 공동의장은 David Rothschild(Microsoft Research)와 Jenny Marlar(Gallup)이며 Pew 연구자가 참여했다. PDF
• 14.개인정보보호위원회 (2024-12). 데이터의 안전한 활용을 위한 합성데이터 생성·활용 안내서. 발간등록번호 11-1790377-100001-01. 부록3의 정형 합성데이터 유용성 검증 4종. 공공데이터포털
• 15.Pew Research Center. The American Trends Panel. 패널 규모, 2014년 창설, 2018년부터의 주소 기반 확률표집. Pew Research Center
• 16.Greenbook GRIT. Smarter Insights, Faster Pace: AI's Breakthrough in Market Research. 합성 데이터 만족도 87%와 데이터 품질 우려 전년 대비 40% 증가. Greenbook
• 17.ESOMAR / Research World. Inside the $153bn Insights Industry. 2024년 기준 인사이트 산업 규모. Research World / Why the ICC/ESOMAR Code will matter more than ever in 2026 (공시 의무 축에 대한 해설). Research World
• 18.Synthetic Users, 공식 사이트 / Fairgen, 공식 사이트. 섹션 1의 판매 문구와 단가는 각 사 공식 페이지에서 직접 인용.
• 19.한국종합사회조사(KGSS) 누적자료, 서울대 한국사회과학자료원. 웨이브당 표본 규모. KOSSDA

페블러스 인접 (교차 링크)

• 20.페블러스, 한국어 합성 페르소나 데이터셋 700만 건. report/nemotron-personas-korea-2026-04
• 21.페블러스, 합성 데이터 반복 학습과 능력 양극화. blog/synthetic-data-competence-polarization
• 22.페블러스, 합성 벤치마크의 품질을 재는 문제. blog/synae-synthetic-benchmark-quality
• 23.페블러스, 인공지능법 제10조가 요구하는 데이터셋 대표성 증적. report/eu-ai-act-article10-labeling-audit-evidence