Executive Summary

챗봇에 "이 브랜드는 어디서 사면 되나"라고 물으면, 돌아온 목록에 가짜 가게나 이미 문을 닫은 주소가 섞여 있을 때가 있다. 그 빈도를 센 조사가 나왔다. 브랜드 보호 업체 Podqi가 AI 검색 분석 업체 Gauge와 함께 151개 브랜드를 두고, 로그인하지 않은 상태의 챗GPT와 제미나이, 퍼플렉시티에 같은 쇼핑 질문을 던져 답변 6,795개를 모았다.

위험한 주소가 섞인 답변의 비율은 퍼플렉시티가 15%로 가장 높았고 챗GPT 8%, 제미나이 4%가 뒤를 이었다. 다만 순위보다 눈여겨볼 것은 그 안의 구성이다. 답변에 등장한 도메인 4,437개 가운데 718개가 위험 판정을 받았다. 그중 351개가 브랜드를 사칭하거나 위조품을 파는 가게였고, 더 많은 367개는 아무것도 팔지 않는 '문 닫은 주소'였다. 모델이 알고 있는 웹과 지금의 웹 사이에 시간이 흐른 흔적이다.

1절부터 4절까지 옮긴 수치와 인용문은 Podqi의 조사 공개 페이지와 이를 전한 보도에서 가져왔다. 단독 보도를 낸 The Verge의 원문은 직접 열지 못해 교차 보도에 기댔고, 보고서 전문 PDF는 내려받기 신청을 거쳐야 해 공개 페이지에 적힌 범위까지만 확인했다. 문 닫은 주소가 다시 추천으로 돌아오는 과정을 데이터 신선도 문제로 본 3절 후반과 5절 전체는 이 글의 해석이다.

주요 수치

앞의 두 숫자는 위험한 주소가 답변에 얼마나 자주, 얼마나 많이 끼어들었는지를 말한다. 세 번째는 그 주소가 답변 안에서 어떤 대접을 받았는지를, 네 번째는 9월 두 차례 조사 사이에 그 빈도가 어떻게 움직였는지를 보여 준다.

출처: Podqi, AI search brand risk, Startup Fortune.

15%

퍼플렉시티 답변 중 위험한 주소가 섞인 비율

챗GPT 8%, 제미나이 4%였다. 세 서비스를 통틀어 9%다

718개

위험으로 분류된 도메인

검토한 4,437개 가운데. 가짜 가게 351개, 문 닫은 주소 367개로 갈린다

6.3배

경고보다 추천으로 등장한 횟수

추천 57%, 링크만 걸린 언급 34%, 경고 9%의 구성이다

12%→7%

두 차례 조사 사이 위험 노출률

9월 두 차례 사이에 줄었다. 보고서가 직접 적은 수치다

1

같은 질문을 던져도 위험한 주소는 퍼플렉시티에서 가장 많이 나온다

조사 설계는 단순하다. 룰루레몬, 버켄스탁, 스투시, 르크루제 같은 소비재 브랜드 151개를 고른 뒤, "어디서 살 수 있나", "해외배송이 되나", "우리 지역 공식 사이트가 있나" 같은 쇼핑 질문 다섯 가지를 세 챗봇에 똑같이 던졌다. 9월에 두 차례 돌려 답변 6,795개가 쌓였다. 답변에 뜬 사이트는 전부 열어 보고 도메인 4,437개를 사람이 검토했다.

질문을 던진 계정은 모두 로그아웃 상태였다. 로그인한 계정에 붙는 개인화도, 이전 대화 기록도 없다. 처음 챗봇을 열어 본 소비자가 보는 화면을 재현하려는 설계다. 바꿔 말하면 이 숫자는 아무 맥락 없이 물었을 때의 기본값에 가깝다. 대화 기록이 쌓인 계정에서는 결과가 달라질 수 있다.

결과에서 가장 널리 인용된 대목은 서비스별 격차다. 위험한 주소가 하나라도 섞인 답변의 비율은 퍼플렉시티가 가장 높아 15%였다. 일곱 번 물으면 한 번꼴에 가깝다. 챗GPT와 제미나이는 그보다 낮았고, 구글 AI 개요만 아예 다른 단위로 집계됐다.

서비스 위험한 주소가 섞인 답변 경고를 붙였는가
퍼플렉시티 15% 셋 중 노출이 가장 잦았다. 경고 비율은 따로 보고되지 않았다
챗GPT 8% 위험한 주소를 보여 준 경우 가운데 24%에만 경고를 달았다
제미나이 4% 위험한 주소를 가장 적게 보여 줬다. 보여 준 건수가 적어 경고를 붙인 사례도 적다
구글 AI 개요 7건(건수 집계) 일곱 건 전부에 경고가 붙었다

▲ Podqi 조사의 서비스별 수치를 옮겼다. 구글 AI 개요는 비율 대신 건수로 보고돼 같은 축에 놓고 견줄 수 없다.

표의 격차가 어디서 왔는지는 조사가 설명하지 않았다. 보고서가 밝힌 조건은 세 서비스에 같은 질문을, 같은 브랜드로, 같은 날에 던졌다는 데까지다. 서비스마다 2,265개씩 답변을 받았으니 비교의 바탕은 고르다. 다만 그 바탕 위에서 왜 한쪽이 세 배 넘게 높은지는 열려 있는 물음으로 남았다.

질문 종류에 따른 차이도 크다. 해외배송이나 "우리 지역 공식 사이트"를 묻는 질문에서 위험 노출이 16%로 가장 높았다. 나머지 네 질문은 6%에서 11% 사이였으니, 가장 낮은 질문의 두 배를 넘는 수치다. 실제로 존재하지 않는 지역 전용 사이트를 챗봇이 지어내 보여 준 사례도 보고에 들어 있고, 지역 질문에 등장한 위험한 주소의 36%는 국가 코드 도메인이나 지역 이름을 달고 있었다. 다섯 질문 가운데 가장 순해 보이는 물음이 가장 위험했다.

브랜드 규모를 두고는 축이 다른 수치 둘이 함께 인용된다. 보도는 소규모 브랜드의 위험 노출이 대형 브랜드의 약 두 배였다고 전했다. 정작 Podqi가 공개 페이지에 올린 숫자는 노출 비교 대신 경고 쪽을 가리킨다. 대기업 브랜드에 관한 위험한 답변 125건 가운데 경고가 붙은 것은 4건이고, 나머지 121건에는 아무 말이 없었다. 보고서는 그 숫자 옆에 "규모는 방패가 되지 않는다"고 적었다. 위험한 주소를 덜 만나는 일과 만났을 때 주의를 듣는 일은 다른 이야기다.

2

위험 판정 718개는 가짜 가게와 문 닫은 주소로 갈린다

Podqi가 위험으로 분류한 도메인 718개는 성격이 다른 두 묶음이다. 351개는 브랜드 행세를 하거나 위조품을 파는 사이트였고, 367개는 열어 봐도 살 것이 없는 주소였다. 보도와 보고서는 후자를 "죽은(dead) 도메인"이라고 부른다. 과거에 쓰이다 지금은 닫혔거나, 등록 기간이 끝나 누구든 다시 가져갈 수 있는 상태를 말한다.

기사 제목에 올라가는 쪽은 대개 앞의 351개다. 가짜 쇼핑몰은 지금 이 순간 누군가 돈을 노리고 운영하는 곳이고, 피해도 바로 상상된다. 그런데 더 많은 쪽은 뒤의 367개다. 지금 그 주소를 눌러 봐야 아무것도 팔지 않으니 당장의 피해는 없다. 소비자 입장에서는 그저 링크가 깨진 것처럼 보인다.

그렇다고 문 닫은 주소를 덜 위험하다고 보기는 어렵다. 둘의 차이는 위험의 크기보다 시점에 있다. 가짜 가게는 이미 누군가 차지한 자리이고, 문 닫은 주소는 아직 아무도 차지하지 않은 빈 자리다. 도메인은 등록이 끝나면 다시 시장에 나오는 자원이라, 챗봇이 꾸준히 추천하는 주소라면 그 빈 자리를 사 둘 이유가 생긴다.

보고서도 같은 자리를 짚었다. 조사 결과에 붙인 다섯 가지 시사점 가운데 하나가 "오늘의 죽은 도메인이 내일의 가짜다(Today's dead domains are tomorrow's fakes)"였다. 만료된 도메인은 누구든 다시 등록할 수 있다. AI가 계속 추천하는 주소라면 위조품 가게가 될 수 있다는 설명이 뒤따른다. 브랜드를 향한 권고에도 같은 항목이 들어갔다. 과거에 쓰다 놓은 도메인을 추적하라는 것이다.

3

모델은 지난 웹을 말하고, 문 닫은 주소는 누구나 다시 산다

문 닫은 주소 367개가 답변에 등장한 경위는 길게 설명할 것이 없다. 그 주소는 한때 멀쩡히 살아 있었다. 브랜드의 지역 쇼핑몰이었거나 캠페인 사이트였거나 옛 공식 스토어였고, 그 시절의 웹 문서와 기사와 링크에 수없이 적혔다. 모델은 그 기록을 배웠고 색인에도 남았다. 그 뒤 브랜드가 사이트를 정리했다는 사실은 따로 알려 주는 사람이 없었다.

아래 도식은 주소 하나가 거치는 네 단계다. 세 번째 단계에서 주인이 바뀌어도 마지막 단계의 답변은 그대로다.

주소 하나가 주인을 바꾸는 동안 브랜드가 쓴다 공식 쇼핑몰 주소 문을 닫는다 등록 기간이 끝난다 누군가 다시 산다 재등록이 열린다 챗봇이 권한다 배운 그대로 모델이 배운 시점의 웹 소비자가 지금 누르는 웹 주소 문자열은 네 단계 내내 똑같다. 바뀐 것은 그 끝에 있는 사람이다. 답변은 세 번째 단계가 일어났는지 확인하지 않는다.

▲ 페블러스 원본 도식. 네 단계의 내용은 Podqi가 '죽은 도메인'을 정의한 서술에서 옮겼다.

여기서 보통의 환각과 갈라진다. 없는 사실을 지어낸 것이 아니라, 한때 참이던 사실을 유통기한만 지난 채 그대로 내놓은 것이다. 주소 문자열 자체는 정확하다. 틀린 것은 그 주소가 지금도 브랜드의 것이라는 암묵적 전제다. 검증 단계가 "이 주소가 과거에 존재했는가"까지만 묻고 "지금 누구 손에 있는가"를 묻지 않으면 통과한다.

오염된 쪽에서 이 틈을 노린다는 경고도 이미 나와 있다. Podqi 보고서는 보안업체 ESET가 9월에 내놓은 경고를 배경으로 인용했다. AI가 긁어 가도록 키워드를 잔뜩 깔아 둔 페이지를 사기 조직이 대량으로 찍어 내고 있다는 내용이다. 이 대목은 보고서를 통해 전해 들은 것이라 원문을 직접 확인하지는 못했다.

4

경고와 추천을 한 칸에 담으면 '노출'이라는 숫자가 커진다

15%라는 숫자가 무엇을 센 것인지부터 짚어야 한다. Podqi는 위험한 주소가 답변에 등장하기만 하면 한 건으로 셌다. 적극적으로 권한 경우, 설명 없이 링크만 걸린 경우, 그리고 "이 사이트는 공식이 아니니 조심하라"고 경고한 경우가 모두 같은 분모 안에 있다. 경고까지 위험 노출로 세면 조심스럽게 답한 서비스가 불리해진다.

다만 보고서는 그 구성도 함께 공개했다. 위험한 주소의 등장 가운데 추천이 57%, 링크만 걸린 언급이 34%, 경고가 9%였다. 경고보다 추천이 6.3배 많다는 숫자가 여기서 나온다. 측정 단위가 뭉개져 있는 것은 맞지만, 뭉개진 덩어리의 대부분이 추천 쪽이라 15%가 통째로 부풀려졌다고 보기는 어렵다.

추천 57% 언급만(링크) 34% 경고 9%

▲ 페블러스 원본 도식. 위험한 주소가 답변에 등장한 방식의 구성 비율(Podqi 보고서 수치)을 옮겼다.

집계 규칙은 반대 방향으로도 작동한다. 보고서는 구성 그래프 아래에 "혼재된 답변은 경고하지 않은 것으로 센다(Mixed answers count as not warned)"고 밝혀 뒀다. 위험한 주소를 링크하면서 "가짜 사이트를 조심하라"는 일반론만 덧붙인 답변은 경고 칸에 들어가지 못했다는 말이다. 실제로 잘못 다룬 답변 다섯 중 하나는 위조품을 그렇게 일반론으로만 경고했다. 경고 9%라는 숫자도, 거기서 나온 6.3배라는 비율도 이 엄격한 정의 위에 서 있다. 보고서가 그 정의를 고른 까닭은 바로 옆에 적혀 있다. 경고는 지금 들어가려는 그 사이트에 붙었을 때만 쓸모가 있다는 것이다.

추천이라는 칸이 왜 더 무겁게 걸리는지도 보고서가 적었다. 예전 쇼핑객은 파란 링크 열 개를 늘어놓고 스스로 골랐지만, 지금은 답변 하나가 가게를 대신 고른다. 고르는 쪽이 바뀌면 한 번 잘못 고를 때의 무게도 바뀐다. "이 브랜드를 사기 좋은 사이트가 어디인가"처럼 목록을 부르는 질문에 보고서가 덧붙인 설명도 같은 자리에 있다. 목록은 설계부터 위험하다는 것이다. 목록에 오른 사이트는 전부 살 수 있는 곳으로 제시되기 때문이다. 그 질문에 나온 위험한 답변 가운데 3분의 2가 위험한 주소를 추천으로 내놨다.

이 숫자를 읽을 때 함께 봐야 할 것이 셋 남았다. 첫째, 질문 다섯 가지는 Podqi가 직접 지었다. 실제 사용자 대화 로그가 아니라 합성 질문이라, 사람들이 실제로 많이 묻는 질문과 분포가 다를 수 있다. 둘째, 조사는 위험한 주소가 답변에 등장한 빈도까지만 셌다. 그 링크를 누가 눌렀는지, 돈을 잃었는지는 추적하지 않았다. 셋째, Podqi는 브랜드 사칭 사이트를 찾아 내려 주는 서비스를 파는 회사다. 조사 대상 151개 브랜드 가운데 Madhappy는 보도에 Podqi의 고객사로 명시됐다.

이해관계가 있다고 숫자까지 틀렸다고 볼 수는 없다. 오히려 보고서 쪽이 자기에게 불리한 수치도 같이 실었다. 9월 두 차례 조사 사이에 위험 노출률이 12%에서 7%로 내려갔다는 기록이 그것이다. 위협이 커 보일수록 사업에 유리한 회사가 개선 추세를 함께 적었다면, 그 숫자를 한쪽으로만 몰아간 자료로 보기는 어렵다.

각 회사의 답도 짧게 나왔다. 퍼플렉시티 대변인은 "100% 정확하다고 주장하지 않는다(We don't claim to be 100% accurate)"며 정확도를 계속 높이고 있다고 밝혔다. 구글 대변인 제시카 레비스 보드는 제미나이도 실수할 수 있어 이용자가 직접 확인할 수 있도록 출처 링크를 보여 준다고 답했다. 오픈AI는 안전장치를 계속 개선하고 있다는 원론적 답변을 내놨다.

5

페블러스가 이 조사를 주목하는 이유

이 조사는 보통 "AI가 가짜 쇼핑몰로 보낸다"는 소비자 주의보로 읽힌다. 데이터를 다루는 쪽에서 보면 다른 대목이 남는다. 367개짜리 묶음은 모델이 틀린 사례가 아니라, 데이터가 늙은 사례다. 학습하고 색인한 시점에는 맞았고 답변을 내놓는 시점에는 틀렸다. 그 사이에 바뀐 것은 모델이 아니라 세상이다.

AI가 읽는 자료를 관리하는 조직이라면 이 구조가 남의 일이 아니다. 제품 문서와 지원 페이지, 파트너 목록, 가격표에도 같은 일이 일어난다. 페이지가 내려가고 제품 이름이 바뀌고 요금제가 종료돼도, 그 사실을 알리는 신호가 따로 없으면 과거 상태 그대로 인용된다. 챙겨야 할 물음은 세 가지로 좁혀진다.

  • 우리 이름으로 바깥에 나가 있는 주소를 목록으로 들고 있는가. 과거에 쓰다 버린 도메인과 서브도메인까지 포함해서다. 버린 주소가 몇 개이고 지금 누구 손에 있는지 모르면, 그 자리에 무엇이 들어서는지도 모른다.
  • 자료에 "언제 기준"인지가 붙어 있는가. 날짜가 없는 문서는 모델에게 언제나 현재다. 만료일과 갱신일이 자료 안에 적혀 있어야 늙은 사실과 지금 사실이 갈린다.
  • 숫자를 받을 때 분모가 무엇인지 적혀 있는가. 이번 조사의 15%처럼, 경고와 추천을 한 칸에 담았는지 아닌지에 따라 같은 사건이 다른 크기로 보인다.

소비자 쪽 조언도 결국 같은 자리를 가리킨다. Podqi 공동창업자 트레버 웨스트는 개인정보나 결제정보를 넣기 전에 출처를 확인하라고 했다. 브랜드 공식 사이트로 바로 가고, 철자가 어긋나거나 낯선 확장자가 붙은 주소를 경계하라는 이야기다. 챗봇이 건넨 주소를 한 번 더 확인하는 일은, 데이터를 쓸 때 신선도를 따지는 일과 같은 동작이다.

페블러스가 데이터를 AI가 쓸 수 있는 상태로 만드는 일에서 '현재성'을 품질 항목으로 세는 것도 이 때문이다. 틀린 데이터만 품질 문제가 아니다. 한때 맞았던 데이터가 그대로 남아 있는 것도 품질 문제다. 이번 조사는 그 차이를 쇼핑몰 주소라는 가장 구체적인 형태로 보여 줬다.

R

참고문헌

1차 출처

보도