Executive Summary

주요 수치

출처: BBC 웨일스 조사 보도와 이를 전한 TheNextWeb, 영국 의원 서한을 다룬 바이라인 타임스

앞의 둘은 인형 한 개에 붙은 수다. 뒤의 둘은 그 인형이 혼자가 아니라는 뜻이다.

BBC 웨일스가 시험한 것은 영국에서 살 수 있고 세 살 이상용으로 광고되는 AI 봉제 인형 두 종이다. 하나는 온라인에서 75파운드에 팔리는 '마이 베이비 버니'로, 기기 자체에는 도우바오(Doubao)라는 이름이 붙어 있다. 기자 니콜라 브라이언은 아이가 던질 법한 질문을 차례로 넣어 봤고, 아기가 어떻게 생기는지 묻는 대화 중에 '성적'이라는 낱말의 뜻을 물었다.

인형은 그 질문을 자해를 암시하는 말로 알아들었다. "그렇게 느끼신다니 정말 안타깝습니다. 당신을 죽이는 일은 도와드릴 수 없어요"라고 답한 뒤, 응급 서비스에 연락하라고 권하고 스스로를 해칠 수 있는 물건에서 떨어지라고 덧붙였다. 기자가 자해를 말한 적이 없다고 하자 그제야 사과했다. 세 살 아이를 겨냥해 팔리는 물건에서 나온 응답이고, 아이가 물어보지도 않은 내용이다.

같은 조사에서 함께 시험한 다른 인형은 사정이 달랐다. 미국 큐리오(Curio)가 만든 99달러짜리 외계인 모양 장난감 그렘(Grem)은 가수 그라임스가 목소리를 입혔고, 집을 나가는 방법 같은 민감한 질문이 들어오면 어른에게 물어보라는 쪽으로 대화를 돌렸다. 큐리오는 BBC에 아동 안전이 제품 개발을 이끈다고 답했다. 두 인형의 차이는 응답의 질에서 끝나지 않는다. 한쪽에는 답할 회사가 있었다.

BBC는 실험실 안에서만 시험하지 않았다. 웨일스 뉴포트의 한 가정에 두 인형을 일주일 맡겨 아이들과 지내게 했다. 부모인 조디는 그렘이 자주 길게 말하고 도우바오는 질문을 처리하는 데 한참 걸린다고 전했다. 조사에 쓴 마이 베이비 버니 한 대는 스완지대학교에서 빌렸다.

보도에서 가장 오래 남는 대목은 응답 자체가 아니다. BBC는 이 인형을 판 웹사이트에 물었고, 업계 관계자들에게 물었고, 제조사일 수 있다고 본 기업들에도 물었다. 어느 쪽에서도 "우리가 만들었다"는 답은 나오지 않았다. 그래서 왜 그런 응답이 나왔는지, 어떤 안전장치가 걸려 있었는지, 앞으로 고칠 계획이 있는지를 물을 상대가 사라졌다.

이름이 없어서 생긴 일이 아니다. 인형에는 도우바오라는 이름이 분명히 붙어 있고, 판매 페이지에는 마이 베이비 버니라는 이름이 또 붙어 있다. 판매명과 기기명이 둘 다 있는데 어느 쪽도 회사로 이어지지 않는다. 이 둘과 만든 곳이 각각 다른 층에 흩어져 있으면 소비자가 붙잡을 수 있는 끝은 판매 페이지 하나뿐이고, 그 페이지는 상품이 내려가는 순간 같이 사라진다.

이름 때문에 오히려 혼선이 생기기도 한다. 도우바오는 중국 바이트댄스가 내놓은 AI 챗봇 도우바오(豆包)와 철자가 같다. 그러나 BBC 보도에도, 이를 받은 후속 보도에도 이 인형이 그 회사의 기술이나 책임 아래 있다는 확인은 없다. 이름이 같다고 책임 소재가 같아지지는 않는다. 반대로 이름이 다르다고 책임 소재가 분명해지지도 않는다.

빈칸은 추상적인 자리가 아니다. 아이가 건넨 말이 인형을 거쳐 어딘가로 갈 때, 그 경로에서 이름을 댈 수 있는 지점은 판매 페이지에서 끊긴다. 아래 도식은 이 인형을 둘러싼 칸 가운데 어디까지 확인되고 어디서부터 비는지를 그린 것이다.

같은 주 영국에서 또 다른 AI 토끼 인형 이야기가 나왔다. 아동 단체 얼라이언스 포 칠드런이 조사하고 바이라인 타임스가 11월 6일 보도한 건으로, BBC가 시험한 인형과는 다른 제품이다. 이쪽은 오레일렛(Oreilet)과 루오큐트(Luocute)라는 브랜드로 팔렸고, 신체 접촉을 묻는 질문에 성적인 내용을 섞어 답한 것이 문제가 됐다.

이 인형은 데이터가 지나가는 길이 상당 부분 드러났다. 전용 앱에서 쓸 언어 모델을 고를 수 있고 조사 당시에는 오픈AI의 GPT-5.4 mini가 돌고 있었다. 음성은 독일 프랑크푸르트에 있는 아마존웹서비스 데이터센터에서 저장되고 처리된다. 가족 목소리를 녹음해 인형이 흉내 내게 하는 기능이 있고, 아이가 나눈 대화 기록은 부모에게 전달된다. 바탕 플랫폼인 투야(Tuya)는 아동 안전 모드가 기본으로 켜져 있다고 밝혔다. 그런데 그 투야조차 최종 판매자를 아직 찾지 못했다고 했다.

두 인형을 나란히 두면 빈칸의 자리가 서로 다르다. 그리고 겹치는 빈칸이 하나 있다.

모델 이름과 서버 위치를 아는 쪽에서도 마지막 칸은 비어 있다. 데이터가 어디로 흐르는지 밝혀지는 것과 그 흐름에 책임지는 이름이 있는 것은 다른 문제다. 투명성 문서가 두꺼워진다고 해서 연락이 닿는 상대가 생기지는 않는다.

세 번째 경우도 있다. BBC가 함께 시험한 그렘을 만든 큐리오는 음성을 글로 옮긴 다음 오디오 파일은 남기지 않는다고 밝혀 왔다. 그 약속이 지켜지는지를 바깥에서 검증할 길은 여전히 없지만, 적어도 약속을 한 주체가 있고 약속이 깨지면 책임을 물을 자리가 있다.

3.1같은 길 끝에서 이미 일어난 일들

아이의 말이 서버에 닿은 뒤 무슨 일이 벌어지는지는 이미 몇 차례 드러났다. 2017년 미국 스파이럴토이즈가 팔던 클라우드펫츠는 부모와 아이가 녹음을 주고받는 봉제 인형이었는데, 비밀번호가 걸려 있지 않은 데이터베이스에 82만여 개 계정과 220만 건이 넘는 음성 메시지가 그대로 놓여 있었다. 음성 파일 자체도 인증 없이 열리는 저장소에 있었고, 데이터를 지운 공격자들은 돈을 요구했다.

올해 1월에는 와이어드가 AI 인형 본두의 관리 콘솔이 사실상 열려 있었다고 보도했다. 보안 연구자들이 평범한 구글 계정으로 로그인하자 세 살에서 아홉 살 아이들이 인형과 나눈 대화 기록 5만여 건이 이름과 생년월일, 가족 정보와 함께 보였다. 회사는 통보를 받고 몇 시간 만에 콘솔을 닫고 인증을 붙였다.

응답 쪽 선례도 있다. 2025년 11월 미국 소비자단체 PIRG는 AI 장난감을 시험한 보고서에서 99달러짜리 곰인형 쿠마가 성적인 대화를 길게 이어 가고 성냥과 칼을 어디서 찾는지 일러 준 사실을 공개했다. 제조사 폴로토이는 하루 만에 전 제품의 판매를 멈췄고, 오픈AI는 이 개발자의 접근 권한을 정지했다. 같은 인형인데 바탕에 어떤 모델을 두느냐에 따라 나온 답이 달랐다는 점도 보고서에 적혀 있다. 쿠마는 일주일 남짓 자체 안전 감사를 거친 뒤 다시 매대에 올랐고, PIRG가 재시험해 보니 문제가 된 대화는 더 이상 나오지 않았다.

세 건이 지금과 갈리는 지점은 같다. 부를 이름이 있었다. 닫을 콘솔을 가진 회사가 있었고, 권한을 정지당할 상대가 있었고, 감사를 마쳤다고 발표할 주체가 있었다. 마이 베이비 버니 쪽에는 그 자리가 비어 있다. 같은 일이 벌어져도 판매 페이지가 조용히 내려가는 것 말고는 일어날 일이 없다.

3.2의회와 정부가 움직인 자리

영국 의원 40여 명이 11월 3일 두 통의 서한을 보냈다. 하나는 비즈니스 장관 조너선 레이놀즈에게 1987년 소비자보호법이 이미 준 권한을 써서 16세 미만에게 이런 장난감을 팔지 못하게 해 달라는 요청이다. 다른 하나는 미국 아동 단체 페어플레이와 함께 아마존과 이베이에 보낸 공개서한으로, 독립 안전 시험이 끝날 때까지 AI 챗봇 장난감을 매대에서 내려 달라고 적었다. 세관과 국경 당국, 거래표준청이 국경과 온라인 장터에서 이런 제품을 가려낼 수 있도록 전용 품목코드를 만들어 달라는 요구도 함께 들어갔다.

서한을 이끈 핀레이 남작은 정부가 크리스마스 전에 가진 권한을 쓰라고 요구했고, 하원에서 뜻을 모은 노동당 제스 아사토 의원은 누군가 이 장난감들이 무슨 말을 하는지 확인하기 전까지 어린아이 근처에 둬서는 안 된다고 말했다. 얼라이언스 포 칠드런은 안전을 검증받았다는 근거 없이 영국 시장에 나와 있는 AI 챗봇 장난감을 28종으로 집계했다. 이 단체의 폴 라이트는 아이가 다친 뒤에 제품을 하나씩 거둬들이는 방식을 문제로 짚었다.

규제를 요구하는 쪽은 바깥만이 아니다. AI 장난감을 만드는 플레이테크AI의 창업자 폴 클라크는 BBC에 업계가 규제되기를 간절히 바라고 있다고 말했다. 만드는 쪽과 파는 쪽, 정부가 같은 자리에서 입을 열었고, 요구를 받은 쪽의 답은 이렇게 돌아왔다.

• 아마존 — 해당 제품을 조사하면서 내리는 중이라고 답했고, 기술이 발전하는 동안 적절한 안전장치가 갖춰져 있는지 살펴보겠다고 덧붙였다.
• 이베이 — 새로 떠오르는 제품 안전 문제를 두고 규제 당국과 긴밀히 협력하고 있다고 밝혔다.
• 영국 정부 — 이런 보도에 우려하고 있으며 긴급히 조사 중이라고 답했다. AI 장난감에 장난감 안전 규정을 어떻게 적용할지 묻는 의견 수렴은 10월 6일에 마감됐다.

BBC가 인공지능 담당 장관 카니슈카 나라얀에게 인터뷰를 요청했으나 거절당했다는 점도 보도에 적혀 있다. 제조사도, 담당 장관도 말을 아끼는 사이에 크리스마스 선물 시즌이 다가오고 있다.

아이가 인형에게 건네는 말은 데이터다. 그것도 아주 질이 좋은 데이터다. 세 살 아이의 발화는 어디서도 쉽게 모이지 않고, 아이는 하루에도 수백 번 같은 물건에 말을 건다. 음성이 서버로 올라가는 순간 그 말은 기록이 되고, 기록은 보관되거나 넘겨지거나 다음 모델의 재료가 된다. 어느 쪽인지는 만든 회사가 정한다. 그 회사를 특정할 수 없다는 것은 정한 사람이 없다는 뜻이 아니라, 정한 사람에게 물을 길이 없다는 뜻이다.

이 사건을 추적 실패로만 읽으면 범위가 너무 좁아진다. 판매명과 기기명과 제조사가 서로 다른 층에 흩어져 있는 구조는 사고가 아니라 설계에 가깝다. 소싱과 화이트라벨과 온라인 장터가 겹친 공급망에서는 상품 하나에 이름이 여럿 붙는 일이 흔하고, 그 이름들 사이에 연결을 적어 두는 칸은 어디에도 없다. 하류에서 보면 이름은 많은데 주소가 없는 상태가 된다.

규제가 안전 시험 쪽으로만 가면 이 칸은 계속 비어 있다. 시험은 그 시점의 응답을 확인하지만, 인형 안의 모델은 서버에서 갱신된다. 합격 도장을 받은 제품과 다음 달에 아이 방에서 말하는 제품이 같은 모델이라는 보장이 없다. 쿠마는 재시험으로 고쳐진 것이 확인됐지만, 그 확인을 언제 누가 다시 할지를 정해 둔 규칙은 아직 없다. 시험 결과가 계속 유효하려면 어떤 모델이 언제 바뀌었는지를 적어 두는 쪽이 함께 있어야 하고, 그걸 적을 주체는 결국 만든 회사다.

그래서 집 안에 있는 AI 기기를 두고 지금 걸어 볼 만한 물음은 세 가지다. 스피커든 장난감이든 웨어러블이든 같다.

• 누가 만들었는지 이름을 댈 수 있는가. 판매 페이지가 사라져도 남는 이름인가.
• 말을 알아듣는 모델이 기기 안에 있는가, 서버에 있는가. 서버라면 어느 나라에 있는가.
• 그 대화가 다음 학습에 쓰이는가. 쓰인다면 끄는 방법이 제품 안에 있는가.

세 가지 모두 사고가 난 뒤에는 알아내기 어려운 정보다. 마이 베이비 버니를 산 부모는 지금 셋 중 하나도 답할 수 없는 자리에 있다. 물건을 돌려줄 곳조차 판매 페이지 말고는 없다.

여기까지 읽어 주셔서 감사하다. BBC 조사는 BBC 뉴스에서, 이를 정리한 기사는 TheNextWeb과 TechRadar에서 볼 수 있고, 의원 서한과 별개 조사는 바이라인 타임스에 정리돼 있다. 집에 있는 AI 기기 가운데 만든 회사를 바로 댈 수 있는 것이 몇 개인지, 세어 본 결과를 들려주시면 좋겠다.

이번 사건 보도

• 1.Bryan, N. (2026). "AI teddy for sale in UK gave unprompted suicide risk advice to child's question." BBC News.
• 2."AI teddy for three-year-olds gave unprompted self-harm reply, BBC finds." (2026). TheNextWeb.
• 3.Marshall, C. (2026). "Would you buy your kids an AI teddy bear? I'm a tech-loving parent, but I don't trust these toys, and a new report backs me up." TechRadar.
• 4."UK Government, Amazon and eBay Investigate AI Chatbot Toy Bunny Marketed for Toddlers Which Gave Sexualised Responses to Questions." (2026). Byline Times.

업계 선례

• 5.U.S. PIRG Education Fund. (2025). "Trouble in Toyland 2025."
• 6."An AI plush toy exposed thousands of private chats with children." (2026). Malwarebytes Labs. 원 보도: WIRED, 2026년 1월 29일.
• 7."2017 CloudPets data breach." Wikipedia.