Executive Summary

주요 수치

앞의 셋은 다섯 달 동안 실제 웹사이트에서 나온 성적이고, 마지막 하나는 그 성적을 만든 재료의 크기다.

출처: Benjamin Tannenbaum, "Selling in the Wild", arXiv:2610.25461 (2026년 10월 18일 제출)

Javo는 웹사이트에 붙는 채팅 창에서 방문자 질문에 답하고, 필요한 정보를 받아 적고, 주문이나 예약까지 끌고 가는 영업 에이전트다. 만든 곳은 이스라엘 회사 AISO Boost이고 제품 주소는 getjavo.com이다. 바탕이 되는 모델은 크기로 승부한 것이 아니라 상업 대화 460만 건으로 미세조정됐다. 이번 논문이 측정한 것은 그렇게 만든 에이전트가 실제로 물건을 파는 화면에서 얼마나 파는가다.

평가는 네 부분으로 나뉜다. 먼저 공개 벤치마크 두 종에서 프런티어 모델과 공개 가중치 모델 열 개를 상대로 점수를 매겼다. 핵심은 그다음이다. 현장 시험은 2026년 5월 1일부터 9월 30일까지 돌았고, 전자상거래와 여행·숙박과 고관여 서비스를 포함한 14개 업종의 라이브 웹사이트 100곳이 참여했다. 이 사이트들을 찾아온 방문자 1,480만 명이 무작위로 배정됐다. 채팅 에이전트를 아예 두지 않은 쪽, Javo를 띄운 쪽, 그리고 같은 인터페이스와 같은 상품 조회 도구와 같은 안전장치를 쓰되 모델만 프런티어 모델로 바꾼 쪽이다. 모델만 다르고 나머지를 같게 묶었기 때문에 두 에이전트 사이의 차이는 모델이 만든 차이로 읽힌다.

결과는 두 방향으로 보고됐다. 에이전트를 두지 않은 쪽과 비교하면 방문자당 매출이 10.0% 높았고 95% 신뢰구간은 +5.1에서 +14.9 사이다. 같은 인터페이스의 프런티어 모델 에이전트와 비교하면 참여 방문자 전환율이 21.6% 높았고 신뢰구간은 +16.9에서 +26.3이다. 참여 방문자는 채팅 창에 메시지를 한 번이라도 보낸 사람을 가리키고, 전환율의 분모는 전체 방문자가 아니라 그 사람들이다. 프런티어 모델 쪽 비교 대상은 2026년 4월 24일 기준으로 고정됐다. 사전에 정한 규칙에 따라 그날 API로 쓸 수 있던 모델 가운데 영업 벤치마크 점수가 가장 높았던 GPT-5.2가 뽑혔다.

사람 상담원과의 비교는 따로 떼어 냈다. 상주 채팅 상담원을 두고 있던 20개 사이트에서 방문자를 네 갈래로 나눠, 10%는 에이전트 없이 두고 나머지를 사람 채팅과 Javo와 프런티어 에이전트에 30%씩 배정했다. 참여 방문자 전환율은 Javo 11.26%, 사람 상담원 11.20%였다. 대화 한 건을 처리하는 비용은 Javo 쪽이 사람의 1.8%였다. 반품률과 근거 없는 제품 주장 발생률과 불만 접수율은 사전에 정해 둔 안전 기준을 넘지 않았다고 보고됐다.

그 안전 쪽 숫자는 표에 그대로 실려 있다. 주문당 반품률은 Javo 쪽 4.0%로 에이전트가 없던 쪽 4.1%와 같은 자리였고, 취소율은 11.9% 대 12.2%, 방문자 1,000명당 불만 접수는 0.18건 대 0.20건이었다. 감사한 대화 가운데 근거 없는 상품 주장이 섞인 비율은 Javo가 0.15%, 같은 인터페이스를 쓴 프런티어 모델이 0.56%였다. 사이트 정책에 없는 할인이나 조건을 먼저 꺼낸 건수는 Javo가 0건, 프런티어 모델이 3건이다. 비용의 원래 숫자도 그 표에 있다. 참여 대화 한 건당 Javo 0.06달러, 프런티어 모델 0.14달러, 사람 상담원 3.40달러다. 앞에 적은 1.8%는 0.06과 3.40의 비율이다.

이 성적을 만든 것은 파라미터 숫자가 아니다. 논문이 내세우는 차이는 재료다. 범용 모델이 인터넷 문서를 읽고 영업을 추론하는 동안, Javo는 실제로 팔아 본 대화를 읽고 다음 한 마디를 배웠다. 그 대화 460만 건은 누군가가 어느 웹사이트에서 상품을 묻고 가격을 견주고 결제를 망설이던 기록이다. 숫자를 평가하기 전에 이 재료가 어디서 왔는지를 먼저 보는 것이 순서에 맞다.

460만 건을 어떻게 썼는지는 표로 적혀 있다. 바탕이 된 모델은 공개 가중치 모델 Qwen3-32B다. 여기에 460만 건에서 뽑은 예시 165만 개를 두 번 돌려 지도 미세조정을 하고, 구매나 예약이나 리드로 이어진 판매자의 한 마디를 그러지 못한 한 마디보다 높게 치는 선호쌍 19만 개를 얹었다. 마지막으로 사이트 정책에 없는 할인을 꺼내지 않고 상품 목록에 없는 주장을 하지 않으며 요청을 받으면 AI임을 밝히고 사람에게 넘기도록 가르치는 제약 데이터 3만 4천 개를 섞었다. 학습에 들어간 자원은 H100 32장에 2,240시간이고, 현장 시험에 올린 판은 2026년 4월 24일에 동결한 javo-v1이다.

재료가 성적을 만들었다는 주장은 논문 안에서 한 번 시험된다. 저자는 같은 벤치마크에 손대지 않은 바탕 모델과 중간 단계 판을 함께 올렸다. 구매자 역할을 맡은 모델과 여러 차례 말을 주고받게 하면서 판매 대화를 10점 만점으로 채점하는 SalesLLM에서, 바탕 모델 그대로는 5.73점이었다. 지도 미세조정까지만 한 판은 6.51점, 선호 학습까지 마친 완성판은 7.01점이다. 이 표에서 가장 좋은 프런티어 모델은 6.21점이었다. 논문은 이 대비를 핵심 통제라고 부른다. 프런티어 모델을 앞선 몫은 바탕 모델의 힘일 수도 있지만 자기 바탕 모델을 앞선 몫은 학습에서만 나올 수 있기 때문이다. 5.73에서 7.01로 간 1.28점이 대화를 읽혀서 더한 몫이다. 스마트폰 구매 상황을 다루는 SmartSalesBench에서도 순서는 같았다. 바탕 모델 0.57, 지도 미세조정판 0.70, 완성판 0.79, 가장 좋은 프런티어 모델 0.69다.

같은 표에는 손해를 보여 주는 줄도 있다. 제약 데이터를 빼고 학습한 판은 판매 점수가 7.13점으로 완성판보다 오히려 높았다. 대신 같은 표에 함께 실린 τ-bench retail, 그러니까 소매 응대에서 정해진 규정을 지키며 도구를 쓰는 과제에서는 73.0점이 58.0점으로 떨어졌다. 규칙을 가르치면 파는 점수를 조금 내주고 지키는 점수를 크게 얻는다는 뜻으로 읽히는데, 논문은 이 대비를 따로 해설하지 않는다.

논문이 출처로 적은 문장은 한 줄이다. Aiso가 관리 체계 아래 모아 둔 상업 대화 컬렉션에서 가져왔고, 수집 기간은 2024년 2월부터 2026년 3월까지다. 어느 회사의 어떤 웹사이트를 찾아온 방문자들의 대화인지는 적혀 있지 않다. Aiso가 AISO Boost 내부의 수집 체계인지 별도의 공급 주체인지도 공개된 자료만으로는 특정되지 않는다.

더미의 모양은 그래도 표로 공개돼 있다. 460만 건 안에서 오간 말은 5,840만 턴이고 대화 하나의 중앙값은 10턴이다. 언어는 영어가 68%, 프랑스어가 16%, 스페인어가 8%이고 나머지 모든 언어를 합한 것이 8%다. 업종은 소매 46%, 여행 28%, 서비스 26%로 갈린다. 그리고 그 대화가 구매로 이어졌는지 아닌지를 아는 대화, 그러니까 결과 라벨이 붙은 대화는 전체의 17.4%뿐이다. 업종의 구성비까지는 알 수 있지만 그 구성비 뒤에 어느 사이트가 있었는지는 여전히 알 수 없다.

비식별 절차는 논문에 구체적으로 나와 있다. 개인정보를 자동으로 지우고, 식별자는 해시로 바꾸고, 사람이 다시 검수했다. 2,500건을 뽑아 감사한 결과 개인정보가 남아 있던 비율은 0.16%였다. 숫자로 확인할 수 있는 대목이다.

동의는 성격이 다르다. 학습에 쓴 대화에 대해 논문이 적은 것은 "이용자 동의를 받아 수집하고 사용 전에 비식별 처리한 대화로 한정했다"는 문장이다. 어떤 화면에서 어떤 문구로 그 동의를 받았는지는 나오지 않는다. 현장 시험 쪽은 조금 더 자세하다. 사이트 운영자들은 데이터 처리 계약 아래 무작위 배정과 데이터 공유에 서면으로 동의했고, 방문자는 각 사이트의 개인정보 고지와 동의 배너가 덮었으며, Study 4에 참여한 상담원들도 비식별 대화 기록의 사용에 동의했다고 적혀 있다. 동의가 세 층으로 쌓여 있는 구조인데, 가장 아래층인 방문자만 자기 대화가 어느 회사의 영업 모델을 키우는 재료가 된다는 사실을 배너 한 줄로 지나쳤을 가능성이 남는다.

같은 저자가 이 논문보다 열흘 앞서 낸 동반 백서는 코퍼스 감사를 다룬다. Aiso가 제공한 대화 표 72만 5,219건을 집계했고, 그 가운데 상업적 대화로 분류된 것이 4만 1,800건(5.76%), 거래가 일어난 것으로 분류된 것이 2,387건(0.33%)이었다. 그런데 이 백서는 스스로 범위를 좁혀 둔다. 메타데이터 감사이자 기술 설계일 뿐 라벨 정확도나 모델 학습량이나 판매 전환을 검증한 것이 아니며, 원문 대화와 개인식별정보는 공개하지 않는다고 적는다. 감사된 표가 72만여 건이고 학습에 썼다는 대화가 460만 건이니, 공개된 감사는 학습 재료 자체를 덮지 못한다.

11.26%와 11.20%는 소수점 둘째 자리까지 적혀 있어 Javo가 앞선 것처럼 읽힌다. 논문의 판정은 그쪽이 아니다. 이 비교는 비열등 시험으로 설계됐다. 새로 들어온 쪽이 기존의 것보다 미리 정한 선 이상으로 나쁘지 않다는 것만 보이는 설계이고, 여기서 그 선은 상대 차이 −7%였다. 단측 검정 p값은 0.004로 그 선을 넘지 않는다는 결론이 나왔지만, 우월성은 통계적으로 유의하지 않았다고 논문이 직접 적는다. 0.06%포인트는 같다고 읽는 것이 맞다.

비교 조건에는 한쪽으로 기운 대목이 하나 더 있다. Javo 쪽 위젯은 상대가 AI라는 사실을 방문자에게 알리고 시작하는데, 사람 상담원 쪽 창은 평소처럼 상담원 이름을 띄운다. 방문자가 기계인 줄 알고 나눈 대화와 사람인 줄 알고 나눈 대화를 같은 자리에 놓고 전환율을 비교한 셈이다. 저자도 이 점을 한계 항목에 적어 두었다. 사람 창과 AI 창이 응답자만 다른 것은 아니었다는 뜻이다.

사람 표본의 성격도 함께 밝혀져 있다. 비교 대상은 각 사이트가 원래 쓰던 직원이지 영업을 잘하기로 뽑아 온 사람들이 아니다. 보통의 사람이지 가장 잘하는 사람은 아니라는 단서를 논문이 먼저 달아 두었다. 같은 조건에서 비용이 사람의 1.8%라는 숫자는 그대로 크다. 다만 이 비교가 말해 주는 것은 AI가 사람보다 잘 판다는 사실이 아니라, 상주 상담원이 붙어 있던 자리에서 비용 구조가 다른 선택지가 생겼다는 사실이다.

잘하는 사람과 붙여 본 기록이 아예 없지는 않다. 오프라인 벤치마크에는 사람 판매원의 점수도 함께 매겨져 있다. 10점 만점으로 판매 대화를 채점했을 때 경력 1~3년 판매원은 6.13점, 5년 이상은 6.88점이었고 Javo는 7.01점이었다. 이 점수는 사람 구매자가 아니라 구매자 역할을 맡은 모델을 상대로 나왔다. 저자도 그 점을 짚고, 숙련된 판매원을 현장에서 상대한 증거는 아직 열려 있는 문제라고 밝힌다.

재지 못한 자리도 한계 절에 적혀 있다. 다섯 달이라는 기간은 구매와 반품과 취소까지는 담지만 고객의 생애가치나 재구매나 브랜드에 남는 효과는 담지 못한다. 짧게 끊어 본 성적과 길게 본 성적은 다를 수 있다는 뜻이다. 객실이나 차량처럼 재고가 한정된 숙박·렌털 사이트에서는 한 갈래의 예약이 다른 갈래가 쓸 수 있는 물량을 줄인다. 갈래끼리 서로 영향을 주지 않는다는 무작위 배정의 전제가 그 사이트들에서는 완전하지 않고, 저자는 매진 민감도 분석으로 범위를 좁혔을 뿐 없애지는 못했다고 적는다.

이 논문에는 저자가 한 명이다. 벤자민 타넨바움이고, 그는 Javo를 운영하는 AISO Boost의 창업자 겸 대표다. 논문에 적힌 이해상충 고지는 이렇다. "벤자민 타넨바움은 Javo를 운영하는 AISO Boost Ltd.의 창업자 겸 대표다. 저자는 회사와 이해관계가 있다. 독립적인 통계 검수나 연구 사전 등록, 외부 윤리 승인은 주장하지 않는다." 제품을 만든 사람이 평가를 설계하고, 집행하고, 분석하고, 보고하는 사슬이 한 사람 안에서 닫힌다.

표본이 모인 경로도 같은 선 위에 있다. 한계 절은 100개 사이트가 연구에 동의했고 상당수가 저자의 고객·에이전시 네트워크를 통해 들어왔으며 따라서 웹 전체의 무작위 표본이 아니라고 적는다. 무작위 배정은 각 사이트 안에서 방문자를 가른 것이고, 사이트 자체는 무작위로 뽑힌 것이 아니다. 그 사이트들이 이미 이 회사의 도구를 쓰고 있었다면 결과는 그 환경의 성적이다.

닫힌 쪽만 있는 것은 아니다. 21개 사이트가 이름을 밝히는 데 동의했고 그 목록은 부록에 파일로 공개됐다. 신뢰구간과 사전 지정 마진이 본문에 적혀 있고, 안전 지표를 미리 정해 두고 결과를 보고했으며, 현장 시험에서 모은 대화를 연구 기간 중 어떤 모델의 학습에도 쓰지 않았다는 사실까지 명시했다. 프런티어 모델 쪽 기준이 2026년 4월 24일의 한 판에 묶여 있다는 점도 스스로 짚었다. 나중 모델로 그 비교를 다시 돌려 볼 수 있도록 평가 장치를 공개했다는 말도 함께 붙였다. 숨기려는 논문의 모양새는 아니다.

그래서 질문은 숫자가 참인가 거짓인가가 아니다. 이 숫자들이 어디까지 검증된 상태로 세상에 나왔는가다. 같은 결과를 제3자가 다시 재어 본 적이 없고, 가설과 분석 계획을 미리 등록해 둔 기록도 없다. 제약 임상에서 비열등 판정에 사전 등록과 외부 검수를 요구하는 이유가 여기에 있다. 결과를 보고 나서 선을 긋는 일이 쉽기 때문이다. 이 논문은 그 요구를 충족하지 않았다고 스스로 밝힌 상태로 공개됐고, 읽는 쪽은 그 조건을 붙여서 읽어야 한다.

이 논문에서 오래 눈이 머문 곳은 전환율이 아니라 460만이라는 숫자의 성격이다. 같은 인터페이스에 같은 도구를 달고 모델만 바꿨는데 참여 전환이 21.6% 갈렸다면, 그 차이를 만든 것은 설계가 아니라 모델이 읽은 재료다. 실제로 팔아 본 대화가 자산이 된다는 명제가 현장 수치로 한 번 받쳐진 셈이다. 그리고 그 자산은 어느 회사의 서버에 이미 쌓여 있다.

고객 응대 기록을 가진 조직이라면 질문이 바로 자기 쪽으로 돌아온다. 우리 상담 기록도 같은 재료인가. 그 기록으로 모델을 키울 권리가 어디까지 우리에게 있나. 챗봇이나 상담 도구를 외부 서비스로 쓰고 있다면 계약서의 데이터 조항이 그 답을 이미 정해 두었을 가능성이 높다. 확인할 대목은 세 가지다. 고객에게 받은 동의의 범위가 서비스 제공까지인지 모델 학습까지인지, 비식별 처리의 수준과 잔여 개인정보 감사 결과를 우리가 받아 볼 수 있는지, 그리고 계약이 끝난 뒤에도 그 대화가 상대의 재학습에 남는지다.

마지막 항목은 이 논문도 열어 둔 채로 끝난다. 현장 시험 중에 모은 대화를 연구 기간에는 학습에 쓰지 않았다는 문장은 있지만, 연구가 끝난 뒤의 처리는 어디에도 나오지 않는다. 데이터를 내어 주는 쪽에서 보면 기간을 끊어 둔 약속과 영구적인 약속은 전혀 다른 문서다.

한국어로 일하는 쪽에는 조건이 하나 더 붙는다. 학습에 쓴 대화의 68%가 영어이고 프랑스어와 스페인어를 뺀 나머지 모든 언어를 합한 몫이 8%다. 저자는 코퍼스에서 적게 대표된 언어로는 결과가 그대로 옮겨가지 않을 수 있다고 적으면서, 파는 일에서는 언어와 언어 사이의 일관성이 약하다는 점을 이유로 든다. 한국어 사이트에서 같은 성적이 나오는지는 이 논문이 답한 질문이 아니다. 뒤집어 보면 한국어로 팔아 본 대화를 쌓아 둔 쪽에는 그 공백이 그대로 자기 자리라는 뜻이기도 하다.

페블러스가 데이터를 AI가 바로 쓸 수 있는 상태로 만드는 일을 하면서 늘 함께 보는 것이 출처와 권리다. 라벨이 정리되고 형식이 맞춰진 데이터라도 어디서 어떤 동의 아래 모였는지를 알 수 없으면 학습에 올리는 순간 위험이 된다. 반대로 출처와 동의 범위가 기록으로 남아 있는 대화 로그는 모델을 바꾸지 않고도 성능을 바꾸는 재료가 된다. Javo의 성적표가 증명한 것은 모델의 크기가 아니라 재료의 성격이다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치와 인용은 arXiv에 공개된 논문 본문과 동반 백서에서 직접 확인했고, 논문 밖에서 확인되지 않는 대목은 확인되지 않는다고 적었다. 고객 응대 기록을 모델 학습에 쓰는 문제를 어떤 기준으로 정리하고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 21일

• 1.Tannenbaum, B. (2026). "Selling in the Wild: Benchmark and Randomized Field Evidence for a Sales Agent Trained on Commercial Conversations." arXiv:2610.25461.
• 2.Tannenbaum, B. (2026). "Commercial Intent in Human–AI Conversations: A Corpus Audit and Architecture for Website Sales Agents." arXiv:2610.06205.