Executive Summary

주요 수치

출처: ZDNet 코리아·AI타임스·이데일리(2026년 10월 26일)와 셀렉트스타가 공개한 실험 저장소 selectstar-ai/EVAL.Davi. z값과 JevBench 개수 환산은 공개된 수치에서 페블러스가 계산했다.

셀렉트스타는 2018년에 세워진 AI 신뢰성 평가 회사다. AI 학습 데이터를 모으고 라벨을 붙이는 일에서 출발해, 지금은 만들어진 모델이 믿을 만한지 검증하는 쪽으로 사업을 넓혔다. 10월 26일 공개한 다비는 그 궤적 위에 있다. 매체마다 소개하는 말이 조금씩 달라 판단 특화 AI, 디시전 AI, 의사결정 AI로 섞여 불리지만 하는 일은 하나다. 답을 쓰는 대신 판단을 한다.

회사가 꼽은 쓰임새는 셋이다. 첫째는 질문의 난도를 먼저 재어 어느 모델에 보낼지 정하는 일이다. 쉬운 질문에 가장 비싼 모델을 쓰는 낭비를 줄이자는 발상이고, 업계에서는 모델 라우팅이라 부른다. 둘째는 다른 AI가 내놓은 답이 적절한지 채점하는 일, 셋째는 AI 에이전트가 맡은 작업을 끝낼 수 있을지 미리 예측하는 일이다. 셀렉트스타는 첫째 쓰임새를 구현한 플러그인을 깃허브에 아파치 라이선스 2.0으로 공개했고, 11월 중에는 자체 평가 플랫폼인 다투모 이밸(Datumo Eval)에 다비를 넣겠다고 밝혔다.

공개된 저장소 selectstar-ai/EVAL.Davi에 들어 있는 것은 플러그인 코드만이 아니다. 실험을 재현하는 측정 하네스와 전체 결과표, 그리고 회사가 직접 적어 둔 한계가 함께 올라와 있다. 보도가 전한 두 줄은 그 표에서 두 줄만 뽑아 온 것이고, 이 글이 뒤에서 세는 숫자는 대부분 뽑히지 않은 줄에서 나온다.

이번 발표에서 수치로 제시된 것은 첫째 쓰임새다. 실험 설계는 단순하다. 회사가 자체로 만든 한국어 고난도 질의응답 묶음 K-HLE 174문항을 준비하고, 각 문항을 다섯 번씩 반복해 870건의 시행을 만들었다. 한쪽은 다비가 문항마다 앤트로픽의 하이쿠·소넷·오퍼스 중 하나를 골라 보냈고, 다른 쪽은 셋 중 가장 크고 비싼 오퍼스만 썼다. 같은 문항, 같은 횟수, 다른 배분이다. 다비는 답을 보지 않는다. 질문만 읽어 난도를 다섯 단계 확률로 매기고, 그 기댓값이 0.48 미만이면 하이쿠로, 0.78 이상이면 오퍼스로, 사이에 들면 소넷으로 보낸다.

결과는 두 줄로 발표됐다. 다비가 모델을 고른 쪽은 870건 중 619건을 맞혀 71.1%였고, 오퍼스만 쓴 쪽은 612건을 맞혀 70.3%였다. 그리고 다비를 쓴 실행 비용이 오퍼스 단독 대비 약 28% 적었다. 대부분의 보도는 이 두 줄을 나란히 붙여 성과로 전했다. 정확도는 올라갔고 비용은 내려갔다는 요약이다.

그런데 저장소의 결과표는 두 줄이 아니라 여섯 줄이다. 모든 문항을 한 모델에만 보낸 기준선 셋과, 같은 3단 라우팅을 판정자만 바꿔 가며 돌린 셋이 함께 올라 있다. 여섯 줄 모두 같은 870건에서 나왔다.

출처: selectstar-ai/EVAL.Davi README. 비용은 청구액이 아니라 정가 기준 추정이고, 판정자를 부르는 비용은 어느 줄에도 들어 있지 않다.

보도가 옮긴 것은 다섯째 줄과 여섯째 줄이다. 나란히 놓고 보면 읽을 거리가 하나 더 생긴다. 같은 3단 라우팅을 제브에게 맡긴 줄은 69.4%를 9.66달러에 냈다. 다비보다 정답은 15건 적고 값은 1.12달러 싸다. 오퍼스 단독 대비로 치면 28%가 아니라 35.6% 절감이다. 어느 쪽을 고를지는 두 숫자를 다 놓고 정해야 하는데, 보도에 실린 선택지는 하나뿐이었다.

보도가 고른 두 숫자로 돌아오자. 둘은 같은 870건에서 나왔어도 만들어지는 방식이 다르다. 비용 28%는 870번의 호출에 실제로 매겨진 값을 전부 더한 다음 두 합계를 나눈 비율이다. 하이쿠로 간 문항은 싸게, 오퍼스로 간 문항은 비싸게 계산돼 모든 시행이 빠짐없이 총액에 기여한다. 한두 문항이 다르게 배분됐다고 해서 총액 비율이 크게 흔들리지 않는다.

정확도 71.1%와 70.3%는 그렇지 않다. 각 시행은 맞음 아니면 틀림의 둘 중 하나로만 기록되고, 두 성적의 간격은 맞은 개수의 차이로만 생긴다. 0.8%포인트라는 표현은 그 개수 차이를 백분율로 옮긴 결과다. 되돌리면 619건과 612건, 곧 7건이다.

7건이 얼마나 흔들리기 쉬운 크기인지는 손으로 확인할 수 있다. 다비가 맞히고 오퍼스가 틀린 문항 네 개가 반대로 떨어졌다고 해 보자. 619건은 615건이 되고 612건은 616건이 된다. 순위가 바뀐다. 870번을 다시 돌렸을 때 네 번쯤 다르게 나오는 일은 어렵게 상상할 사건이 아니다.

통계의 잣대로도 같은 답이 나온다. 두 비율의 차이를 표준적인 비율차 검정에 넣으면 z값은 0.37이다. 두 방식의 실력이 같다고 할 때 이 정도 간격이 나올 확률이 0.71이라는 뜻이고, 유의수준 5%가 요구하는 문턱 1.96에는 근처에도 가지 못한다. 같은 조건에서 0.8%포인트를 안정적으로 가려내려면 한쪽당 5만 건 규모의 시행이 필요하다. 870건은 그 60분의 1 수준이다.

이 계산은 오히려 다비에게 유리한 쪽으로 기울어 있다는 점을 덧붙여야 한다. 비율차 검정은 870건이 서로 독립인 시행이라고 가정한다. 그런데 이 870건은 174문항을 다섯 번씩 반복해 만든 것이라 같은 문항에서 나온 다섯 건은 서로 닮아 있을 수밖에 없다. 묶음 구조를 반영하면 실질적인 표본은 870보다 작아지고, z값은 0.37보다 더 내려간다. 제대로 재려면 문항별로 두 방식의 정오가 어떻게 엇갈렸는지를 짝지어 보는 검정이 필요하다. 저장소에는 그 계산을 돌릴 코드가 들어 있지만 K-HLE 자체는 회사 안에만 있어서, 바깥에서 같은 표를 다시 만들 수는 없다.

오해를 막으려면 한 줄은 분명히 해야 한다. 유의하지 않다는 말은 다비가 오퍼스보다 못하다는 뜻도, 두 방식에 차이가 없다는 뜻도 아니다. 이 실험 하나만으로는 차이가 있다고 말할 근거가 모자란다는 뜻이다. 차이는 실제로 있을 수 있고, 더 큰 실험에서 더 분명해질 수도 있다.

셀렉트스타 자신도 조건을 숨기지 않았다. ZDNet 보도에는 이 결과가 회사 자체 평가라는 점, 한국어 고난도 질의응답이라는 단일 영역에서 나왔다는 점, 그리고 비용 절감 수치에 다비를 부르는 비용이 포함되지 않았다는 점이 함께 적혀 있다. 마지막 조건은 비용 숫자에도 별표를 하나 붙인다. 28%는 세 모델에 치른 값만 센 결과이고, 판단을 맡은 다비의 몫은 아직 더해지지 않았다.

저장소의 한계 항목은 보도보다 한 걸음 더 간다. 세 가지가 적혀 있다. 첫째, 하이쿠와 소넷과 오퍼스를 가르는 경계값 0.48과 0.78은 바로 이 870건에 맞춰 고른 값이라 표의 숫자가 낙관적이라는 것이다. 둘째, 비용은 청구액이 아니라 정가 기준 추정이고 판정자 호출은 빠져 있으며, 빠진 이유는 다비의 가격이 아직 정해지지 않았기 때문이라는 것이다. 셋째, 잰 것이 한 언어, 한 가지 과제 유형뿐이고 코딩이나 긴 에이전트 작업은 재지 않았다는 것이다.

첫째 조건을 덜어 내려고 회사는 한 번 더 쟀다. 문항 절반으로 경계값을 고르고, 비용을 오퍼스 단독의 80% 안으로 묶은 채 나머지 절반에서 성적을 매긴 표가 따로 있다. 거기서 다비는 69.9%, 제브는 66.9%, 클로드 하이쿠 5.5는 63.4%다. 회사가 더 공정한 비교라고 부른 표다. 그런데 이 표에는 오퍼스 단독 줄이 없다. 판정자끼리만 겨룬 표이기 때문이다. 보도가 옮긴 0.8%포인트에는 더 공정한 비교의 짝이 아예 없다.

회차별로 쪼갠 기록도 같은 자리를 가리킨다. 문서는 다비가 오퍼스와 같거나 앞선 회차가 다섯 번 중 세 번이라고 적는다. 나머지 두 번은 뒤졌다는 뜻이다. 비용은 다섯 번 모두 오퍼스의 70에서 75% 사이였다. 다섯 번을 합치면 7건 앞서지만 회차를 하나씩 보면 승패가 갈리고, 이 글이 앞에서 손으로 세어 본 흔들림이 실제로 기록에 남아 있다.

같은 발표에는 라우팅 실험 말고 다른 성적표가 하나 더 들어 있다. 셀렉트스타는 타입세이프AI의 판단 모델 제브(Jev)와 다비를 1:1로 붙였다고 밝혔다. 이데일리는 아예 제목을 "글로벌 모델 '제브' 제쳤다"로 달았다. 페블러스도 9월에 제브를 한 차례 다룬 적이 있다. 문장을 만들지 않고 객관식 답과 확률만 돌려주는 분류 전용 모델이 값을 수백 분의 일로 낮췄다는 주장을 그 분모가 무엇인지 갈라 본 글이다.

비교는 JevBench와 라야 벤치(Laya Bench), 한국어 피드백 평가(Ko-Feedback Bench)를 포함한 5개 영역에서 이뤄졌다고 발표됐다. 보도에 수치가 실린 것은 그중 셋이다. 판단 능력을 재는 JevBench 231문항에서 다비 89.2%, 제브 86.6%로 2.6%포인트 앞섰고, 고난도 문제에서는 77.5% 대 73.0%로 4.5%포인트, 한국어 피드백 평가에서는 72.5% 대 66.8%로 5.7%포인트 앞섰다.

한 가지를 먼저 바로잡아야 한다. 이름 때문에 JevBench를 제브를 만든 회사의 벤치마크로 읽기 쉬운데 그렇지 않다. JevBench는 벤치마크 헤븐(Benchmark Heaven)이라는 곳이 따로 운영하는 공개 벤치마크이고, 그 문서에는 타입세이프AI와 무관하게 유지된다고 못 박혀 있다. 제브는 거기 올라간 여러 판단 모델 가운데 하나일 뿐이다. 상대의 운동장이라는 구도는 성립하지 않는다.

간격만 보면 2.6에서 5.7%포인트로, 라우팅 실험의 0.8%포인트보다 서너 배에서 일곱 배 넓다. 그래서 이 간격이 더 단단한 근거처럼 읽히기 쉽다. 그런데 앞 절에서 쓴 잣대를 그대로 대면 그림이 달라진다. 백분율을 문항 수로 되돌려야 하는데, 그러려면 분모가 필요하다.

분모가 보도에 적힌 것은 JevBench 하나뿐이다. 231문항에 89.2%와 86.6%를 각각 적용하면 206문항과 200문항으로 딱 떨어진다. 2.6%포인트라는 간격의 정체는 6문항이다. 870건에서 나온 7건보다 오히려 하나 적다. 다만 개수가 적다고 근거까지 얇아지는 것은 아니다. 분모가 4분의 1이라 같은 6문항이 870건의 7건보다 무겁게 실리고, 그래서 z값은 0.37에서 0.86으로 올라간다. 올라가도 1.96에는 닿지 못한다. 231문항에서 2.6%포인트를 가려내려면 한쪽당 2,500문항 가까이가 필요하다.

고난도 문제는 벤치마크를 만든 곳의 문서를 펴면 분모가 따라 나온다. JevBench의 공개 문항 231개는 원본 72개, 쉬운 48개, 어려운 111개로 나뉜다. 어려운 묶음 111문항에 77.5%와 73.0%를 적용하면 86문항과 81문항으로 소수점까지 거의 정확히 떨어진다. 다른 분모를 넣으면 이렇게 맞지 않는다. 발표의 고난도 문제가 이 111문항이라고 보면, 가장 설득력 있어 보이던 4.5%포인트의 정체는 5문항이고 z값은 0.78이다. 6문항짜리 간격보다도 얇다. 남은 한 영역인 한국어 피드백 평가는 문항 수를 어디서도 찾지 못해 여기서 멈춘다. 가장 넓은 5.7%포인트가 더 두꺼운 근거일 가능성은 그대로 열려 있다.

231이라는 수에도 조건이 하나 붙는다. JevBench의 전체 문항은 534개이고 그중 303개는 공개하지 않는다. 일부는 벤치마크 전체를 학습해 버리는 일을 막으려고 감췄고, 일부는 다른 데서 가져온 문항이라 글을 재배포할 권리가 없어서다. 231은 누구나 내려받을 수 있는 공개분이다. 벤치마크 문서는 판이 올라갈 때마다 문항과 채점 방식이 함께 바뀌므로 서로 다른 판의 점수를 같은 실험처럼 비교하지 말라고 적어 두었다. 어느 판의 231문항인지는 발표에도 보도에도 나오지 않는다.

같은 발표 안에, 지금까지 잰 어떤 간격보다 두꺼운 줄이 하나 더 있다. 라우터는 같은 과제를 늘 같은 모델로 보내야 쓸모가 있다. 다섯 번 반복하는 동안 보내는 곳이 바뀐 문항을 세었더니 다비는 174개 중 2개, 제브는 14개, 클로드 하이쿠 5.5는 40개였다. 2와 14의 간격을 앞에서 쓴 잣대에 올리면 z값은 3.07이고, 개수가 작으니 피셔 정확검정으로 다시 재도 p값은 0.003이다. 이번 발표에서 1.96을 넘는 숫자는 이것 하나다. 정확도에서 앞섰다는 주장이 아니라 판단이 흔들리지 않았다는 주장이 가장 두꺼운 근거를 가졌고, 그 줄을 옮긴 보도는 없었다.

이 글이 짚은 것은 셀렉트스타의 잘못이 아니다. 회사는 문항 수와 반복 횟수를 밝혔고, 자체 평가라는 점과 비용 계산에서 빠진 항목까지 적었다. 경계값을 같은 데이터에 맞춰 골랐으니 숫자가 낙관적이라는 말, 다섯 번 중 세 번만 오퍼스를 따라잡았다는 말도 자기 손으로 적었다. 그만큼 적어 둔 발표는 많지 않다. 231과 870이라는 분모가 있었고 결과표가 통째로 열려 있었기 때문에 바깥에서 간격을 개수로 되돌리는 일이 가능했다. 문제는 발표가 아니라, 여섯 줄짜리 표에서 두 줄만 떼어 내고 분모를 지운 채 백분율만 옮겨 전하는 읽기에 있다.

데이터 품질을 다루는 사람에게 이 사례가 남의 일이 아닌 이유가 거기 있다. 평가 수치를 만들어 보고하는 자리는 사내에도 널려 있다. 모델을 바꿨더니 정확도가 1%포인트 올랐다는 보고, 라벨 지침을 고쳤더니 일치율이 좋아졌다는 보고, A안이 B안보다 낫다는 결론이 그렇다. 그 보고서를 받아 들었을 때 물어야 할 질문은 네 가지다.

• • 백분율 옆에 분모가 적혀 있는가. 몇 건 중 몇 건인지가 없으면 간격의 크기를 가늠할 길이 없다. 비율만 적힌 표는 정확해 보이지만 검증할 수 없는 표다
• • 그 간격을 개수로 되돌리면 몇 개인가. 이번 사례에서 0.8%포인트는 7건이었고, 훨씬 넓어 보이던 4.5%포인트는 5문항이었다. 암산 한 번이면 끝나는 환산인데 하는 사람이 드물다
• • 표본이 반복 측정으로 불어난 것은 아닌가. 174문항을 다섯 번 돌린 870건은 870개의 독립된 증거가 아니다. 평가셋을 반복 호출해 n을 키우면 숫자는 안정돼 보이지만 실제 근거는 그만큼 늘지 않는다
• • 비교에 쓴 평가셋은 누가 만들었고 어느 판인가. 이름만 보고 상대 회사 것이라 짚기 쉽지만 JevBench는 그렇지 않았다. 벤치마크는 판이 올라가면 문항과 채점 방식이 함께 바뀌고, 만든 곳도 판을 섞어 비교하지 말라고 당부한다. 이름과 판과 문항 수를 같이 적어 두어야 나중에 성적이 달라졌을 때 돌아갈 자리가 생긴다

질문 하나를 덧붙일 수도 있다. 지금 재고 있는 것이 정말 이 기술의 강점인가. 다비의 경우 정확도 간격은 흔들렸지만 판정이 흔들리지 않았다는 기록은 단단했다. 라우터에 요구되는 성질을 생각하면 뒤쪽이 더 중요한 성적인데, 발표도 보도도 앞쪽을 내걸었다. 재는 축을 바꾸면 근거의 두께도 같이 바뀐다.

AI-Ready Data를 이야기할 때 대개 학습 데이터를 떠올리지만, 평가 데이터도 같은 요구를 받는다. 모델을 고르고 배포를 승인하는 결정이 평가 수치 위에서 내려지기 때문이다. 평가셋이 몇 문항인지, 어떻게 뽑혔는지, 몇 번 반복됐는지가 기록돼 있지 않으면 그 위에서 내린 결정은 검증할 수 없는 결정이 된다. 다비가 겨냥하는 시장 자체가 이 문제를 상품으로 만든 자리라는 점도 눈여겨볼 만하다. 판단을 기계에 맡기려면 그 판단을 채점할 누군가가 먼저 있어야 한다.

여기까지 읽어 주셔서 감사하다. 이 글의 사실관계는 10월 26일자 보도 세 건과 셀렉트스타가 공개한 실험 저장소에서 확인했고, JevBench의 문항 구성은 벤치마크를 운영하는 쪽 문서에서 확인했다. 개수 환산과 검정값은 공개된 백분율과 문항 수에서 직접 계산했다. 셀렉트스타가 K-HLE와 문항별 정오 기록을 열거나 한국어 피드백 평가의 문항 수를 밝히면 짝지은 검정으로 다시 재 볼 생각이다. 사내에서 평가 수치를 보고하실 때 분모와 반복 횟수를 어떻게 적어 두고 계신지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 27일

보도

• 1.ZDNet Korea. (2026). "셀렉트스타, 판단 특화 AI '다비(DAVI)' 공개." 2026년 10월 26일.
• 2.AI타임스. (2026). "셀렉트스타, 판단 특화 AI '다비' 공개... 제브와 5개 영역 비교." 2026년 10월 26일.
• 3.이데일리. (2026). "셀렉트스타 다비, 글로벌 모델 '제브' 제쳤다." 2026년 10월 26일.

1차 자료

• 4.SelectStar. (2026). "EVAL.Davi — DAVI 모델 라우팅 실험 저장소." GitHub, Apache-2.0. 6행 전체 결과표, 경계값 과적합 자기 고지, 분할 검증표, 회차별 일관성 수치의 출처.
• 5.Benchmark Heaven. "JevBench." GitHub. 타입세이프AI와 무관하게 운영되는 공개 벤치마크 — 공개 문항 231개(원본 72·쉬움 48·어려움 111) 구성의 출처.