Executive Summary

리더보드의 성공률은 편리한 숫자다. 태스크 100개 중 몇 개를 끝냈는지 하나로 압축하니, 모델을 나란히 세우고 고르기에 좋다. 문제는 그 숫자가 "완주했다"와 "제대로 했다"를 구분하지 못한다는 데 있다. 데이터 파이프라인에서 앞 단계의 오차는 조용히 뒤로 전파되고, 최종 산출물은 그럴듯한 표와 차트로 포장된다. 성공 판정이 결과물의 형식만 본다면, 중간에 뒤틀린 조인이나 놓친 결측치는 점수에 잡히지 않는다.

조직 입장에서 이 구분은 사소하지 않다. 에이전트가 매출 데이터를 정제하고 부서별로 집계해 보고서를 냈다고 하자. 총점 벤치마크는 "보고서가 나왔다"까지만 확인한다. 그 보고서가 중복 레코드를 두 번 세었는지, 통화 단위를 섞었는지, 이상 거래를 정상으로 흘려보냈는지는 별개의 문제다. 성공률이 높은 에이전트라도 특정 손끝에서 반복적으로 미끄러질 수 있고, 그 미끄러짐은 총점 뒤에 가려진다.

그래서 필요한 질문은 이것이다. 우리가 성공률이라고 부르는 숫자는 정확히 무엇을 보증하고, 무엇을 놓치는가.

▲ 페블러스 원본 도식 (AgenticDataBench 문제의식 재해석)

AgenticDataBench는 채점의 해상도를 높이는 쪽으로 답한다. 태스크를 끝냈는지 여부(pass/fail)만 보는 대신, 데이터 사이언스 작업을 이루는 반복적인 조작 패턴을 "스킬"이라는 단위로 정의하고 각각에 정답 라벨을 붙였다. 정제, 조인, 이상탐지, 시각화, 스키마 탐색, 비즈니스 맥락 추론 같은 항목이 개별 채점 대상이 된다. 에이전트가 스키마는 잘 읽는데 조인에서 무너지는지, 정제는 되는데 시각화 선택이 약한지가 스킬별로 드러난다.

스킬 목록은 임의로 정한 것이 아니다. 스택오버플로에 쌓인 고품질 데이터 사이언스 해법 6,510개를 계층적 클러스터링으로 묶어 433개 대표 스킬을 추출했다. 실제 개발자들이 데이터를 다룰 때 반복해 온 동작을 데이터로부터 역으로 뽑아낸 셈이다. 그다음 이 스킬들을 조합해 344개 태스크를 구성했는데, 조합의 다양성을 최대화하도록 설계해 태스크 하나가 평균 23.5개 스킬을 건드린다.

범위도 실무에 가깝다. 캐글·UCI·정부·학술 데이터에 더해, 한 대형 핀테크 기업의 실제 B2B 활용 사례를 포함한 15개 산업 도메인에서 97개 실제 데이터셋을 모았다. 태스크 하나가 다루는 데이터가 평균 500MB에 육박하고 정답 해법의 코드도 100줄을 넘으니, 손에 쥐여 주는 장난감 예제가 아니라 현장 규모의 작업이다. 벤치마크와 테스트베드는 Apache-2.0으로 공개되어, 리더보드의 총점이 아니라 스킬별 강약 지도를 직접 확인할 수 있다.

▲ 페블러스 원본 도식 (AgenticDataBench 구축 절차 재해석)

총점 하나로는 판단이 어렵다는 정황은 인접 벤치마크들에 이미 쌓여 있다. 데이터 사이언스 코드 생성을 평가하는 DA-Code(arXiv 2410.07331)에서는 최상위 모델도 총점 30.5점에 그쳤고, 같은 태스크라도 에이전트 프레임워크에 따라 완료율이 38.7%에서 99.5%까지 벌어졌다. 총점만 보면 어떤 프레임워크를 골라야 할지조차 판단하기 어렵다는 뜻이다.

데이터 질의 응답을 다룬 다른 평가(arXiv 2603.20576)도 비슷하다. 5개 LLM 기반 에이전트 중 최고 성능이 pass@1 기준 38%에 머물렀다. 상용 데이터 에이전트가 동일 모델의 기본 접근보다 7%포인트 나은 성적을 냈지만, 두 접근 모두 비정형 텍스트에서 값을 추출해야 하는 질의는 전부 실패했다. 총점이 조금 오른다고 취약한 스킬 하나가 사라지는 게 아니라는 실사례다.

▲ 페블러스 원본 도식 (DA-Code, arXiv 2410.07331 수치 재구성)

여기서 스킬 단위 채점의 값어치가 분명해진다. "이 에이전트는 82점"이라는 문장은 도입 결정을 돕지 못한다. "정제와 조인은 안정적이지만 비정형 추출과 이상탐지에서 반복적으로 무너진다"는 문장은 어디에 사람이 붙어야 하는지를 알려 준다.

문제는 한 겹 더 있다. 총점을 재는 벤치마크 자체가 흔들린다는 감사 결과들이다. 데이터 에이전트 평가에 널리 쓰이는 데이터셋의 주석 오류율을 점검한 연구는 BIRD Mini-Dev에서 52.8%, Spider 2.0-Snow에서 62.8%의 오류율을 보고했다. 정답 라벨의 절반 이상이 의심스럽다면, 그 위에서 매긴 총점은 어디까지 믿을 수 있는가.

같은 흐름의 감사에서는 10개 에이전틱 벤치마크 가운데 7개가 모델의 상대 성능을 최대 100%까지 잘못 추정한다는 결과도 나왔다. 리더보드 순위가 뒤집힐 수 있다는 얘기다. 총점이라는 단일 숫자에 의존해 온 평가 생태계 전체가 재검토 대상이 된 상황이다.

▲ 페블러스 원본 도식 (벤치마크 주석 오류율 감사 결과 재구성)

AgenticDataBench가 스킬별로 세밀한 정답 라벨을 붙인 설계는 이 위기에 대한 구조적 응답으로 읽힌다. 채점 단위를 잘게 쪼개면 어느 라벨이 틀렸는지 국소적으로 검증하고 고치기 쉬워지고, 하나의 오류가 총점 전체를 오염시키는 일도 줄어든다. 해상도를 높이는 일은 단지 진단을 위한 것만이 아니라, 벤치마크 자체의 신뢰를 회복하는 방편이기도 하다.

스킬 단위 채점이 겨누는 지점은 결국 하나다. 데이터 품질은 모델의 크기가 아니라 데이터를 실제로 다루는 손끝에서 결정된다. 정제에서 어긋난 한 줄, 조인에서 잘못 맞춘 키, 놓친 이상값 하나가 최종 결과의 신뢰를 무너뜨린다. 성공률은 그 손끝을 통째로 가리지만, 스킬 단위 라벨은 무너지는 지점을 좌표로 찍어 준다.

그래서 에이전트에게 데이터를 맡기기 전에 조직이 물어야 할 질문이 바뀐다. 이 에이전트의 총점이 몇 점인가가 아니라, 우리 데이터에서 반복될 작업이 정제인지 조인인지 이상탐지인지, 그리고 이 에이전트가 바로 그 스킬에서 어느 정도인지를 물어야 한다. 검증의 대상이 결과에서 능력으로 옮겨 갈 때, 도입 결정은 리더보드 순위가 아니라 스킬 지도 위에서 이루어진다.

AgenticDataBench는 그 지도를 그리는 첫 자 가운데 하나다. 남은 질문은 도구가 아니라 우리에게 있다. 에이전트를 신뢰할 때, 우리는 결과를 보고 있는가, 능력을 보고 있는가.

핵심 논문

• 1.Sun, Z. et al. (2026). "AgenticDataBench: A Comprehensive Benchmark for Data Agents." arXiv:2607.01647.
• 2.Huang, Y. et al. (2024). "DA-Code: Agent Data Science Code Generation Benchmark for Large Language Models." EMNLP 2024.
• 3.Ma, R. et al. (2026). "Can AI Agents Answer Your Data Questions? A Benchmark for Data Agents." arXiv:2603.20576.

벤치마크 신뢰성 감사

• 4.Jin, T., Choi, Y., Zhu, Y., Kang, D. (2026). "Pervasive Annotation Errors Break Text-to-SQL Benchmarks and Leaderboards." arXiv:2601.08778.
• 5.Zhu, Y. et al. (2025). "Establishing Best Practices for Building Rigorous Agentic Benchmarks." arXiv:2507.02825.