Executive Summary

툴콜링 에이전트는 보통 실행 트레이스로 평가된다. 사용자의 지시, 에이전트의 응답, 그 사이에 오간 툴 호출을 담은 정적 데이터셋을 시험지 삼아 채점하는 방식이다. 그런데 실제 프로덕션 데이터는 시험지로 쓰기가 어렵다. 민감하거나 독점 정보를 담고 있고, 배포 전 종합 테스트를 감당할 만큼 양이 충분하지도 않다. 그래서 합성 데이터로 실데이터를 대체하거나 보강해 평가 벤치마크를 만드는 흐름이 굳어지고 있다.

여기서 핵심 난제가 생긴다. 이렇게 만든 합성 데이터가 실데이터와 어떤 관계에 있는지를 어떻게 숫자로 확인할 것인가. SynAE는 바로 이 질문에 답하려는 프레임워크다. 합성 데이터를 네 개의 축에서 본다. 과제 지시와 중간 응답, 툴 호출, 최종 출력, 그리고 이 시험지로 에이전트를 실제 채점했을 때의 다운스트림 성능이다.

각 축은 다시 세 개의 속성으로 잰다. 유효성은 합성된 지시-응답이 과제 목표를 그럴듯하게 달성하는지, 충실도는 그것이 실데이터의 분포와 패턴을 얼마나 충실히 재현하는지, 다양성은 얼마나 넓은 범위를 담아내는지를 본다. 유효성은 "말이 되는가", 충실도는 "현실을 닮았는가", 다양성은 "충분히 넓은가"에 각각 답하는 셈이다.

▲ 페블러스 원본 도식 (SynAE 평가 구조 재구성)

연구진은 대표적인 합성 데이터 생성 방식들을 일부러 넣어 보며 SynAE가 무엇을 잡아내는지 확인했다. 가장 또렷하게 드러난 것은 두 생성 방식이 정반대로 움직인다는 사실이다. 원 데이터의 토큰 일부를 가리고 모델이 채우게 하는 Blank Filling은 마스킹 비율을 올릴수록 충실도가 떨어지지만 다양성은 오히려 올라간다. 반대로 한 시퀀스를 복제해 부풀리는 Oversampling은 복제 비율을 올릴수록 충실도와 다양성이 함께 무너진다.

같은 "합성 데이터 생성"이라도 방식에 따라 두 속성이 같은 방향으로도, 반대 방향으로도 움직인다는 뜻이다. 만약 다양성 하나만 좋은 시험지의 기준으로 삼는다면, Oversampling의 다양성 붕괴는 잡아내도 Blank Filling의 충실도 붕괴는 그대로 통과시킨다. 한 지표는 다른 지표가 무너지는 곳을 보지 못한다.

▲ 페블러스 원본 도식 (SynAE 생성 방식별 트레이드오프 재구성)

엇갈림은 서로 다른 속성 사이에서만 나타나지 않는다. 같은 충실도 안에서도 지표끼리 다른 답을 낸다. 예시 몇 개를 주고 새 데이터를 생성하는 In-Context Generation은 예시 개수를 늘렸을 때 한 충실도 지표(KNN-정밀도)는 좋아지지만 다른 지표(KNN-재현율)는 오히려 나빠졌다. "충실도가 높다"는 한마디로 뭉뚱그릴 수 없고, 어느 지표를 봤는지에 따라 결론이 뒤집힌다.

합성 시험지가 현실에서 멀어진다는 게 구체적으로 어떤 모습인지는 SynAE가 잡아낸 사례에서 드러난다. 가령 다양성을 손쉽게 늘리려고 원 데이터의 "미술 명소 추천" 과제를 "스포츠 명소"로 바꿔치기하면, 겉보기 형식은 멀쩡해도 지시와 툴 호출과 최종 출력이 서로 어긋나 과제 자체가 성립하지 않는다. 시험지의 겉모양만 봐서는 이런 어긋남을 알 수 없고, 여러 속성을 함께 재야 비로소 잡힌다.

Executive Summary에서 본 NeMo 사례가 이 모든 이야기를 압축해 보여 준다. 같은 도구로 만든 두 시험지의 유효성은 0.98과 0.99로 사실상 같지만, 충실도는 0.71과 0.94로 벌어진다. 유효성만 재고 넘어갔다면, GPT-4o-mini로 만든 시험지가 실제 프로덕션 패턴에 훨씬 가깝다는 사실을 놓쳤을 것이다.

SynAE의 네 번째 축인 다운스트림 성능에서 흥미로운 역설이 나온다. Blank Filling으로 마스킹을 올려 툴 호출 관련 지표를 무너뜨려도, 정작 이 시험지로 여러 모델을 채점해 매긴 순위는 잘 흔들리지 않았다. 툴 사용 패턴이 왜곡돼도 고성능 모델은 저성능 모델보다 여전히 잘하기 때문에, 모델 사이의 상대 순위는 유지된 것이다.

이 결과는 두 질문이 사실은 다른 질문이라는 점을 드러낸다. "이 시험지로 모델의 순위를 매길 수 있는가"와 "이 시험지가 실제 현실을 충실히 닮았는가"는 별개이고, 답도 따로 나온다. 순위를 매기는 데는 흠 없는 시험지가, 현실 재현이라는 기준에서는 낙제일 수 있다. 반대의 경우도 성립한다.

▲ 페블러스 원본 도식 (SynAE 순위-충실도 역설 재구성)

이 블로그는 얼마 전 데이터 분석 에이전트를 정제·조인·이상탐지 같은 스킬 단위로 채점하는 벤치마크를 다뤘다. 총점 하나로는 에이전트의 강약이 지워지니 채점 기준을 잘게 쪼개자는 이야기였다. SynAE는 그보다 한 층 안쪽을 겨눈다. 채점 기준을 아무리 세밀하게 쪼개도, 그 기준이 딛고 선 시험지 데이터가 허술하면 세밀함은 착시가 된다. 스킬 라벨이 붙은 태스크 데이터 자체가 현실을 얼마나 충실히, 얼마나 넓게 담고 있는가라는 질문이 그 아래에 남는다.

비슷한 시기에 다룬 코딩 에이전트의 과학 재현 능력 이야기와는 결이 다르다. 그 글은 에이전트가 왜 문제를 못 푸는가라는 능력의 문제를 물었다. 이 글은 그 문제를 낸 시험지 자체가 진짜 현실을 닮았는가라는 평가 도구의 문제를 묻는다. 앞의 질문은 모델을 향하고, 뒤의 질문은 데이터를 향한다.

데이터 품질 진단은 원래 다차원의 문제로 다뤄져 왔다. 정확성, 완전성, 일관성 같은 여러 잣대를 함께 봐야 한다는 것은 데이터 품질 연구가 오래 강조해 온 원칙이다. SynAE가 새로 한 일은 그 다차원성을 에이전트 평가용 합성 시험지라는 구체적이고 시급한 사례에 적용한 것이다. 유효성·충실도·다양성이라는 세 잣대를 네 축에 걸쳐 함께 봐야 한다는 요구는, 데이터 품질을 한 숫자로 압축하지 말라는 오래된 원칙의 최신판이다.

그래서 합성 벤치마크를 도입 검토에 들이려는 조직이 먼저 물어야 할 질문이 바뀐다. 이 벤치마크에서 우리 모델이 몇 점인가가 아니라, 이 벤치마크의 시험지가 유효한지, 우리 현실을 충실히 재현하는지, 충분히 다양한지를 먼저 물어야 한다. 모델 점수를 신뢰하는 일은 시험지를 진단하는 일에서 시작된다.

• 1.Wang, S., Maddi, A., Lin, Z., Fanti, G. (2026). "SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations." arXiv:2605.22564. — 카네기멜런대·마이크로소프트 리서치, 합성 데이터를 네 축×세 속성으로 측정하는 프레임워크.