Executive Summary

과제를 설명한 문단 하나만 주면 학습 데이터 수만 행을 만들어 주는 API가 나왔다. 사라 후커(Sara Hooker)와 수딥 로이(Sudip Roy)가 세운 Adaption Labs의 datasets.invent 이야기다. 회사가 공식 블로그에 적은 문장은 이렇다. "시드 코퍼스도, 미리 정해 둔 스키마도, 자세한 라벨링 지침도 들고 올 필요가 없다." 합성 데이터 생성기는 2010년대부터 있었지만, 이번에 빠진 칸은 생성이 아니라 그 앞의 구조 정의다.

성능 근거는 전부 회사가 직접 잰 값이다. 9월에 내건 "자사 연구진이 설정한 구성 대비 평균 35% 개선"이 그랬고, 10월 18일 개정판이 올라온 arXiv 기술보고서도 저자 다섯 명이 모두 Adaption Labs 소속이다. 그 보고서는 바깥 모델 다섯을 같은 조건에 세웠다는 점에서 9월 발표보다 낫다. 다만 주문한 과제에 데이터가 얼마나 들어맞는지를 보는 점수에서는 Invent가 1위가 아니라 중간이라고 보고서 스스로 밝혔다.

4절까지는 Adaption Labs가 공개한 내용과 그 수치가 서 있는 조건을 따라간다. 5절에서 데이터 품질 실무 쪽으로 옮기는 대목은 이 글의 해석이다.

주요 수치

출처: arXiv:2610.01674v2, Adaption Labs 공식 블로그

네 숫자의 출처는 모두 Adaption Labs 자신이다. 바깥에서 같은 조건으로 다시 돌려 본 결과는 아직 없다.

0.0%

2만 행에서 나온 완전 중복 비율

같은 시험에서 비교 대상 모델 다섯은 6.5~18.8%였다

7.1~8.9

과제에 맞는 정도를 잰 점수 구간

여섯 생성기가 모두 이 구간에 들었고 Invent는 중간에 있다

48→64%

자사 연구진 설정 대비 승률

8개 분야, 5,000~10만 행 규모로 회사가 직접 돌린 평가다

9.4~13.2%

체크리스트로 거른 데이터의 승률 우위

무작위로 뽑은 1만 행과 견준 값. 그 체크리스트 내용은 공개돼 있지 않다

1

과제 설명 한 단락이 데이터셋이 된다

Adaption Labs는 사라 후커와 수딥 로이가 2025년 말에 세운 회사다. 둘 다 코히어(Cohere)에서 나왔고, 후커는 그 전에 구글 딥마인드에 있었다. 2026년 2월 이머전스 캐피털이 이끈 5,000만 달러 시드 투자를 받았고, 모델을 더 키우는 대신 쓰는 동안 계속 배우게 만들겠다는 쪽으로 방향을 잡았다. 5월에 내놓은 파인튜닝 자동화 제품이 AutoScientist이고, 9월에 그 앞단에 붙은 것이 Invent a Dataset이다.

쓰는 방법은 호출 한 번이다. datasets.invent에 만들고 싶은 데이터를 설명하는 글(최대 1만 자)과 행 수를 넣고, 필요하면 분야 코드와 세부 분야 코드를 함께 준다. 결과물 형태는 둘 중 하나다. 지시와 응답을 짝지은 instruction_dataset은 지도 파인튜닝용이고, 고른 답과 버린 답을 짝지은 preference_pairs는 선호 학습용이다. 번역·현지화 옵션을 켜면 같은 데이터가 다른 언어로 불어난다. 완성된 데이터는 JSON Lines, JSON, CSV, Parquet 가운데 하나로 내려받는다. 손볼 데가 없는 형태라, 받은 파일을 학습 스크립트에 그대로 물릴 수 있다.

호출은 비동기로 돈다. 처음 응답은 곧바로 running을 돌려주고, 쓰는 쪽은 datasets.get을 반복해 물어보다가 succeeded가 뜨면 내려받는다. estimate를 켜면 데이터를 만들지 않고 크레딧 견적만 받을 수 있고, 번역을 걸면 불어난 행 수를 기준으로 과금된다. 받은 데이터셋의 ID를 autoscientist.create에 그대로 넘기면 데이터 생성과 학습 설정이 한 줄로 이어진다.

생성은 Adaption Labs가 돌리는 인프라 위에서만 일어난다. 공개된 API 문서에 자체 서버에 올려 쓰는 경로는 적혀 있지 않다. 데이터를 만드는 과정도, 그 과정에서 무엇을 걸러 냈는지도 회사 쪽 경계 안에 있다는 뜻이다.

2

자동화된 자리가 한 칸 앞으로 옮겨 갔다

합성 데이터를 기계로 찍어 내는 일 자체는 새롭지 않다. 지금까지의 도구들은 사람이 먼저 표의 모양을 정하고, 어떤 과제가 몇 퍼센트씩 섞여야 하는지 적고, 무엇을 맞는 답으로 칠지 라벨링 지침에 써 둔 다음, 그 틀에 맞춰 예제를 뽑는 단계만 자동화했다. 앞의 세 가지는 사람의 판단이었고, 그 판단은 문서로 남았다.

Invent a Dataset이 가져간 것이 그 세 가지다. 회사 설명에 따르면 이 기능은 목표를 해석하고, 그 목표를 담아내는 데 필요한 데이터셋 구조를 스스로 정하고, 거기에 맞는 학습 예제를 만들어 낸다. 사람이 적어 두던 문서가 호출 매개변수 한 줄로 줄어드는 셈이다. 아래 도식은 두 흐름에서 사람의 손이 닿는 칸이 어떻게 달라지는지 나란히 놓은 것이다.

사람의 손이 닿는 칸은 어디인가 지금까지 사람이 스키마와 라벨링 지침을 쓴다 생성기가 뽑는다 데이터셋 그 지침을 잣대로 삼아 사람이 검수한다 datasets.invent 사람이 과제 설명만 적는다 (최대 1만 자) 구조를 스스로 정하고 예제까지 만든다 데이터셋 ? 사람이 적어 두던 칸이 제품 안으로 들어가면서, 마지막 칸에서 대던 잣대도 함께 사라진다
▲ 페블러스 원본 도식. Adaption Labs가 공식 블로그와 API 문서에 적은 동작 순서를 기존 합성 데이터 작업 순서와 같은 축에 올렸다. | 출처: Adaption Labs

도식 오른쪽 끝에 물음표를 둔 이유가 이 글의 출발점이다. 라벨링 지침에는 쓰임이 둘 있다. 데이터를 만들 때 따르는 틀이고, 다 만든 뒤에 그 데이터가 쓸 만한지 판정할 때 대는 잣대이기도 하다. 두 쓰임이 한 문서에 들어 있어서, 앞쪽이 없어지면 뒤쪽도 같이 없어진다.

데이터를 만드는 일과 그 데이터를 판정하는 일은 같은 문서에 기대어 왔다. 만드는 쪽을 자동화하면 판정하는 쪽은 편해지는 것이 아니라 근거를 잃는다.

3

평균 35% 개선은 누가 매긴 점수인가

9월 발표에 붙은 숫자는 둘이다. AutoScientist가 사람이 설정한 학습 구성보다 평균 35% 나았고, 승률이 48%에서 64%로 올랐다는 것이다. 회사는 이 결과를 공식 블로그에 조건 하나 달지 않고 실었다.

여기서 "사람"이 누구인지는 따로 읽어야 한다. 비교 대상은 아무 실무자가 아니라 Adaption Labs 연구진이다. 모델 종류와 분야와 데이터 규모를 알고 있는 자사 인력이 직접 잡은 설정을, 같은 회사의 자동화 제품이 이겼다는 구도다. 시험 범위는 8개 분야이고 데이터셋 크기는 5,000행에서 10만 행 사이였으며, 파인튜닝에는 투게더 AI(Together AI)가 제공하는 아키텍처를 썼다.

이런 구도에도 쓸모는 있다. 자기 연구진을 기준선으로 삼는 것은 제품 개발 단계에서 흔하고, 적어도 "아무 설정"보다는 센 상대다. 문제는 그 결과가 바깥으로 나올 때다. 어떤 분야 여덟 곳이었는지, 승패를 누가 어떤 기준으로 판정했는지, 같은 조건으로 다시 돌리면 재현되는지가 공개 자료에 없다. 구매를 검토하는 쪽이 확인할 수 있는 것은 숫자뿐이다.

9월 시점에 남은 질문은 그래서 간단했다. 이 수치를 회사 바깥에서 확인한 곳이 있는가. 두 달 뒤, 회사가 그 답을 스스로 내놓았다.

4

두 달 뒤 나온 기술보고서, 저자가 전부 자사 사람이다

10월 1일 arXiv에 올라오고 10월 18일 개정판이 붙은 문서가 있다. 제목은 "Invent a Dataset: Measuring Dataset Generation Abilities with Zero Seed Data"이고, 스스로를 논문이 아니라 기술보고서(technical report)라고 부른다. 저자는 시발리카 싱(Shivalika Singh), 안드리야 주리시치(Andrija Djurisic), 그베밀레케 오닐루데(Gbemileke Onilude), 수딥 로이, 사라 후커 다섯 명이고, 다섯 모두 Adaption Labs 사람이다. 이 보고서를 외부 벤치마크처럼 옮겨 적은 요약 기사도 돌아다니지만, 저자 이름을 보면 그렇지 않다.

9월 발표보다 나아진 점은 분명히 있다. 이번에는 바깥 모델을 상대로 세웠다. 같은 프롬프트를 앤트로픽 Claude Opus 5, 구글 Gemini-3.1-pro, 오픈AI GPT-5.6 Sol, Z-ai GLM-5.3, 딥시크 DeepSeek-V4-Pro 다섯 곳에 똑같이 주고 데이터셋을 만들게 한 뒤 비교했다. 9월 평가와는 다른 시험이고, 범위는 과제 유형 여덟 가지, 데이터셋 크기는 200 샘플에서 2만 샘플까지다. 초록에 적힌 결과는 품질에서 상대적으로 17%, 다양성에서 19% 앞섰다는 것이다.

다양성에서 앞섰다는 19%는 규모를 함께 읽어야 하는 숫자다. 보고서 본문을 보면 200 샘플에서는 여섯 생성기가 모두 비슷했다. 격차는 데이터를 불릴수록 벌어져서, 2만 샘플에서는 가장 센 상대였던 GLM-5.3의 0.196에 견줘 Invent가 0.268을 기록했다. 상대값으로 37% 차이다.

수치 가운데 가장 눈에 띄는 것은 중복이다. 2만 행을 뽑았을 때 다섯 모델 API는 완전히 같은 문항이 6.5%에서 18.8%까지 섞여 나왔는데, Invent만 0.0%였다는 것이 보고서의 집계다. 데이터를 직접 불려 본 사람이라면 이 숫자가 무슨 뜻인지 안다. 같은 프롬프트에 같은 모델을 수천 번 돌리면 결국 같은 문장이 돌아오기 시작한다.

2만 행에서 완전히 같은 문항이 차지한 비율 Invent API 0.0% Gemini-3.1-pro 6.5% Claude Opus 5 8.4% GLM-5.3 8.9% GPT-5.6 Sol 12.4% DeepSeek-V4-Pro 18.8% 여섯 값 모두 Adaption Labs가 직접 설계하고 직접 채점한 시험에서 나왔다
▲ 페블러스 원본 도식. 기술보고서가 2만 행 기준으로 공개한 여섯 생성기의 완전 중복 비율을 한 축에 올렸다. | 출처: arXiv:2610.01674v2

학습까지 돌려 본 결과도 실려 있다. Invent가 만든 데이터로 추가 학습한 모델이 Llama-3.3-70B에서는 전체 문항의 54%, Gemma-4-31B-it에서는 41%에서 1위로 꼽혔다는 것이다.

자기 약점도 같은 보고서 안에 나온다. 받은 과제에 얼마나 맞는 데이터인지를 재는 항목에서는 여섯 생성기가 모두 7.1에서 8.9 사이에 들었고, 그 구간에서 앞선 쪽은 Claude Opus 5와 GLM-5.3이며 Invent는 중간이었다. 5,000 샘플 기준으로 보고서가 적은 값을 보면 Claude Opus 5가 8.86, GLM-5.3이 8.66으로 위에 있고, Invent는 7.47로 Gemini-3.1-pro의 7.51과 사실상 같은 자리다. 그 아래로 DeepSeek-V4-Pro 7.44, GPT-5.6 Sol 7.11이 붙는다. 이 제품의 강점은 중복 없이 넓게 퍼진 데이터를 만드는 데 있고, 주문한 과제에 가장 딱 맞는 샘플을 뽑는 데 있지는 않다는 뜻이다.

못 하는 일도 함께 밝혀 두었다. 도구 호출 기록이나 여러 단계를 밟는 에이전트 궤적은 아직 만들지 못하고, 지금은 글자만 다룬다. 같은 자리에 질문도 하나 걸어 두었다. 이렇게 만든 데이터를 모델 가중치 안에 새겨 넣는 방식이 최선인지는 따져 볼 만하다고, 보고서는 스스로 적었다.

9월의 질문은 바깥에서 확인한 곳이 있느냐였다. 11월 현재 그 질문에 가장 가까운 답은 같은 회사의 같은 다섯 사람이 쓴 보고서이고, 그 보고서 안에서도 과제 적합도는 중간에 머문다.

5

페블러스가 이 제품을 주목하는 이유

Adaption Labs는 자사 데이터 플랫폼을 소개하면서, 품질 요건을 채우지 못한 학습 예제를 걸러 내는 체크리스트 방식을 쓴다고 적었다. 그 체크리스트로 거른 1만 행으로 학습한 모델이 무작위로 뽑은 1만 행으로 학습한 모델보다 상대 승률이 9.4%에서 13.2% 높았다는 수치도 함께 올렸다(Llama3.3-70B, 2026년 10월 8일).

품질 요건을 적어 둔 목록을 들고 예제를 하나씩 걸러 내는 일. 라벨링 지침으로 데이터를 검수하는 작업을 다른 말로 부르면 정확히 그것이다. 앞문으로 내보낸 문서가 뒷문으로 돌아와 있는 셈인데, 돌아온 것은 사람이 읽을 수 있는 문서가 아니라 제품 안에서 도는 절차다. 체크리스트에 무엇이 들어 있는지, 그 항목을 누가 정했는지, 버려진 예제가 왜 버려졌는지는 공개돼 있지 않다.

데이터 품질을 다루는 쪽에서 이 구조가 왜 불편한지는 분명하다. 품질은 데이터의 성질이 아니라 쓰임에 대한 판정이고, 판정에는 기준이 필요하다. 기준을 적은 문서가 사는 자리가 우리 쪽에서 공급자 쪽으로 넘어가면, 받은 데이터를 보고 할 수 있는 말이 "좋아 보인다"와 "이상해 보인다"로 줄어든다. 숫자가 나빠졌을 때 데이터 탓인지 학습 설정 탓인지 과제 정의 탓인지 가를 수 없다.

그렇다고 이런 제품을 쓰지 말자는 결론으로 가지는 않는다. 중복 0.0%는 손으로 만들기 어려운 숫자이고, 지침 문서를 만드는 데 몇 주씩 들이던 팀에게는 그 몇 주가 실제로 돌아온다. 다만 지침을 안 쓰기로 했다면, 지침이 하던 두 번째 일을 어디선가는 해야 한다. 데이터를 받는 쪽에서 미리 정해 둘 수 있는 것이 셋 있다.

  • 우리 과제에서 맞는 답과 틀린 답을 가르는 문장을 우리가 따로 갖고 있는가. 생성기에 넣은 설명문은 주문서이지 판정 기준이 아니다.
  • 받은 데이터에서 무작위로 뽑은 100행을 사람이 읽고 합격·불합격을 매길 수 있는가. 매길 수 없다면 그 데이터의 품질은 아직 아무도 재지 않은 것이다.
  • 공급자가 바뀌어도 같은 잣대로 다시 잴 수 있는가. 판정 기준이 공급자 제품 안에만 있으면 비교 자체가 성립하지 않는다.

셋 다 모델을 고르는 문제가 아니라 기준을 적어 두는 문제다. 페블러스가 데이터를 쓸 수 있는 상태로 만들면서 가장 자주 마주치는 자리도 여기다. 데이터는 쌓여 있는데 무엇을 좋은 답으로 칠지 적어 둔 문서가 없어 검수가 시작되지 못한다. 생성이 빨라질수록 이 공백은 더 빨리 드러난다.

Editor's Note

이름이 비슷한 회사가 하나 더 있어 적어 둔다. 이 글의 Adaption Labs는 사라 후커와 수딥 로이가 세운 곳이고, 2026년 6월 데이터독에 인수된 Adaptive ML은 전혀 다른 회사다. 영문 표기도 Adaptation이 아니라 Adaption이다. 검색으로 자료를 모을 때 섞이기 쉬운 자리다.

R

참고문헌

학술

공식 문서

업계·보도