Executive Summary

지난 몇 해 동안 AI의 관심은 모델에 쏠려 있었다. 더 큰 모델, 더 긴 문맥, 더 정교한 아키텍처가 경쟁의 축이었다. 그런데 그 경쟁이 성숙하자 성능을 가르는 변수는 조용히 자리를 옮겼다. 같은 모델을 쓰더라도 결과를 바꾸는 것은 이제 대개 데이터다. 병목이 모델에서 데이터로 넘어온 것이다.

이 전환에 이름을 붙인 사람이 앤드류 응(Andrew Ng)이다. 그는 데이터 중심 AI(Data-Centric AI)를 "AI 시스템을 만드는 데 쓰이는 데이터를 체계적으로 엔지니어링하는 규율"로 정의했다. 모델을 이리저리 바꾸는 대신 모델을 고정하고 데이터를 반복해서 개선하자는 제안이다. 여기에는 이미 임상의 논리가 들어 있다. 상태를 확인하고, 손을 대고, 다시 상태를 확인한다. 진단하고, 처방하고, 재진단하는 순환이다.

그래서 데이터를 '고치는' 일을 이야기할 때 사람들은 자연스럽게 의료의 어휘를 빌려 쓴다. 데이터가 아프다고 말하고, 데이터를 진단한다고 말한다. 문제는 이 은유가 얼마나 진지하게, 어디까지 실행되고 있느냐다. 이 리포트가 던지는 질문은 두 가지다. 데이터를 의료로 보는 시각은 지금 업계와 학계에 어떻게 흩어져 있는가. 그리고 그 지형 위에서 페블러스는 정확히 어디에 서 있는가.

데이터 품질 분야는 태생부터 위생과 의료의 어휘를 써 왔다. '더러운 데이터(dirty data)'를 '청소(cleaning)'하고 '문질러 닦는다(scrubbing)'는 말은 1990년대 데이터 웨어하우스 시절부터 관용어였다. CRM과 보안 데이터베이스에서는 한 걸음 더 나아가 데이터를 살아 있는 유기체처럼 다루기 시작했다. '데이터 위생(hygiene)', '데이터 헬스(health)', '데이터 부패(decay)' 같은 표현이 그렇다.

다만 이 어휘의 대부분은 체계가 아니라 관용어다. 데이터 품질의 표준 사전 격인 DAMA-DMBOK조차 '데이터 정제'를 의료가 아니라 정확성·완전성·일관성 같은 차원에 근거한 조작적 정의로 다룬다. 은유는 이름에 붙어 있을 뿐, 방법론까지 의료로 세워진 것은 아니다. 아래 표는 데이터에 스며든 의료·위생 어휘를 성격별로 정리한 것이다.

이 가운데 '검역(quarantine)'과 '트리아지(triage)'는 은유를 넘어 실제 엔지니어링 패턴으로 정착했다. 이상 레코드를 별도 테이블로 격리하는 파이프라인 설계는 이미 표준 관용이고, 스트리밍 데이터 복구에서 '분류하고, 고치고, 다시 흘린다'는 절차도 널리 쓰인다. 정리하면, 의료와 역학의 어휘는 이미 데이터 실무에 이식돼 있다. 그러나 흩어진 관용어이거나 개별 패턴일 뿐, 하나의 통합된 임상 방법론으로 묶인 선례는 아직 없다.

의료 은유를 가장 산업화한 쪽은 데이터 관찰성(Data Observability) 업계다. 이 분야를 연 몬테카를로(Monte Carlo)는 서버가 멈추는 것을 빗대 '데이터 다운타임(data downtime)'이라는 말을 만들었고, 데이터 상태를 '데이터 헬스의 다섯 기둥'으로 정리하며 '탐지하고, 해결하고, 예방한다'는 문구를 내걸었다. 이후 여러 벤더가 '데이터 헬스'를 제품 언어로 채택했다.

그런데 조사한 아홉 개 벤더 가운데 일곱 곳은 진단과 모니터링에서 멈춘다. 이들이 말하는 '해결(resolve)'이나 '조치(remediation)'는 거의 예외 없이 인시던트나 파이프라인, 잡(job)을 고치는 것이지 데이터 값 자체를 치료하는 것이 아니다. 은유의 실제 계보를 따라가 보면 의료보다 소프트웨어 옵저버빌리티(DevOps)에 가깝다. '다운타임'과 '업타임'은 서버의 언어이고, 그중 '헬스'만 준(準)의료적으로 차용됐을 뿐이다. 아래 표에 벤더별 은유와 실제 범위를 나란히 놓았다.

출처: 관찰성 벤더 아홉 곳(Monte Carlo·Great Expectations·Bigeye·Anomalo·Soda·Databand·Datafold·Metaplane·Acceldata) 공식 문서 전수 검토. 표는 대표 여섯 곳.

예외가 두 곳 있다. 소다(Soda)는 "데이터에 문제가 있다, 이제 스스로 고친다"며 치료를 전면에 내세웠고, 데이터밴드(Databand)는 자동 조치를 붙였다. 다만 소다의 일부 문구는 아직 예고 단계이고, 데이터밴드의 조치 대상은 데이터 값이 아니라 잡과 파이프라인이다. 두 곳의 움직임은 공백이 좁혀지는 신호이되, 여전히 입구까지만 와 있다. 검진과 응급 분류까지는 산업화됐지만, 치료해서 되돌리고 다시 진단하는 '수술실과 재활'은 비어 있다는 뜻이다.

지형에서 페블러스의 접근과 철학적으로 가장 가까운 곳이 데이터 중심 AI(Data-Centric AI, DCAI)다. 응의 정의대로, 모델을 고정하고 데이터를 체계적으로 반복 개선하자는 규율이다. 여기에는 상태를 보고 손을 대고 다시 보는 순환의 사고가 이미 들어 있다. 진단에서 개선으로, 다시 재평가로 돌아오는 고리다.

이 흐름은 2021년의 강연에서 출발해 그해 NeurIPS의 데이터 중심 AI 워크숍으로, 이어 데이터셋을 겨루는 벤치마크인 데이터퍼프(DataPerf)로 제도화됐다. 데이터퍼프의 문제의식은 한 문장으로 압축된다. "아키텍처만 반복할 게 아니라 데이터셋을 반복하자(iterate on datasets, instead of just architectures)." 자하(Zha) 등의 2023년 서베이는 이 흐름을 학습·추론 데이터의 개발과 유지보수를 아우르는 '순환적(cyclical), 모델을 고리에 넣은(model-in-the-loop)' 파이프라인으로 정리했다.

그런데 원문을 확인하면 한 가지가 분명해진다. Data-Centric AI는 데이터 개선을 '체계적 엔지니어링'과 '데이터셋 반복'으로 표현할 뿐, 진단·치료·임상·환자 같은 의료 어휘를 쓰지 않는다. 의료는 응용 도메인의 예시로만 등장한다. 루프의 구조는 페블러스와 사실상 같은 모양이지만, 은유의 레이어는 비어 있는 셈이다.

학계에도 데이터를 진단하는 기법은 풍부하다. 다만 여기서도 의료 은유는 대개 제목에만 얹혀 있고, 본문은 중립적인 공학과 통계의 언어를 쓴다. 대표적인 네 갈래를 보자.

데이터셋 카토그래피(Dataset Cartography, Swayamdipta 외 2020)는 논문 제목부터 "데이터셋을 지도화하고 진단한다(Mapping and Diagnosing)"고 말한다. 학습 동역학을 근거로 쉬운·모호한·어려운 영역을 갈라 데이터셋의 지형을 그린다. 컨피던트 러닝(Confident Learning, Northcutt 외 2021)과 그 구현인 클린랩(Cleanlab)은 라벨 오류를 통계적으로 찾아내 산업 표준으로 자리 잡았다. 트리아지(TRIAGE, Seedat 외 2023)는 응급의학의 분류를 이름으로 빌렸지만, 본문은 회귀 학습 데이터의 특성화·감사에 집중한다. IBM의 데이터 품질 툴킷(Gupta 외 2021)은 '탐지하고, 설명하고, 고친다(detect·explain·remediate)'는 절차로 닫힌 루프에 가장 가까이 다가섰다.

세 가지가 눈에 띈다. 첫째, '진단·증상·치료·건강'을 동사로 일관되게 쓰는 논문은 사실상 없다. 임상 은유의 브랜드 자리가 학계에도 비어 있다. 둘째, 진단에서 치료로, 다시 재진단으로 닫히는 임상 루프를 완성한 논문 역시 없다. IBM 툴킷이 가장 가깝지만 명시적인 '재진단' 단계는 두지 않았다. 셋째, 라벨 오류 탐지처럼 성숙해 산업 표준이 된 조각도 이미 있다. 요컨대 진단의 재료는 충분한데, 그것을 하나의 임상 절차로 꿰맨 자리가 비어 있다.

진단이 끝나면 처방이 있어야 임상이 완성된다. 데이터의 치료는 크게 두 방향으로 나뉜다. 넘치는 것을 덜어내는 다이어트와, 모자란 것을 채우는 벌크업이다. 각 방향은 이미 성숙한 독립 연구 계열로 뒷받침된다.

6.1다이어트 — 덜어내는 치료

데이터를 무작정 많이 넣는 것이 최선이 아니라는 증거는 뚜렷하다. 소르셔(Sorscher) 등의 2022년 연구는 좋은 기준으로 데이터를 솎아내면 성능이 멱법칙을 넘어 지수적으로 개선될 수 있음을 보였다. 리(Lee) 등의 2021년 연구는 학습 데이터의 중복만 제거해도 언어 모델이 더 나아지고 암기 문제가 크게 줄어든다는 것을 확인했다. 겹치고 흔한 데이터를 전략적으로 덜어내면 학습 시간과 비용이 내려가고, 남은 데이터의 밀도가 오히려 품질을 끌어올린다.

6.2벌크업 — 채우는 치료

반대편에는 합성이 있다. 리우(Liu) 등의 2024년 서베이는 합성 데이터가 희소성·프라이버시·비용 문제를 풀어 주는 유효한 도구임을 정리하면서, 동시에 사실성과 충실도(fidelity)를 반드시 검증해야 한다는 조건을 달았다. 채우기만 하고 검증하지 않으면 합성은 데이터를 오히려 병들게 한다. 그래서 벌크업에는 재진단이 필연적으로 따라붙는다. 채운 뒤 다시 촬영해 보지 않으면, 무엇을 채웠는지 알 수 없다.

이 두 처방을 하나의 상위 개념틀로 묶어 준 것이 앞서 본 자하(Zha) 등의 2023년 서베이다. 데이터 개발을 순환적이고 모델을 고리에 넣은 파이프라인으로 정리한 이 틀은, 진단과 치료와 유지보수를 한 흐름으로 보게 해 준다. 2024년 이후에는 실패 사례를 채굴해 다시 학습하는 '데이터 엔진'이나 '데이터 플라이휠' 같은 자율 루프도 등장했다. 다만 이들은 대개 라벨을 다시 붙이거나 정제하는 좁은 고리에 머물러, 진단·다이어트·벌크업·재진단을 한 파이프라인에 담은 완전한 순환과는 거리가 있다.

지금까지 그린 지형에는 재료가 흩어져 있었다. 관찰성의 '헬스', 검역과 트리아지, 정제와 합성, Data-Centric AI의 반복 논리, 그리고 반 덴 브룩의 진단→치료 절차다. 페블러스가 한 일은 이 조각들을 하나의 닫힌 임상 루프로 잇고, 그것을 계측 가능하게 만든 것이다.

7.1데이터클리닉 — 계측하는 진단 플랫폼

데이터클리닉(DataClinic)은 페블러스의 AI 데이터 품질 관리 플랫폼으로, 데이터의 품질 문제를 진단하고 개선하고 인증하는 전 과정을 자동화한다. 핵심은 품질을 '느낌'이 아니라 '수치'로 바꾸는 데 있다. 데이터 이미징(Data Imaging) 기술이 원본 데이터를 고차원 임베딩으로 옮겨, 품질의 특성을 밀도·거리·분포라는 기하학적 신호로 치환한다. 페블러스가 이 과정을 초음파나 MRI에 비유하는 이유가 여기 있다. 몸속을 들여다보듯 데이터셋 안을 촬영해 병변에 해당하는 결함을 찾아낸다.

이 계측에는 기준이 필요하다. 페블러스는 데이터 품질의 국제 표준인 ISO/IEC 5259가 정의하는 '무엇을(What)'을 실제로 측정 가능한 '어떻게(How)'로 옮긴다. 표준을 법전(法典)에 비유한다면, 데이터클리닉은 그 법전을 실제로 집행하는 계측기(計測器)에 해당한다. 이 계측 기술은 2025년 조달청 혁신제품으로 지정됐고, 미국 특허(US 12,481,720 B2)로도 보호된다.

7.2두 갈래 처방과 재진단 순환

진단 결과는 곧바로 처방으로 이어진다. 유사성과 중복이 지나친 고밀도 영역에는 데이터 다이어트를 처방한다. 불필요한 데이터를 전략적으로 덜어내 학습 시간과 저장 비용을 낮춘다. 대표성과 다양성이 부족한 저밀도 '갭' 영역에는 데이터 벌크업을 처방한다. 부족한 엣지 케이스 영역을 식별해 합성 데이터를 표적 생성해 채운다. 그리고 처방이 끝나면 다시 촬영한다. '데이터클리닉으로 진단하고, PebbloSim으로 정밀 생성하고, 다시 데이터클리닉으로 재진단하는' 순환이 페블러스가 데이터 플라이휠(Data Flywheel)이라 부르는 구조다.

주: 페블러스 정본에는 '진단→다이어트→벌크업→재진단'이 한 줄로 명명된 단일 정의가 아니라, 진단 결과에 따른 두 갈래 처방과 별도의 재진단 순환으로 서술돼 있다. 이 도식은 그 둘을 하나의 루프로 합쳐 표현한 것이다.

7.3데이터 그린하우스 — 클리닉에서 자율 운영으로

데이터클리닉이 진단 도구라면, 데이터 그린하우스(Data Greenhouse)는 그 도구를 자율 운영체제로 확장한 다음 걸음이다. 여기서 은유가 의료에서 농업으로 옮겨 간다. 데이터를 한 번 잡아 오는 사냥감이 아니라 조건을 갖추면 스스로 자라고 가꿀수록 비옥해지는 작물로 대하겠다는 선언이다. 사냥은 자연에서 빼앗지만, 경작은 자연과 함께 기른다.

데이터 그린하우스는 데이터의 관측·판단·행동·증명을 자율적으로 수행하는 데이터 운영 체계를 지향한다. 일회성 진단에 그치지 않고 진단과 개선의 사이클을 지속한다. 이를 가능하게 하는 실행 엔진이 PebbloSim으로, 디지털 트윈 가상환경에서 물리 시뮬레이션과 생성 AI를 결합해 물리적 환각이 없는 고품질 합성 데이터를 만든다. 그리고 ISO 5259 진단부터 EU AI Act, ISO 42001까지 이어지는 규제 대응 과정을 '운영 증거(Operational Evidence)'로 기록한다. 아래 표는 두 개념의 관계를 정리한 것이다.

이쯤에서 한 가지를 분명히 해 두는 것이 정직하다. 페블러스가 데이터 의학을 발명한 것은 아니다. 앞에서 보았듯 진단→치료의 임상 절차는 20년 전 반 덴 브룩의 논문에 이미 있었고, 다이어트와 벌크업의 각 기법도, 반복 개선의 철학도 저마다 확립된 문헌 위에 서 있다. '우리가 처음'이라는 문장은 이 지형에서 성립하지 않는다.

그래서 페블러스의 자리는 '발명'이 아니라 '통합'으로 말하는 편이 정확하다. 흩어져 있던 조각을 세 가지로 처음 묶은 것이다. 첫째, 진단에서 처방(다이어트·벌크업)으로, 다시 재진단으로 닫히는 임상 루프. 둘째, 그 루프를 사람 손이 아니라 Agentic AI가 자율로 운영하는 방향(데이터클리닉에서 데이터 그린하우스로). 셋째, 그 전 과정을 ISO/IEC 5259라는 표준으로 계측하는 규율이다. 각 조각은 선행 문헌 위에 있고, 이 셋을 하나로 합친 통합과 자율화, 표준 계측이 새로운 재조합이다. 정직한 선행 인정이 오히려 이 독자성을 방어 가능하게 만든다.

모델은 대체로 다 나왔다. 남은 병목은 데이터이고, 데이터를 다루는 방식은 이제 청소를 넘어 임상에 가까워지고 있다. 진단하고, 처방하고, 다시 진단하는 순환을 하나로 잇고 자율로 돌리는 자리 — 지형의 여러 조각이 가리키면서도 아직 아무도 온전히 채우지 못한 그 자리가, 페블러스가 서고자 하는 곳이다.

학술 논문

• 1.Van den Broeck, J., Argeseanu Cunningham, S., Eeckels, R., & Herbst, K. (2005). Data Cleaning: Detecting, Diagnosing, and Editing Data Abnormalities. PLoS Medicine, 2(10):e267.
• 2.Zha, D., et al. (2023). Data-centric Artificial Intelligence: A Survey. arXiv: 2303.10158.
• 3.Mazumder, M., et al. (2022). DataPerf: Benchmarks for Data-Centric AI Development. arXiv: 2207.10062.
• 4.Swayamdipta, S., et al. (2020). Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics. EMNLP. arXiv: 2009.10795.
• 5.Northcutt, C., Jiang, L., & Chuang, I. (2021). Confident Learning: Estimating Uncertainty in Dataset Labels. JAIR. arXiv: 1911.00068.
• 6.Seedat, N., et al. (2023). TRIAGE: Characterizing and Auditing Training Data for Improved Regression. NeurIPS. arXiv: 2310.18970.
• 7.Gupta, N., et al. (2021). Data Quality Toolkit: Automatic Assessment of Data Quality and Remediation for Machine Learning Datasets. arXiv: 2108.05935.
• 8.Sorscher, B., et al. (2022). Beyond Neural Scaling Laws: Beating Power Law Scaling via Data Pruning. NeurIPS. arXiv: 2206.14486.
• 9.Lee, K., et al. (2021). Deduplicating Training Data Makes Language Models Better. arXiv: 2107.06499.
• 10.Liu, R., et al. (2024). Best Practices and Lessons Learned on Synthetic Data for Language Models. arXiv: 2404.07503.
• 11.Floridi, L., & Cowls, J. (2019). A Unified Framework of Five Principles for AI in Society. Harvard Data Science Review.

업계 문서·표준

• 12.Ng, A. (2021). A Chat with Andrew on MLOps: From Model-centric to Data-centric AI. DeepLearning.AI. (데이터 중심 AI 정의)
• 13.DAMA International. DAMA-DMBOK: Data Management Body of Knowledge. (데이터 정제의 차원 기반 정의)
• 14.Moses, B., et al. Monte Carlo. What Is Data Downtime? The 5 Pillars of Data Health. montecarlodata.com.
• 15.관찰성 벤더 공식 문서 (전수 검토): Great Expectations, Bigeye, Anomalo, Soda, Databand(IBM), Datafold, Metaplane, Acceldata.
• 16.ISO/IEC 5259 (2024–). Artificial intelligence — Data quality for analytics and machine learning (ML).
• 17.페블러스 데이터클리닉 · 데이터 그린하우스 자사 문서. blog.pebblous.ai. (특허 US 12,481,720 B2, 2025 조달청 혁신제품)

주: 2024년 이후의 자율 데이터 루프(데이터 엔진·플라이휠) 관련 최신 연구는 본문에서 특정 논문을 단정하지 않고 흐름으로만 서술했다. Andrew Ng 강연의 직접 인용 문구는 슬라이드덱·영상 재대조가 필요한 파라프레이즈다.