Executive Summary

데이터 정제 연구는 오랫동안 정답을 곁에 두고 진행됐다. 깨끗한 원본을 준비하고, 거기에 오류를 넣고, 시스템이 원본으로 되돌리는지 채점한다. 실무는 그 조건에 있지 않다. 센서가 보낸 방사선 측정값이 평소의 열 배로 튀었을 때, 그것이 장비 고장인지 실제 사건인지 알려 주는 파일은 어디에도 없다. 임상 기록의 극단적인 수치가 입력 실수인지 드문 임상 결과인지도 마찬가지다. 값이 이상하다는 사실과 그 값이 틀렸다는 판정 사이에는 아무도 대신 건너 주지 않는 간격이 있다.

레바논 과학예술대학교의 하디 파들랄라(Hadi Fadlallah)가 2026년 8월 14일 arXiv에 올린 실험 연구는 그 간격을 실험 조건으로 삼았다. 논문은 이 조건에서 정제를 값을 바꾸는 일이 아니라 근거에 기반한 결정을 내리는 일로 다시 정의한다. 시스템이 내놓아야 하는 산출물은 고쳐진 데이터가 아니라 결정과 그 결정을 뒷받침하는 기록이다. 이 재정의가 뒤에 나오는 모든 지표의 설계를 결정한다.

읽기 전에 알아야 할 한계

결론부터 옮기기 전에 이 실험이 무엇이 아닌지를 먼저 밝혀 두는 편이 정직하다. 이 글의 수치는 전부 아래 조건 안에서 나온 값이고, 조건을 떼고 옮기면 대부분 틀린 말이 된다.

• 동료 심사 전 단독 저자 preprint다. 2026년 8월 14일 v1, CC BY 4.0. 코드와 산출물은 현재 익명 링크로만 공개돼 있다.
• 언어모델은 한 종뿐이다. 전 구성이 OpenRouter를 경유한 openai/gpt-oss-20b, 200억 파라미터 오픈웨이트 모델이고 temperature 0.2, 최대 출력 3,000토큰, 모델이 보는 표본은 최대 10레코드다. 프런티어 모델은 한 번도 등장하지 않는다. 이 글의 어떤 문장도 "LLM 일반이 규칙에 졌다"로 읽혀서는 안 된다.
• 증거는 로컬에 고정된 17건이다. 뒤에 나오는 증거 검색은 웹 검색이 아니라 프로젝트 안에 미리 넣어 둔 문서 17건을 뒤지는 일이다.
• 통계 검정이 없다. p값도 신뢰구간도 유의성 검정도 보고되지 않았다. 저자 스스로 반복 3회는 변동성을 추론하기에 부족하다고 적었다.
• 주입한 오류는 자연 발생 오류보다 규칙적일 수 있다. 논문의 내적 타당성 절이 직접 인정하는 한계다.

그럼에도 이 실험을 읽을 만한 이유는 지표 설계에 있다. 정제 시스템을 하나의 정확도로 채점하지 않고 탐지와 수정과 근거와 절제와 재현성과 비용으로 갈라서 쟀고, 그 결과 어떤 구성도 여섯 축을 동시에 이기지 못한다는 그림이 나왔다. 아래 표가 실험의 골격이다.

선택지는 고친다와 안 고친다 둘이 아니다

논문은 정답이 없는 조건에서 시스템이 고를 수 있는 결정을 여섯 가지 클래스로 정의하고, 발견한 이슈마다 이 중 하나를 고르게 했다. 이 목록이 이 리포트에서 독자가 가장 많이 가져갈 자산이다. 사내 정제 파이프라인이 무엇을 출력해야 하는지, 벤더에게 무엇을 요구해야 하는지가 여기에 다 들어 있다.

능력을 하나씩 얹은 일곱 구성

비교 대상은 같은 과제를 받은 일곱 개 구성이다. 두 개는 대조 베이스라인이고, 나머지 다섯은 앞 구성에 능력을 하나씩 더한 계열이다. 무엇을 더했을 때 무엇이 좋아졌는지를 읽으려면 이 계보를 먼저 잡아 둬야 한다.

일곱 구성의 능력 누적을 그림으로 정리하면 아래와 같다. A0와 A1은 나란한 대조군이고, A2부터는 왼쪽 구성 위에 능력을 하나씩 얹는다.

이 계보가 뒤에 나오는 모든 표를 읽는 눈금이 된다. 능력을 하나 얹었을 때 어느 축이 좋아지고 어느 축이 그대로이며 어느 축이 뒤로 가는지는 구성 사이의 차이로만 읽히기 때문이다. 그리고 실제로 좋아진 축과 나빠진 축은 계열을 따라 나란히 움직이지 않았다. 한 구성 안에서도 갈렸다.

첫 번째 축은 탐지다. 주입한 오류를 몇 개나 찾아냈고 그 지목이 얼마나 정확했는가. 합성 오염 모드에서 탐지 F1이 가장 높은 구성은 A1이었다. 0.561이고, 정밀도 0.687에 재현율 0.484다. A1은 언어모델을 한 번도 부르지 않는다. 컬럼 통계를 뽑고 결측과 범위 이탈과 형식 위반을 규칙으로 잡는 고전적인 프로파일링이다. 능력을 전부 켠 A6는 0.421로 그 뒤에 섰다.

이 순위를 언어모델의 패배로 읽으면 실험을 잘못 읽은 것이다. 더 중요한 수치는 반대편 끝에 있다. 스키마와 표본 10건만 받은 A0의 F1은 0.013이었다. 정밀도가 0.074인데 재현율이 0.007이다. 이 조합은 틀린 답을 많이 냈다는 뜻이 아니라 아예 말을 꺼내지 않았다는 뜻이다. A0가 실행당 제기한 이슈는 평균 3.222건이었고 A1은 22.556건이었다. 표를 눈으로 훑는 것만으로는 무엇이 이상한지 거의 짚어 내지 못한 것이다.

같은 모델에 프로파일링 요약을 넘겨 주자 F1이 0.013에서 0.307로 올랐다. 23배다. 여기에 실행 가능한 파이썬 검사를 붙이자 0.402가 됐다. 언어모델의 추론은 결정론적 신호 위에 얹혔을 때만 작동했다는 뜻이고, 이것이 이 실험에서 가장 재현 가능한 관찰이다. 반대로 신호를 얹은 다음부터는 능력을 추가해도 탐지가 단조롭게 좋아지지 않았다. 증거 검색을 더한 A4는 0.407로 거의 제자리였고, 순위 매기기를 더한 A5는 0.376으로 오히려 내려갔다.

아래 그림은 일곱 구성의 탐지 F1을 나란히 놓은 것이다. 오렌지 막대가 언어모델을 쓰지 않은 A1이고, 회색 막대가 언어모델 구성이다.

정밀도만 따로 보면 그림이 또 달라진다. 가장 정확하게 지목한 구성은 A4로 0.928이었고, A3가 0.884, A6가 0.885였다. 언어모델 구성들은 적게 말했지만 말한 것은 대체로 맞았고, A1은 많이 말했지만 그중 3할 정도가 헛짚었다. 재현율은 반대여서 A1의 0.484에 견줄 구성이 없었다. 탐지 하나만 놓고도 정밀도와 재현율 중 어느 쪽에 맞춰 튜닝된 도구인지를 되물어야 한다는 실무 교훈이 여기서 나온다.

데이터셋별로도 차이가 있었다. 평균 F1은 임상 기록이 0.405로 가장 높았고 금융 데이터가 0.380, 환경 방사선 데이터가 0.280으로 가장 낮았다. 논문은 방사선 데이터가 왜 어려웠는지를 밝히지 않았다. 시간 패턴과 희귀 사건이 섞여 있는 자료라는 점, 표본 10건 제한이 긴 시계열에는 부족했을 가능성을 가설로만 적어 두고 검증하지 않았다고 명시한다.

탐지 순위표는 이 실험의 표면이다. 그 아래에 있는 결과가 실제로 이 리포트를 쓰게 만든 발견이다. 일곱 구성 가운데 틀린 값을 정답으로 되돌린 구성이 사실상 없었다. 정답 대체값 적중률이 0이 아닌 구성은 A3의 0.028 하나뿐이고, 나머지 여섯은 전부 0.000이다. 어디를 고칠지는 알았고, 무엇으로 고칠지는 몰랐다.

과녁을 맞히는 일과 값을 맞히는 일

이 결과를 이해하려면 비슷해 보이는 두 지표를 갈라 놓아야 한다. 논문이 표 10에서 정의한 내용을 우리말로 옮기면 이렇다.

• 안전 수정 비율(safe repair rate)은 시스템이 낸 수정 결정 가운데 고쳐도 되는 자리를 겨눈 비율이다. 유효 신호나 수정 대상이 아닌 케이스에 적용한 수정, 대응하는 정답 이슈가 없는 수정은 제외하고 센다.
• 정답 대체값 적중률(expected-repair match rate)은 그렇게 겨눈 수정안이 정답 교정값을 실제로 담고 있는 비율이다.

A1의 두 값이 이 차이를 극적으로 보여 준다. 안전 수정 비율 0.770에 정답 대체값 적중률 0.000이다. 자기가 손대겠다고 고른 자리는 열에 여덟이 옳았고, 그 자리에 써넣은 값은 하나도 맞지 않았다. 논문도 이 대목에 못을 박는다. 높은 안전 수정 비율이 제안된 교정이 정확했다는 뜻은 아니며 그 구성의 정답 대체값 적중률은 0.000이었다고 적었다. 벤더가 "우리 도구는 안전한 수정만 합니다"라고 말할 때 그 문장이 어느 쪽 지표를 가리키는지 되물어야 하는 이유다.

가장 잘 찾은 구성이 멀쩡한 값을 가장 많이 건드렸다

반전은 안전 지표에서 나온다. 탐지 1위였던 A1은 안전하지 않은 수정 비율 0.064, 불필요한 수정 비율 0.167을 기록했다. 일곱 구성 가운데 멀쩡한 값을 실제로 건드린 구성은 A0와 A1 둘뿐이다. A3부터 A6까지는 두 지표가 모두 0.000이다. 규칙 기반이 안전하고 언어모델이 위험하다는 통념과 정확히 반대 방향의 결과다.

이유는 A1이 무엇을 오류로 보는지에 있다. 논문 표 11은 A1의 예상 한계를 의미와 맥락과 보수적 추론 없이 통계적 이상을 오류로 취급할 수 있다고 적어 두었다. 1장의 결정 클래스 표에서 마지막 행을 기억한다면 이것이 정확히 그 행이 금지한 행동이다. 통계적으로 극단적이라는 이유만으로 값을 교체하는 것. 규칙은 그 값이 왜 극단적인지를 묻지 않는다.

같은 A1이 유효 신호 보존율에서는 1.000을 기록했다. 모순처럼 보이지만 같은 성질의 양면이다. A1은 언어모델 없이 표시만 하는 동작이 기본이라 주입된 진짜 신호를 하나도 지우지 않았고, 바로 그 성질이 반대편에서는 튀는 값을 오류로 표시하는 행동으로 나타났다. 여기서 표를 읽을 때 반드시 붙여야 할 각주가 하나 더 있다. A3부터 A6의 유효 신호 보존율 0.000은 신호를 훼손했다는 뜻이 아니다. 이 지표는 탐지된 유효 신호 케이스에 대해서만 정의되므로, 유효 신호를 하나도 탐지하지 못했을 때도 0이 나온다.

아래 표는 지금까지의 세 축을 구성별로 한자리에 놓은 것이다. 가로로 읽으면 한 구성의 성격이 나오고, 세로로 읽으면 능력을 얹을수록 무엇이 사라졌는지가 나온다. 눈여겨볼 자리는 셋이다. 탐지 F1이 가장 높은 행이 위험한 수정에서 0이 아닌 유일한 행이기도 하다는 것, 정답 대체값 적중 열이 한 칸만 빼고 전부 0이라는 것, 그리고 아래로 내려갈수록 안전 지표가 0으로 채워지는 대신 수정 결정의 수 자체가 줄었다는 것이다.

A6의 0건은 성과가 아니다

능력을 전부 켠 A6가 안전 위반 0건을 기록했다는 사실은 얼핏 보수 정책의 승리처럼 읽힌다. 표를 세로로 읽으면 그렇지 않다. 위험한 수정과 불필요한 수정은 A3부터 이미 0.000이었다. A6가 새로 만든 성과가 아니다. 그리고 A6는 합성 오염 모드에서 수정 계열 결정을 한 건도 내지 않았다. 논문의 표현으로는 보수적 비수정으로 읽는 편이 낫다. 저자 스스로도 보수 정책이 안전 결과를 개선한다는 가설이 A5와 A6의 비교로는 분명히 지지되지 않는다고 논의 절에 적었다.

절제가 어디서 일어났는지도 숫자로 남아 있다. A6는 이슈를 12.778건 올리고 결정은 3.444건만 냈다. A5도 12.667건을 올려 4.667건으로 좁혔다. 보수 정책은 적게 찾는 방식이 아니라 찾고도 손대지 않는 방식으로 작동한 것이다. 다만 그 3.444건이 표시와 보존과 사람 검토와 수정 거부 중 어떤 비율로 갈렸는지는 합성 모드에 대해 보고되지 않았다. 원본 데이터 모드에서만 부분 분포를 볼 수 있는데, A6의 보수적 표시 비율이 0.556이고 사람 검토 비율이 0.111이다.

프런티어 모델이었다면 달랐을까

여기까지 읽은 독자가 던질 반문은 정당하다. 200억 파라미터 오픈웨이트 모델을 썼으니 진 것 아니냐는 것이다. 같은 계열 과제를 프런티어 모델로 돌린 독립 실험이 있다. 벤디넬리와 독스와 홀츠가 2025년 ICLR 워크숍에 낸 연구는 gpt-4o와 o3-mini와 claude-3-5-sonnet과 gemini-2.0-flash에 함수 호출과 상태를 유지하는 IPython 세션까지 주고, 캐글 데이터셋 세 종에 주입한 오류를 고치게 한 뒤 깨끗한 홀드아웃 테스트셋 성능으로 채점했다.

결과의 방향이 같다. 어떤 모델도 완전 교정 시 도달 가능한 개선폭에 이르지 못했고, 가장 어려운 데이터셋에서는 전 모델이 1% 미만 개선에 그쳤다. 같은 데이터셋에서 사람 데이터 사이언티스트가 한 시간 작업한 결과도 0%였다. 더 눈여겨볼 것은 실패의 질이다. claude-3-5-sonnet은 내륙국인 아프가니스탄과 네팔의 비정상적인 어류 소비량을 정확히 탐지하고도, 분위수 같은 통계적 방법 대신 임의의 스케일 계수를 적용했다. 결측된 국가 코드는 앞선 연도 데이터로 추론하는 대신 Other라는 새 범주를 만들어 채웠다. 정답 대체값 적중률 0의 다른 실험실 버전이다. 여러 행에 걸친 분포 이동과 추세와 편향은 어떤 모델도 탐지하지 못했다.

두 연구를 나란히 놓을 때 지켜야 할 선이 있다. 채점 축이 다르다. 한쪽은 다운스트림 모델 성능의 개선폭을 재고 다른 쪽은 주입 오류 대비 F1과 정답 적중률을 잰다. 퍼센트와 F1을 같은 자리에 놓고 비교하면 안 된다. 겹치는 것은 결론의 방향이지 수치가 아니다. 그 방향은 이렇게 정리된다. 이상을 찾은 뒤 무엇으로 바꿀지를 임의로 정하는 실패는 모델 크기를 올려도 사라지지 않았다. 모델을 키우면 해결된다는 증거는 아직 없다.

정답이 없는 조건에서 결정을 정당화하는 유일한 방법은 근거를 대는 것이다. A4부터는 로컬 증거 코퍼스를 검색해 결정에 문서를 붙였고, A5부터는 출처의 순위를 매기고 인용이 결정과 정렬되는지를 검사했다. 근거를 붙이는 일 자체는 잘 작동했다. 근거 없이 만들어진 규칙의 비율은 A5와 A6에서 각각 0.037로 가장 낮았고, 원본 데이터 모드에서는 A4가 0.028로 가장 낮았다. 언어모델 단독 구성 A0는 같은 지표가 0.667이었다. 프로파일링만 붙여도 0.167로 떨어졌으니, 근거 없이 규칙을 지어내는 성향은 결정론적 신호를 주는 것만으로 크게 줄었다.

문제는 다음 층에 있다. 결정 단위로 인용 정렬을 재면 A5가 0.036, A6가 0.041이다. 인용 정렬 검사를 켜지 않은 나머지 구성은 검사 자체가 없어 0이다. 이 수치를 읽는 방식을 정확히 해 둬야 한다. 인용 정렬은 결정문과 그 결정이 인용한 근거 문장 사이의 최대 자카드 유사도를 결정마다 구해 평균한 값이다. 결정 100건 중 4건이 근거를 달았다는 뜻이 아니라, 결정문과 근거 문장의 어휘 겹침이 평균 4% 수준이라는 뜻이다. 비율로 읽으면 틀린다.

증거 커버리지를 함께 놓으면 격차의 모양이 더 분명해진다. 이 지표는 결정 가운데 증거 기록을 적어도 하나 참조한 비율이고, 여기서 증거에는 검색해 온 문서만이 아니라 프로파일링 결과와 도구 출력도 들어간다. 합성 오염 모드에서 가장 높은 값은 A1의 0.870이었다. 언어모델도 검색도 없이 자기가 돌린 통계 프로파일을 근거 기록으로 남긴 구성이다. 그 뒤가 A4의 0.778과 A2의 0.722이고, 검색에 순위와 정렬 검사까지 얹은 A5와 A6는 0.630과 0.519로 내려간다. 그런데 근거 없이 만든 규칙의 비율이 가장 낮았던 것도 앞서 본 대로 그 두 구성이다. 지어낸 규칙은 줄었는데 결정마다 증거를 붙인 비율은 함께 줄어든 것이다.

논문은 자기 시스템을 이렇게 평가한다. 현재 형태로는 근거 기반의 성숙한 자율 수정 시스템이라기보다 증거가 통제되고 프로버넌스를 인지하는 시스템으로 보는 편이 정확하다는 것이다. 증거를 검색했다는 것과 결정이 증거에 정박했다는 것은 다른 말이다.

순위를 매겼다는 말의 실제 해상도

구현 세부에 이 격차의 성격을 보여 주는 대목이 하나 있다. 증거 순위는 다섯 축의 가중합으로 계산된다. 권위 0.30, 관련성 0.25, 구체성 0.20, 일관성 0.15, 시간적 유효성 0.10이다. 그런데 로컬 코퍼스에는 일관성이 따로 주석돼 있지 않아 모든 증거에 고정값 0.7이 들어갔다. 가중치의 15%를 차지하는 축이 아무것도 구분하지 못한 채로 돌아간 것이다. 순위를 매겼다는 기능 설명과 그 순위가 실제로 무엇을 구분했는지 사이의 거리를 이보다 잘 보여 주는 사례를 찾기 어렵다.

공정하게 적어야 할 것도 있다. 감사 가능성의 기본기는 실제로 성립했다. 되돌릴 수 있는 스크립트는 실행된 72건이 전부 성공했다. 프로버넌스 로그에는 프롬프트 맥락과 소스와 도구 출력과 적용된 규칙과 영향받은 레코드와 원값이 구조적으로 남았다. 최종 출력 126건은 모두 스키마 검증을 통과했다. 무엇을 왜 고쳤는가에서 왜만 비었을 뿐, 무엇을 언제 어떻게 건드렸는가는 남은 것이다.

표준 스택에 그 칸이 없다

이 공백이 이 실험만의 사정인지 확인하려면 업계 표준을 봐야 한다. 데이터 계보를 기록하는 두 표준이 무엇을 담고 무엇을 담지 않는지가 아래 그림이다.

OpenLineage의 컬럼 리니지 facet은 꽤 정교하다. 입력 필드마다 변환을 붙이고 그 변환을 직접 파생과 간접 영향으로 구분하며, 값을 가렸는지까지 기록한다. 그러나 답하는 질문은 어느 컬럼이 어느 컬럼에서 나왔는가다. 값 하나가 왜 그 값이 됐는지는 스펙 밖이다. W3C PROV는 개체와 활동과 행위자의 삼항으로 무엇이 무엇에 의해 만들어졌는지를 기계가 질의할 수 있게 남기지만, 의도적으로 도메인 중립이라 값 수준의 인과를 기본 어휘로 설명하지 않는다. 그래서 도메인 확장이 계속 나오고, 튜플 수준 프로버넌스는 아직 연구 단계다.

도입을 검토하는 쪽에서 마지막으로 묻는 것은 비용이다. 이 실험은 실행마다 런타임과 토큰을 기록했고, 두 값이 서로 다르게 움직였다. 원본 데이터 모드에서 구성당 9회 실행을 평균한 결과가 아래 표다.

토큰은 A2에서 A6까지 단조롭게 늘었다. 능력을 켤수록 프롬프트와 도구 출력이 길어졌으니 예상대로다. 런타임은 그렇지 않다. A3에서 61.958초였다가 A4에서 43.521초, A5에서 34.356초로 내려간 뒤 A6에서 138.938초로 뛴다. 논문의 해석은 비용이 활성화한 능력 개수가 아니라 추론 거동과 검색과 도구 실행에 달려 있다는 것이다. 켠 기능의 수로 예산을 잡으면 틀린다는 실무 함의가 여기 있다.

가장 큰 격차는 두 베이스라인 사이에 있다. 같은 원본 데이터 모드에서 A6는 A1보다 약 1,715배 오래 걸렸고, 그러고도 탐지 F1은 더 낮았다. 토큰은 A1이 0이라 배수를 낼 수 없고 비교 자체가 성립하지 않는다. 아래 그림이 그 관계를 한 평면에 놓은 것이다.

비용을 금액으로 옮길 때의 함정

토큰을 금액으로 환산하고 싶은 유혹이 생기지만 이 실험의 숫자는 그 용도에 약하다. 사용한 모델의 공개 단가로 계산하면 A6 1회 실행이 1센트에 한참 못 미친다. 논문이 입출력 분할을 보고하지 않아 범위로만 말할 수 있는데, 최대 출력이 3,000토큰으로 고정돼 있으므로 14,803토큰 가운데 최소 79%는 입력이다. 그래서 실제 비용은 그 범위의 아래쪽에 가깝다.

이 값을 100만 레코드로 곱해 연간 비용을 뽑는 계산은 권하지 않는다. 시스템 구조가 데이터셋 전체가 아니라 최대 10건의 표본과 프로파일링 요약을 보는 방식이라, 토큰이 레코드 수에 비례한다는 가정 자체가 성립하지 않는다. 이 실험에서 가져갈 비용 감각은 절대 금액이 아니라 방향이다. 소형 오픈웨이트 모델과 프런티어 API 사이에는 두 자릿수 배수의 단가 격차가 있고, 같은 과제 안에서도 구성에 따라 세 자릿수 배수의 런타임 격차가 난다. 그리고 그 격차는 정확도로 되갚아지지 않았다.

같은 입력에 같은 답이 나오는가

재현성은 반복 실행 사이에 결정 서명이 완전히 일치하는 비율로 쟀다. 최고값이 A1의 0.500이고 A5와 A6가 0.444다. 결정론적 파이프라인인 A1이 1.000이 아니라는 사실이 눈에 걸린다. 논문은 이 값의 원인을 밝히지 않았다. 붙여 둔 단서는 지표의 취약성 하나뿐인데, 이슈 식별자와 결정 클래스가 정확히 같아야 일치로 세기 때문에 의미상 같은 출력도 다르게 셀 수 있다는 설명이다.

논문의 다른 두 사실을 함께 놓으면 이렇게 읽을 수는 있다. 주입 오염 파일은 데이터셋과 반복 실행마다 새로 생성되므로 합성 모드에서는 결정론적 파이프라인이라도 입력이 매번 달라 서명이 일치할 수 없다. 반면 원본 데이터 모드는 입력이 반복 간 동일하니 완전 일치가 나와야 한다. 두 모드를 평균하면 0.500이 된다. 다만 이것은 이 리포트의 읽기이지 논문의 설명이 아니다. 논문은 이 질문에 답하지 않았다.

실행 감사 기록도 함께 볼 만하다. 재시도 4회, JSON 복구 30회, 후처리로 내용이 바뀐 출력 31건, 정규화 전 스키마 무효 25건이 있었고 정규화 후에는 0건이 되어 최종 126건이 모두 유효했다. 구조화 출력이 흔들린 것을 소형 모델의 병리로만 돌리기도 어렵다. 앞서 인용한 프런티어 모델 실험에서 무효 제출 비율은 claude-3-5-sonnet 13.53%, gemini-2.0-flash 13.10%, o3-mini 10.87%, gpt-4o 7.94%였다. 두 지표는 정의가 다르므로 같은 잣대로 비교할 수는 없지만, 구조화 출력의 불안정이 모델 크기만의 문제가 아니라는 방향은 읽을 수 있다.

비용과 재현성은 도입 검토에서 맨 뒤에 붙는 항목처럼 보이지만, 앞의 네 축과 같은 표에 올려야 판단이 된다. 이 실험에서 가장 싸고 빠른 구성은 탐지에서 1위였고 동시에 멀쩡한 값을 실제로 건드린 두 구성 가운데 하나였다. 가장 비싼 구성은 아무것도 건드리지 않는 방식으로 안전했고 탐지에서는 그보다 낮았다. 어느 한 축의 값만 떼어 보면 두 구성 다 좋아 보인다.

여기까지의 결과를 한 줄로 줄이면 이렇다. 어떤 구성도 여섯 축을 동시에 이기지 못했다. 그래서 도구를 고를 때 물어야 할 것도 여섯 개로 갈린다. 아래 표는 이 실험이 잰 것을 조달과 내부 도입에서 물을 질문으로 바꿔 놓은 것이다. 벤더 평가 문서에 그대로 옮겨 써도 되도록 구성했다.

축마다 승자가 바뀌는 모습을 그림으로 정리하면 아래와 같다. A1은 세 축에서 앞섰지만 나머지 세 축은 다른 구성이 가져갔다.

시장의 도구는 대부분 탐지에서 멈춘다

이 여섯 축을 들고 시장을 보면 위치가 정리된다. 널리 쓰이는 오픈소스 데이터 품질 도구는 전부 탐지 도구다. 수정도 되돌리기도 자기 일이 아니라고 설계 단계에서 선을 긋는다. 실험의 A1이 실무에서 어디에 해당하는지가 여기서 정해진다.

2026년의 에이전틱 데이터 품질 제품 발표를 훑어보면 한 칸이 비어 있다. 에이전트가 자동으로 수정한 것을 되돌리는 기능을 문서화한 발표가 확인되지 않는다. 플랫폼 차원의 테이블 시점 복원은 스냅샷을 되감는 기능이지 이 값을 이 근거로 고쳤으니 이 결정만 되돌린다는 기능이 아니다. 발표문에 없다는 것이 기능이 없다는 뜻은 아니다. 공개된 범위에서 확인되지 않았다는 뜻이다. 다만 연구 프로토타입이 72건 전부 성공시킨 되돌리기를 상용 발표가 아직 말하지 않고 있다는 대조는 남는다.

감사 요건과 겹쳐 보면 어느 칸이 비는가

이 여섯 축 가운데 규제가 이미 요구하고 있는 것이 있다. 임상 데이터 쪽이 가장 명확하다. 21 CFR 11.10(e)는 감사추적이 안전하고 컴퓨터가 생성하며 타임스탬프가 찍히고 대상 데이터와 독립일 것을 요구하고, 변경이 이전에 기록된 정보를 가려서는 안 된다고 못 박는다. 변경 사유는 Part 11 조문에 문자 그대로 있지는 않지만 EU GMP Annex 11이 명시적으로 요구하고 ALCOA+ 기대치상 사실상 필수다. 자동으로 이뤄진 교정도 식별 가능한 행위자에 귀속되고 사유가 기록돼야 하며 조용히 적용돼서는 안 된다는 것이 감독기관의 명시적 입장이다.

이 요건을 실험의 산출물에 한 칸씩 대응시키면 어느 칸이 비는지가 바로 드러난다. 원값을 가리지 말라는 요건에는 되돌릴 수 있는 스크립트가, 누가 언제 바꿨는가에는 프로버넌스 로그가 대응한다. 남는 것은 사유 한 칸이고, 그 칸에 대응하는 지표가 앞 장에서 본 인용 정렬이다.

금융 쪽 요구도 방향이 같다. 유럽중앙은행이 2024년 5월에 낸 리스크 데이터 집계·보고 가이드는 데이터 속성 수준의 완전하고 최신인 리니지를 수집부터 최종 보고까지 요구하고, 품질 이슈와 한계를 담은 등록부를 따로 요구한다. 그런데 업계 실태는 뒤처져 있다. 딜로이트의 2024년 벤치마크 조사에서 데이터 품질 리스크 선호도를 정의한 은행은 72%였지만 실제 운영에 반영한 곳은 17%였다. 그리고 속성 수준 리니지도 이 값이 어디서 왔는가까지다. 이 값이 왜 바뀌었는가는 여전히 표준 항목이 아니다.

EU 인공지능법 제10조는 고위험 시스템의 학습·검증·시험 데이터가 의도된 목적에 비추어 가능한 한 오류가 없을 것과, 수집 과정과 출처를 포함한 거버넌스의 대상일 것을 동시에 요구한다. 고치라는 요구와 무엇을 어떻게 바꿨는지 남기라는 요구가 한 조문에 함께 있는 셈이다. 시행 시점은 최근에 밀렸다. 2026년 7월 24일 관보에 게재되고 7월 27일 발효된 인공지능 디지털 옴니버스 규정으로 부속서 III 고위험 의무의 적용일이 2027년 12월 2일로, 부속서 I 내장형은 2028년 8월 2일로 연기됐다. 2026년 8월부터 적용된다고 적은 자료가 아직 많으니 인용할 때 주의해야 한다. 시한이 밀렸다는 사실이 요건이 사라졌다는 뜻은 아니고, 준비 기간이 늘었다는 뜻이다.

페블러스가 만드는 DataClinic의 진단 엔진 DataLens는 순수 신경망 기반에서 뉴로심볼릭 구조로 이동했다. 규칙과 통계로 잡을 수 있는 것은 결정론적 구성요소가 잡고, 의미와 맥락이 필요한 판단만 모델에 넘기는 설계다. 이 실험은 그 선택에 대한 외부의 독립 관측을 제공한다. 결정론적 구성요소를 걷어낸 언어모델 단독 구성은 탐지 F1 0.013으로 사실상 아무 말도 하지 못했고, 프로파일링 요약을 붙이자 0.307로 올랐다. 신경망 추론은 결정론적 신호 위에서만 작동했다. 다만 이 논문은 DataClinic을 시험한 적이 없다. 같은 방향의 설계 결정에 대한 방증이지 우리 제품에 대한 검증이 아니다.

데이터 품질 관점에서 더 중요한 것은 탐지와 수정이 별개 과제라는 결과다. AI-Ready Data 파이프라인에서 진단 단계와 개선 단계를 분리해 두는 이유가 여기서 실증된다. 정답 대체값 적중률이 전 구성 0에 가깝다는 것은 자동 수정의 자리가 아직 좁다는 뜻이고, 되돌릴 수 있는 스크립트와 프로버넌스 로그가 먼저 성립했다는 것은 감사 가능성이 자동화의 첫 산출물이어야 한다는 뜻이다. 학습 데이터가 모델 내부 표현으로 흘러가는 경로에서, 무엇이 어떤 근거로 바뀌었는지가 남지 않으면 그 뒤의 어떤 품질 주장도 검증할 수 없게 된다.

고객과 파트너의 실무로 옮기면 질문 목록이 된다. 제조와 의료와 금융 고객이 정제 자동화를 검토할 때 물어야 할 것은 정확도 몇 퍼센트가 아니라 되돌릴 수 있는가, 무엇을 근거로 고쳤는가, 안 고치고 남긴 것은 무엇인가, 사람에게 넘긴 비율은 얼마인가다. 잘못된 수정의 비용이 미탐지의 비용보다 큰 도메인에서는 수정 대신 표시하고 보존하고 사람에게 올리는 절제가 오히려 정답일 수 있다. 6장의 여섯 축 표는 그 대화를 시작하기 위한 문서다.

마지막으로 이 실험이 페블러스의 로드맵에 남기는 설계 전제가 있다. 검색과 순위와 로깅을 갖추는 일과, 결정을 근거에 정박시키는 일은 서로 다른 과제다. 앞의 셋은 이 프로토타입에서 이미 작동했고 뒤의 하나는 작동하지 않았다. 그리고 리니지 표준 어디에도 그 하나를 담을 자리가 없다. Data Greenhouse의 자율 정제 로드맵이 이 공백을 설계 전제로 삼아야 하는 이유이고, 이것은 경쟁 우위의 주장이라기보다 아직 아무도 채우지 않은 칸에 대한 서술이다.

주 출처

• 1.Fadlallah, H. (2026). Agentic Data Cleaning Without a Clean Reference: An Experimental Study of Capabilities and Trade-offs. arXiv:2608.14765v1 [cs.AI], 2026-08-14, CC BY 4.0. (이 글의 본문 수치는 대부분 이 논문의 표 6·7·8·10·12~16과 §9~§11에서 왔다. 단독 저자 preprint, 동료 심사 전)
• 2.Bendinelli, T., Dox, A., Holz, C. (2025). Exploring LLM Agents for Cleaning Tabular Machine Learning Datasets. arXiv:2503.06664. ICLR 2025 Workshop on Foundation Models in the Wild. (프런티어 모델 네 종 비교. 채점 축이 달라 수치 직접 비교는 불가)

학술 계보

• 3.Wang, R. Y., Strong, D. M. (1996). Beyond accuracy: what data quality means to data consumers. Journal of Management Information Systems 12(4), 5–33. (품질의 다차원성. 여섯 축 분해의 뿌리)
• 4.Abedjan, Z. et al. (2016). Detecting data errors: where are we and what needs to be done? PVLDB 9(12), 993–1004. (단일 기법이 모든 오류를 잡지 못한다는 출발점)
• 5.Rekatsinas, T., Chu, X., Ilyas, I. F., Ré, C. (2017). HoloClean: holistic data repairs with probabilistic inference. PVLDB 10(11), 1190–1201. (확률적 정제 계열)
• 6.Naeem, Z. A. et al. (2024). RetClean: retrieval-based data cleaning using LLMs and data lakes. PVLDB 17(12), 4421–4424. (증거 검색 구성의 계보)
• 7.Rashkin, H. et al. (2023). Measuring attribution in natural language generation models. Computational Linguistics 49(4), 777–840. (인용 정렬 지표의 뿌리)
• 8.Li, L., Fang, L., Ludäscher, B., Torvik, V. I. (2025). AutoDCWorkflow: LLM-based data cleaning workflow auto-generation and benchmark. Findings of EMNLP 2025, 7766–7780.

표준·규제

• 9.W3C (2013). PROV-DM: The PROV Data Model. W3C Recommendation. (개체·활동·행위자 삼항. 값 수준 인과는 기본 어휘 밖)
• 10.OpenLineage. Column Level Lineage Dataset Facet. (DIRECT·INDIRECT 변환 구분과 masking 필드)
• 11.European Union. Regulation (EU) 2024/1689 (AI Act), Article 10. (고위험 시스템의 데이터·데이터 거버넌스 요건)
• 12.Gibson Dunn (2026). EU AI Act Omnibus: postponed high-risk deadlines. (규정 (EU) 2026/1744, 2026-07-27 발효. 부속서 III 적용일 2027-12-02)
• 13.Certivo (2026). Electronic signature and audit trail requirements. (21 CFR 11.10(e), ALCOA+, 자동 교정의 귀속·사유 기록 요건)
• 14.European Central Bank (2024). Guide on effective risk data aggregation and risk reporting. (속성 수준 리니지와 품질 이슈 등록부 요구)
• 15.Deloitte (2024). BCBS 239 benchmark survey 2024. (품질 리스크 선호도 정의 72% 대 운영 반영 17%)

도구 landscape

• 16.Integrate.io (2026). Agentic AI data quality tools. (9개 제품 라운드업. 자율 수정과 되돌리기를 함께 내건 제품 확인되지 않음)
• 17.Informatica (2026). CLAIRE 헤드리스 멀티에이전트 발표. 2026-05-20.
• 18.DQOps. Data quality and audit trails. (비정형 로그가 감사 근거로 불충분한 이유와 구조화 저장소 권고)

페블러스 선행 리포트

• 19.페블러스 (2026). 증명은 맞았는데 어떻게 나왔는지는 남지 않았다. (산출물은 검증되고 근거는 남지 않는 공백의 자매편)
• 20.페블러스 (2026). 에이전트 루프, 모델보다 하네스. (하네스 우위 테제와 이 실험의 긴장)
• 21.페블러스 (2026). 규칙 기반과 AI의 이중 방어선.
• 22.페블러스 (2026). 다운스트림 코드로 검증 규칙 만들기.
• 23.페블러스 (2026). 에이전트가 만드는 데이터 품질 위험.