Executive Summary

먼저 그 27%부터 바로잡자. 이 숫자는 "전사 시맨틱 레이어 보유율"이 아니다. HBR×Hyland 설문에서 "데이터·프로세스·애플리케이션이 잘 연결돼 있다"고 스스로 답한 조직 통합 인식 지표다. 기술 아키텍처가 아니라 자기보고다. 그러니 "27%가 시맨틱 레이어를 만들었다"는 말은 성립하지 않는다. 정작 중요한 건 그 소수가 잘 연결돼 있다고 느끼게 만든 것이 실제로 무엇이냐다. 답은 검색 인덱스가 아니라 의미·관계·표준의 레이어다.

벡터 인덱스와 시맨틱 레이어는 자주 뭉뚱그려지지만 하는 일이 다르다. 벡터 인덱스는 텍스트 조각을 임베딩으로 바꿔 유사도로 가까운 조각을 찾아주는 검색 계층이다. "이 문장과 비슷한 문장"은 잘 찾지만, "A사가 B사를 인수한 뒤 그 계약의 3조가 어느 자회사에 적용되는가" 같은 관계는 모른다. 시맨틱 레이어는 문서에 흩어진 엔터티(회사·인물·조항)를 하나로 합치고, 그들 사이의 관계와 스키마를 표준화해 "무엇이 무엇과 어떻게 연결되는가"를 기계가 소비할 수 있게 만드는 의미 계층이다.

이 차이는 성능으로 드러난다. 43개 엔터프라이즈 질문을 GPT-4에 던졌을 때, 원본 SQL 스키마만 주면 정확도가 16.7%에 그친다. 같은 질문에 지식그래프 표현을 함께 주면 54.2%로, 세 배가 넘게 오른다(data.world 벤치마크). 반대 방향의 증거도 있다. 쉬운 학술용 텍스트-투-SQL 벤치마크(Spider 원본)에서는 최고 모델이 86%를 넘기지만, 실제 엔터프라이즈 스키마를 반영한 Spider 2.0에서는 같은 급 모델도 실행 정확도 31%에 머문다. "쉬운 벤치마크"와 "현실 스키마" 사이의 이 간극이 정확히 시맨틱 레이어가 메우는 공간이다.

벤더 백서들은 이 레이어의 효과를 더 크게 말한다. dbt는 시맨틱 레이어 도입으로 지표 정의 일관성이 83%까지 올랐다고, 일부 BI 도구는 대시보드 오류가 3분의 2 줄었다고 발표한다. 방향은 맞지만 이 수치들은 벤더 자체 발표로 독립 검증이 없어, 여기서는 근거가 아니라 배경으로만 둔다. 핵심은 숫자의 크기가 아니라 층위다 — 검색을 잘하는 것과 의미를 표준화하는 것은 다른 일이고, 후자가 없으면 앞의 성능은 천장에 부딪힌다.

비정형 문서 하나가 기계가 소비 가능한 시맨틱 레이어가 되기까지는 여러 단계를 거친다. 레이아웃을 읽어내고(파싱), 긴 문서를 의미 단위로 자르고(청킹), 필드를 뽑아내고(추출), 같은 대상을 하나로 합치고(엔터티 해상도), 공통 스키마에 맞추고(온톨로지 정렬), 언제·어디서 나온 사실인지를 붙인다(출처). 각 단계는 저마다의 방식으로 깨지고, 한 단계의 실패는 다음 단계로 조용히 전파된다.

2.1파싱: 잘 되는 것처럼 보이는 착시

레이아웃 파싱은 겉으로 가장 성숙해 보이는 단계다. 정형화된 학술 문서에서 표 구조를 읽어내는 정확도(TEDS)는 82.5에 이른다. 그러나 같은 벤치마크(OmniDocBench)에서 다단·스캔·손글씨가 섞인 비학술 문서의 레이아웃 탐지는 mAP 48.7로 급락한다. 도메인을 바꾸면 더 확연하다. 표 인식 모델을 한 도메인(PubTables-1M)으로 학습시켜 다른 도메인(FinTabNet)에 그대로 쓰면 정확 일치율이 65%에서 42%로 떨어진다. 파서의 벤치마크 점수는 "내 문서"의 성능을 보장하지 않는다.

더 큰 착시는 필드 정확도와 문서 완결도의 혼동이다. ExtractBench(2,076페이지, 12,867필드)에서 유효한 JSON을 뽑았을 때 필드 단위 정확도는 평균 72.9%다. 그런데 문서 하나의 스키마를 처음부터 끝까지 온전히 통과하는 비율은 4.6%에 불과하다. 각 필드가 대체로 맞아도, 열 개 중 하나만 틀리면 그 문서의 구조화는 실패로 처리된다. "필드 정확도 72.9%"를 보고 파싱이 됐다고 판단하는 순간, 실제로 온전한 문서는 스무 개 중 하나뿐인 셈이다.

2.2청킹: 눈에 안 띄지만 전체를 좌우한다

긴 문서를 어떻게 자르느냐는 사소해 보이지만 파이프라인 전체 성능을 흔든다. 한 지식그래프 구축 연구에서 청킹 전략 하나만 계층형(hierarchical)으로 바꾸자 추출 F1이 70.2%에서 87.8%로 올랐다. 파서도, 추출 모델도, 나머지 파이프라인도 그대로 둔 채 자르는 방식만 바꾼 결과다. 표가 텍스트로 뭉개지고, 계약서의 상호참조가 청크 경계에서 끊기고, 회의록의 화자와 시점이 분리되는 손실이 대부분 이 단계에서 발생한다.

2.3추출: 쉬운 필드와 어려운 필드의 분화

추출은 필드에 따라 성능이 극단적으로 갈린다. 개인정보 추출 연구에서 GPT-4는 이메일 주소를 100%, 전화번호를 98% 뽑아냈다. 그러나 소속·경력처럼 문맥을 가로질러 추론해야 하는 필드에서는 정확도가 급락했다. 표면에 그대로 적힌 값은 쉽고, 문서 여러 곳의 단서를 엮어야 하는 값은 어렵다. 문제는 시맨틱 레이어가 필요로 하는 정보 — 누가 어느 조직 소속으로 이 계약에 서명했는가 — 가 바로 그 어려운 쪽에 몰려 있다는 점이다. 여기서부터 파싱의 문제는 해상도의 문제로 넘어간다.

파이프라인에서 가장 자주, 가장 조용히 깨지는 두 지점이 엔터티 해상도와 시점·출처다. 둘 다 파서 벤치마크에는 잡히지 않는다. 그리고 둘 다 모델이 없는 맥락을 지어내기 시작하는 바로 그 자리다. 모델은 아무리 잘 추론해도, 데이터가 준 적 없는 맥락까지 만들어낼 수는 없다.

3.1엔터티 해상도: 도구가 아니라 설계

엔터티 해상도는 같은 대상(한 회사, 한 사람, 한 계약 조항)이 문서마다 다른 표기·별칭·상호참조로 등장할 때 이를 하나로 합치는 일이다. "㈜페블러스", "페블러스", "Pebblous Inc."가 같은 주체임을 알아야 관계 그래프가 성립한다. 깨끗하게 정제된 벤치마크에서는 이 작업의 F1이 99%를 넘지만, 별칭과 표기 변형이 뒤섞인 실제 비정형 문서에서는 급락한다.

결정적인 사실은 이것이 "더 좋은 파서를 사는" 문제가 아니라는 점이다. 같은 Abt-Buy 벤치마크에서 임베딩과 근사 최근접 탐색(ANN)만 쓰면 정밀도가 35%(F1 44.5%)에 그친다. 여기에 LLM을 판정자(judge)로 얹으면, 데이터는 그대로 두고 방법론만 바꿨는데도 정밀도가 95.4%(F1 66.3%)로 뛴다. 건당 비용은 4센트다. 도구를 교체한 게 아니라 파이프라인을 다르게 설계했을 뿐인데 정밀도가 세 배 가까이 벌어졌다. 이 병합이 어려운 일이라는 건 시간 배분에서도 드러난다. 한 지식그래프 구축 사례에서 전체 38시간 중 22.5시간, 약 59%가 글자를 읽는 데가 아니라 엔터티·관계를 하나로 합치는 데 쓰였다.

3.2시점·출처: 검색이 성공해도 맥락이 지어진다

두 번째 난관은 언제·어느 버전에서 나온 사실인지를 붙이는 일이다. 계약서는 개정되고, 정책은 버전이 바뀌고, 회의록은 특정 시점의 결정을 담는다. 이 시간축 정보가 소실되면 검색은 여전히 "관련 있어 보이는" 조각을 찾아오지만, 그것이 유효한 버전인지는 아무도 모른다. 버전 관리된 문서 벤치마크에서 표준 RAG의 정확도는 58%에 그친다(VersionRAG). 규제 도메인에서 시점·버전 스키마를 붙이면 표준 벡터 RAG 대비 70% 개선된다는 결과도 있다. 개선의 여지가 그만큼 컸다는 뜻이다.

더 반직관적인 사실이 있다. "모델이 없는 맥락을 지어낸다"는 실패를 흔히 "검색이 실패해서"로 돌리지만, 최신 재분류 연구는 다른 그림을 보여준다. 검색은 성공해서 올바른 근거가 컨텍스트에 들어왔는데도 생성 단계가 그 근거를 무시하는 유형, 이른바 근거 무시(evidence override)가 특정 도메인에서 검색 실패보다 여러 배 흔했다(의료 도메인 28.4%, HotpotQA 42.3%). 시점·출처가 부실할수록 이 현상은 심해진다. 근거가 여러 버전으로 충돌하거나 시점이 모호하면, 모델은 가장 그럴듯한 쪽을 택하거나 스스로 메운다.

지금까지 각 단계가 얼마나 깨지는지를 벤치마크로 봤다. 그런데 정작 던져야 할 질문은 이것이다. 우리 조직의 시맨틱 레이어가 얼마나 깨졌는지를 사전에 잴 수 있는가? 여기서 파이프라인 전체가 가진 진짜 공백이 드러난다. 지식그래프나 시맨틱 레이어의 내재적 품질, 그러니까 엔터티 중복률·관계 정밀도·시점 일관성을 직접 재는 통일된 산업 표준 지표가 아직 없다.

그래서 팀들은 우회한다. 다운스트림 정확도(질의응답이 맞았는지)로 레이어 품질을 간접 추정하거나, 사람이 손으로 샘플을 주석해 확인한다. 둘 다 확장되지 않는다. 다운스트림 지표는 어느 계층이 문제였는지 알려주지 않고, 수동 주석은 문서 수가 늘면 감당할 수 없다. 이 공백은 학술적으로도 확인된다. 지식그래프 품질을 정량화하려는 신규 지표 제안 논문(KGCQual 등)이 2026년에야 등장했다는 사실 자체가, 표준이 부재했다는 증거다. 자동 추출된 지식그래프의 평균 방향차수가 ~1에 그친다는 측정, 즉 노드들이 거의 연결되지 않은 파편 그래프라는 사실도 같은 공백을 가리킨다.

품질을 재지 못하면 어떤 일이 벌어지는지는 상용 제품에서 그대로 드러난다. "환각 없음"을 마케팅한 상용 법률 RAG조차 사전등록된 독립 실측에서 17~33% 환각했다(Stanford RegLab: Lexis+ AI 17%, Westlaw 33%). 같은 RAG 아키텍처군인데 격차의 주 원인은 검색 방식이 아니라 큐레이션된 데이터의 품질이었다. 더 극명한 대조도 있다. 도메인 지식베이스에 근거한 검색은 환각률이 6%인 반면 일반 웹검색은 35%였다(JMIR Cancer). 검색 대상의 해상도와 거버넌스가 결과를 가른다.

여기가 파일럿과 프로덕션을 가르는 실제 손익분기점이다. 시연에서는 잘 고른 문서 몇 개로 데모가 돌아간다. 프로덕션에서는 수십만 건의 문서가 서로 다른 해상도와 시점 상태로 들어온다. 그 상태를 측정할 수 없으면, 어디에 투자해 무엇을 고쳐야 손익분기를 넘는지도 알 수 없다. 파서를 하나 더 사는 것으로는 이 계층이 보이지 않는다.

파일럿을 프로덕션으로 넘기지 못하는 팀에게 "파서를 하나 더 사라"는 답은 대개 틀렸다. 파싱은 이미 대체로 되고 있고, 병목은 그 뒤에 있다. 지금까지의 해부는 세 가지 실무 우선순위로 정리된다.

이 세 가지에는 공통점이 있다. 모두 "무엇을 얼마나 고쳤는가"를 재는 측정의 문제라는 것이다. 파이프라인의 어느 계층이 얼마나 깨졌는지 정량화하지 못하면, 세 우선순위 중 어디에 먼저 투자할지도 정할 수 없다.

페블러스 DataClinic이 서 있는 자리가 바로 이 진단 계층이다. "비정형 → 시맨틱 레이어" 변환에서 무엇이 깨졌는지를 정량화하는 것이 그 역할이다. 엔터티가 하나로 합쳐졌는지, 시점이 일관되는지, 스키마가 온전히 통과하는지를 본다. AI-Ready Data는 이 파이프라인의 출력 상태를 가리키는 이름이고, 그 상태를 측정 가능하게 만드는 것이 이 계층의 일이다. 아직 산업 표준이 없는 계층을 재는 것, 그것이 파일럿과 프로덕션 사이에 놓인 아무도 정량화하지 않은 공간이다.

모델은 갈수록 잘 추론한다. 하지만 데이터가 준 적 없는 맥락을 지어내는 습관은 더 나은 모델로 사라지지 않는다. 그 맥락을 데이터 쪽에서, 즉 해상도로 시점으로 출처로 채워 넣을 때에만 사라진다. 파싱이 아니라 해상도다.

참고문헌

본문의 벤치마크·설문 수치는 아래 출처에 근거한다. 벤더 자체 발표 수치는 독립 검증이 없어 배경으로만 인용했다.

학술

• 1.Ouyang et al., "OmniDocBench: Benchmarking Diverse PDF Document Parsing," CVPR 2025. 표 구조 인식 TEDS 82.5 / 레이아웃 탐지 mAP 48.7.
• 2.Magesh, Surani, Dahl, Suzgun, Manning, Ho, "Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools," Journal of Empirical Legal Studies 2025 / arXiv:2405.20362. 법률 RAG 환각 17~33%.
• 3."ExtractBench: Field-level vs Document-level Extraction," arXiv:2602.12247. 필드 72.9% vs 문서 전체 완전 통과 4.6%.
• 4."VersionRAG: Version-aware Retrieval for Evolving Documents," arXiv:2510.08109. 시점 없는 표준 RAG 정확도 58%.
• 5."Diagnosing Retrieval vs. Utilization Bottlenecks in LLM Agent Memory," arXiv:2603.02473. 근거 무시(evidence override) 재분류.
• 6."KGCQual: Quality Metrics for Knowledge Graph Construction," arXiv:2607.10212. 시맨틱 레이어 품질 지표 공백의 학술적 근거.
• 7.Li et al., "Ditto: Deep Entity Matching with Pre-Trained Language Models," VLDB 2020 / arXiv:2004.00584. 엔터티 매칭 F1 96.5%(정제 벤치마크).
• 8.Smock et al., "PubTables-1M / GriTS," arXiv:2110.00061. 표 구조 인식, TATR 도메인 전이 65%→42%.
• 9.Huang et al., "LayoutLMv3," 2022. FUNSD F1 92.08 / CORD F1 97.46.
• 10.Barnett et al., "Seven Failure Points When Engineering a RAG System," arXiv:2401.05856. RAG 실패 유형론(정량 실패율은 원문에 없음 — 유형론으로만 인용).
• 11."Personal Information Extraction," arXiv:2408.07291. GPT-4 이메일 100% / 전화 98%, 소속·경력 급락.
• 12.Towards AI, "GPT-4o-mini as an Entity Resolution Judge: 95% Precision for $0.04," 2026. Abt-Buy 35%→95.4%.

정책·통계 (설문 — 인트로 훅)

• 13.Harvard Business Review Analytic Services × Hyland, "AI Readiness Survey," 2025-12 (n=325). 정형 65% / 비정형 39% / 연결 27% / 81%.
• 14.Cloudera × HBR Analytic Services, 2026 (n=230+). 완전 준비 7% / 준비 어려움 73%.
• 15.Teradata × Wakefield Research, 2026 (n=1,000, 6개국). 개발 정체 68% / 파일럿 실패 40%+ / 메타데이터 부족 43%.

벤더·기타 (독립 검증 없음 — 배경 인용)

• 16.data.world 지식그래프 벤치마크, 2026. SQL 16.7%→54.2%.
• 17.Spider 2.0 리더보드. 엔터프라이즈 스키마 실행 정확도 31%(Spider 원본 ~86% 대비).
• 18.JMIR Cancer 연구. 도메인 지식베이스 vs 웹검색 환각 6% vs 35%.
• 19.ChemRxiv, "KG Construction from Materials Science Literature," 2026-01. 청킹 전략 변경만으로 F1 70.2%→87.8%(도메인 특화).