Executive Summary

데이터 포이즈닝을 이야기할 때 우리는 대개 공격자가 악성 콘텐츠를 직접 밀어 넣는 장면을 떠올립니다. 실제로 지금까지 알려진 공격은 모두 그런 모양이었습니다. 2025년 10월 앤트로픽과 영국 AI 안전연구소(UK AISI), 앨런 튜링 연구소는 악성 문서 250개만으로 모델 크기와 무관하게 백도어를 심을 수 있음을 보였습니다. RAG 시스템을 노린 PoisonedRAG는 질문 하나당 악성 텍스트 다섯 개를 코퍼스에 끼워 넣어 90%의 공격 성공률을 냈습니다. 공통점은 하나입니다. 공격자가 어딘가에 나쁜 내용을 심어야 한다는 것.

간접 데이터 포이즈닝은 이 전제를 깨뜨립니다. 공격 텍스트 자체가 필요 없습니다. 정당해 보이는 공개 데이터에 메타데이터 필드 하나, 이를테면 라벨이나 단위, 출처 표기 한 줄만 어긋나게 두면 됩니다. 그러면 그 데이터를 실시간으로 검색해 오는 연구 에이전트가 스스로 조작된 결론을 "합리적"이라고 판단해 생성합니다. 악성 지시문도, 악성 문장도 에이전트의 눈앞에 없습니다. 어긋난 숫자 한 칸이 있을 뿐입니다.

세 가지를 구분하면 그림이 분명해집니다. 프롬프트 인젝션은 에이전트에게 주는 지시를 조작합니다. 직접 데이터 포이즈닝은 학습·검색 대상이 되는 콘텐츠를 조작합니다. 간접 데이터 포이즈닝은 그 둘을 건드리지 않고 데이터에 딸린 메타데이터만 조작합니다. 공격 표면이 지시에서 콘텐츠로, 다시 메타데이터로 옮겨 갈수록 공격에 드는 자원은 줄고, 사람 눈에 띄는 흔적도 옅어집니다.

아래 도식은 어긋난 메타데이터 한 줄이 파이프라인의 어느 지점에서 삼켜지는지를 보여줍니다. 공개 저장소에 올라간 오염된 메타데이터가 에이전트의 검색 단계로 흘러 들어가고, 에이전트는 그것을 근거 삼아 조작된 결론을 산출물에 실어 유통합니다.

왜 이렇게 작은 조작이 통할까요. 답은 데이터가 이미 지저분하다는 데 있습니다. MIT Data Provenance Initiative가 1,800개 이상의 데이터셋을 감사한 결과, HuggingFace의 라이선스 표기 가운데 66%가 이미 오분류돼 있었습니다. 주요 호스팅 사이트의 라이선스 누락률은 70%를 넘고, 오류율은 50%를 웃돌았습니다. 다시 말해, 공격자는 깨끗한 데이터에 흠집을 내는 것이 아닙니다. 이미 절반 넘게 틀려 있는 잡음 위에 조작 한 줄을 얹을 뿐입니다. 그래서 눈에 띄지 않고, 그래서 공격 난이도가 낮습니다.

가설은 무섭게 단순합니다. 그래서 연구팀은 통제된 조건에서 직접 재봤습니다. 세 개의 프론티어 연구 에이전트, 즉 Claude Code(Claude Opus 4.7), Codex(GPT-5.5), Gemini CLI(Gemini 3.1 Pro)를 다섯 개의 사회적으로 민감한 도메인에 걸쳐 시험했습니다. 총 450회의 통제 실험에서 두 개의 숫자가 나왔고, 뒤이어지는 이야기는 사실상 그 두 숫자에서 갈라집니다.

조작된 결론이 에이전트의 최종 산출로 채택돼 유통된 비율은 49.56%였습니다. 절반입니다. 반면 에이전트가 자기 입력이 오염됐다는 사실을 스스로 알아챈 경우는 6.0%에 그쳤습니다. 정상적으로 작동하는 모델이, 정상적인 지시를 받고, 오염된 데이터를 신뢰해 조작된 결론을 절반의 확률로 세상에 내보내면서도, 대부분은 그 사실을 눈치채지 못했다는 뜻입니다.

이 결과가 특히 불편한 이유는, 공격에 필요한 자원이 시간이 갈수록 계속 줄어들고 있기 때문입니다. 초기 데이터 포이즈닝 연구는 대량의 악성 문서를 가정했습니다. 그다음 앤트로픽의 실험은 그 수를 문서 250개로 끌어내렸고, PoisonedRAG는 질문당 다섯 개의 텍스트까지 낮췄습니다. 그리고 이번 연구는 아예 콘텐츠를 심을 필요 없이 메타데이터 한 줄로 내려앉았습니다. 방어자가 지켜야 할 경계는 넓어지는데, 공격자가 넘어야 할 문턱은 낮아집니다.

요점은 "모델이 헛소리를 한다"가 아닙니다. 모델은 지시받은 대로 성실하게 일했습니다. 문제는 그 성실함이 오염된 입력을 향할 때 조작된 결론의 매개체가 된다는 데 있습니다. 이것은 모델의 능력 문제가 아니라 데이터 품질의 문제입니다.

절반이 뚫린다면 방어는 어떻게 해야 할까요. 직관적으로 떠오르는 첫 카드는 프롬프트입니다. 에이전트에게 "너는 신중한 과학자다. 근거가 불확실하면 결론을 유보하라"고 태도를 주문하는 방식입니다. 연구팀은 이 scientist persona 완화책을 실제로 적용했습니다. 공격 성공률은 49.56%에서 16.67%로 내려갔습니다. 분명한 개선입니다. 그러나 여전히 여섯 건 중 한 건은 조작된 결론이 통과했습니다. 절반의 방어입니다.

두 번째 카드는 데이터 쪽에 있었습니다. 에이전트의 태도가 아니라, 에이전트가 집어 오는 데이터의 출처를 검증하는 방식입니다. 인용 근거, 소셜 마커, 통계적 이상치, 연관 데이터셋, 포이즈닝 신호 다섯 항목을 검색 시점에 대조하는 프로버넌스 감사를 붙이자, 공격 성공률은 0%로 떨어졌습니다. 완전 방어입니다.

아래 막대는 이 세 박자를 나란히 놓은 것입니다. 무방어 49.56%, 프롬프트 완화 16.67%, 프로버넌스 감사 0%. 무방어에서 완전 방어로 건너뛰는 이 격차에 방어의 진짜 교훈이 들어 있습니다.

왜 태도 교정은 반쪽이고 출처 검증만 완전할까요. 프롬프트 완화는 에이전트가 결론을 내리는 태도를 바꾸는 시도입니다. 하지만 오염은 태도의 문제가 아니라 입력의 문제입니다. 아무리 신중한 태도를 갖춰도, 근거로 삼는 데이터의 출처가 검증되지 않았다면 에이전트는 어긋난 숫자를 성실하게 신뢰합니다. 반대로 프로버넌스 감사는 문제의 뿌리, 즉 데이터의 출처 자체를 검색 시점에 검증합니다. 잘못된 근거를 애초에 걸러 내면 태도가 어떻든 조작된 결론이 설 자리가 없습니다.

공격을 0%로 되돌린 프로버넌스 감사는 거창한 시스템이 아닙니다. 다섯 개의 질문을 검색 시점에 데이터에 던지는 체크리스트에 가깝습니다. 에이전트가 어떤 데이터를 인용하기 직전에, 그 데이터의 출처를 다섯 축으로 대조합니다. 하나라도 신호가 잡히면 그 소스는 근거에서 배제됩니다.

※ 위 다섯 항목은 논문의 요약 레벨 표현을 정리한 것으로, 원문 §완화책의 세부 표현과 다를 수 있습니다.

이 다섯 항목의 진짜 가치는 "새로 만들 필요가 없다"는 데 있습니다. 인용 근거·연관 데이터셋·통계 분포는 이미 기존 데이터 계보 표준이 다루는 필드입니다. OpenLineage 같은 무료 오픈소스 계보 표준, MLCommons의 Croissant 같은 데이터셋 메타데이터 표준이 존재합니다. 프로버넌스 감사는 이 위에 얹는 검색 시점 대조 레이어에 가깝습니다. 신규 인프라를 세우는 일이 아니라, 이미 있는 계보 정보를 검색 파이프라인의 게이트에서 한 번 더 확인하는 일입니다.

비용은 낮은데, 시장의 82%는 공백이다

경량 데이터 계보 문서화의 일반 벤치마크는 AI 시스템당 초기 2~4시간 수준입니다. 완전 방어책치고는 진입 장벽이 낮습니다. 그런데 데이터 계보 전용 도구를 실제로 쓰는 기업은 18%에 그칩니다(TDWI 2026). 나머지 82%는 계보 도구 자체가 없습니다. 저비용 완전 방어책이 존재하는데, 시장의 대다수가 그것을 대조할 최소한의 인프라조차 갖추지 못한 상태입니다. 5항목 감사가 파고들 공백이 바로 여기입니다.

데이터 품질 논의는 오랫동안 학습 데이터에 머물렀습니다. 학습 코퍼스가 오염되면 모델 내부의 표현이 왜곡된다는 이야기입니다. 이번 연구는 그 경계를 런타임으로 밀어냅니다. 완벽하게 학습된 모델이라도, 실시간으로 오염된 공개 데이터를 검색해 인용하는 순간 무결성이 무너집니다. 검증의 질문이 "이 모델은 무엇을 학습했는가"에서 "이 에이전트는 지금 무엇을 집어 오는가"로 옮겨 가야 하는 이유입니다.

그런데 그 "지금 집어 오는 것"의 규모가 사람이 검증할 수 있는 수준을 한참 넘어섭니다. 섹션 1의 파이프라인 도식에서 첫 칸에 놓였던 "공개 저장소", 곧 에이전트가 실시간으로 뒤지는 HuggingFace와 GitHub가 실제로 얼마나 큰지를 숫자로 놓으면 그 간극이 한눈에 드러납니다.

가장 활발히 쓰이는 에이전트 용도가 하필 리서치와 요약입니다. 즉 이 위협이 겨냥하는 표면이 실제 사용의 중심과 정확히 겹칩니다. 개별 저장소의 메타데이터를 사람이 일일이 검증하는 것은 구조적으로 불가능합니다. 자동화된 프로버넌스 진단이 필요한 이유가 여기서 정량으로 드러납니다.

탐지되지 않은 채 흐르는 것들

이 구조는 과학 무결성의 오래된 문제와 공명합니다. 논문 철회는 2023년 사상 최다인 약 1.4만 건대를 기록했고, 누적 철회는 6.6만 건을 넘었습니다. 그런데 페이퍼밀이 2000~2022년 유통한 것으로 추정되는 논문은 약 40만 편에 이르는 반면, 실제 철회된 것은 5.5만 편 수준입니다. 대부분이 탐지되지 않은 채 문헌 속을 흐르고 있다는 뜻입니다. 이 갭의 모양이, 논문이 측정한 6% 탐지율과 놀랍도록 닮았습니다.

오해를 피하기 위해 한 가지를 분명히 해 둡니다. 과학계의 재현성 위기(2016년 Nature 설문에서 연구자의 70% 이상이 다른 사람의 실험을 재현하지 못했다고 답한 그 문제)는 이번 논문의 간접 포이즈닝과 직접적인 인과 관계가 없습니다. 재현성 위기는 데이터가 이미 얼마나 취약한 토대 위에 서 있는지를 보여주는 배경일 뿐, 이번 실험 결과의 원인이나 결과로 엮어서는 안 됩니다. 다만 그 취약한 토대 위에서, 자동화된 문헌 리뷰와 메타분석 에이전트가 오염된 근거를 절반의 확률로 삼킨다면, 파급의 방향은 분명합니다.

페블러스의 시선

대부분의 매체는 이 논문을 "새로운 AI 취약점" 뉴스로 소비할 것입니다. 우리가 이 연구에 주목하는 이유는 조금 다릅니다. 이 결과는 데이터 품질을 오래 다뤄 온 사람이 늘 해 온 주장을 정량 실험으로 입증합니다. 출처와 계보가 검증되지 않은 데이터는 그 자체로 리스크라는 주장입니다. 출처 검증이 없을 때 프론티어 에이전트의 과학 사기 유통 확률은 49.56%, 5항목 감사를 붙이면 0%. 데이터 품질이 모델 능력의 부수적 변수가 아니라 무결성의 주 변수라는 사실이 이보다 선명하게 드러나기 어렵습니다.

검증 경계가 런타임으로 이동한다

지금까지 데이터 품질 검증은 학습 시점에 집중돼 있었습니다. 이 연구는 그 경계를 검색 시점, 즉 런타임으로 확장합니다. 완벽하게 학습된 모델도 실시간으로 오염된 데이터를 집어 오면 무너지기 때문입니다. 센서와 환경 데이터를 실시간으로 수집하는 피지컬 AI 맥락에도 같은 논리가 그대로 옮겨 갑니다. 무엇을 학습했는가와 지금 무엇을 집어 오는가는 별개의 검증 축이며, 후자는 이제껏 대체로 비어 있었습니다.

즉시 실행 가능한 질문

RAG와 연구 에이전트를 운영하는 조직에게 이 보고서가 남기는 질문은 추상적이지 않습니다. "우리는 검색 소스의 프로버넌스를 감사하고 있는가." 논문의 5항목 감사는 배포 가능한 체크리스트이고, 비용은 시스템당 2~4시간 수준이며, 기존 계보 표준 위에 얹는 레이어로 이식할 수 있습니다. 시장의 82%가 계보 도구조차 없는 지금이, 이 질문을 실무 절차로 옮길 타이밍입니다.

참고문헌

학술 (1차 · 비교 기준선)

• 1.Gyevnár, B., Kasirzadeh, A., & Shah, N. B. (2026). "Distributed Denial of Science: How Indirect Data Poisoning of AI Systems Can Industrialize Scientific Fraud." arXiv:2607.10712. arxiv.org/abs/2607.10712 — 이 글의 1차 소스
• 2.Longpre, S., et al. (2023). "The Data Provenance Initiative: A Large-Scale Audit of Dataset Licensing & Attribution in AI." arXiv:2310.16787 / Nature Machine Intelligence. — HuggingFace 라이선스 66% 오분류
• 3.Anthropic, UK AI Security Institute, & Alan Turing Institute. (2025). "A small number of samples can poison LLMs of any size." — 250문서 백도어
• 4.Zou, W., et al. (2025). "PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models." arXiv:2402.07867 / USENIX Security 2025. — RAG 코퍼스 포이즈닝 90% ASR

정책 · 통계 · 표준

• 5.Retraction Watch Database. — 누적 철회 6.6만 건 이상, 2023년 약 1.4만 건대(사상 최다).
• 6.Nature. (2016). "Is there a reproducibility crisis?" (연구자 1,576명 설문) 및 페이퍼밀 탐사보도(2026). — 페이퍼밀 추정 유통 약 40만 편.
• 7.Hugging Face 공식 통계 / GitHub Octoverse 2025. — 공개 데이터셋·저장소 규모.
• 8.MLCommons. "Croissant: A Metadata Format for ML-Ready Datasets" / OpenLineage (Linux Foundation). — 데이터셋 메타데이터 및 계보 표준.
• 9.TDWI. (2026). 데이터 계보 도구 채택률 설문. — 계보 전용 도구 사용 기업 18%.

이 글은 arXiv 2607.10712의 실측치를 1차 근거로 삼았고, 서로 어긋나는 2차 통계(RAG 도입률·AI 생성 논문 비율 등)는 방법론이 투명한 출처를 택했으며 추정치는 "추정"으로 명시했습니다.