Executive Summary

네 가지 수치가 이 연구의 성취와 그 배경을 압축한다. 빈 입력 생성 정확도와 효율은 KREPE가 무엇을 해냈는지를, Wikidata 결손 규모는 그 일이 왜 필요한지를, 관계 예측 성능은 생성을 배운 모델이 순위화 과제까지 1위로 끌어올렸음을 보여 준다.

지식그래프(Knowledge Graph)는 사람의 지식을 컴퓨터가 다룰 수 있게 구조로 적어 둔 것이다. 검색, 추천, 질의응답, 추론 시스템이 모두 이 구조 위에서 돌아간다. 가장 기본 단위는 삼중항(triplet)이다. 예를 들어 "아인슈타인 — 수상 — 노벨물리학상"처럼 (주어, 관계, 목적어) 세 칸으로 하나의 사실을 적는다.

문제는 세상의 사실이 세 칸으로 깔끔하게 떨어지지 않는다는 데 있다. "아인슈타인이 노벨물리학상을 받았다"는 문장만으로는 언제, 무슨 공로로가 빠진다. 그래서 Wikidata나 YAGO 같은 대형 지식베이스는 기본 삼중항에 보조적인 키-값 쌍을 덧붙인다. 이 보조 정보를 한정자(qualifier)라고 부른다. '연도=1921', '공로=광전효과' 같은 한정자를 붙여 복잡한 사실을 표현하는 지식그래프를 초관계형 지식그래프(Hyper-relational Knowledge Graph, HKG)라고 한다.

1.1 Wikidata조차 절반 넘게 비어 있다

초관계형 구조는 표현력을 높이지만, 동시에 빈칸을 늘린다. 칸이 많아질수록 채워지지 않은 칸도 많아지기 때문이다. 세계 최대 협업형 지식베이스인 Wikidata의 통계가 이 점을 분명히 보여 준다. 아래 표는 특정 속성에서 "현재 채워진 사실"과 "마땅히 있어야 하지만 비어 있는 사실"의 규모를 비교한 것이다.

수백 명의 편집자가 십수 년간 다듬어 온 Wikidata에서도 어떤 속성은 빠진 사실이 채워진 사실의 열두 배가 넘는다. 한정자의 밀도는 데이터셋마다 더 들쭉날쭉하다. 같은 초관계형 벤치마크라도 WD50K는 전체 사실의 13.6%만 한정자를 갖고, WikiPeople⁻은 2.6% 수준에 머문다. 모집단이 다른 수치이므로 직접 비교할 값은 아니지만, 한 가지는 분명하다. 한정자가 풍부한 환경이든 희박한 환경이든, 구멍은 늘 있다.

그동안 초관계형 지식그래프를 채우는 일은 거의 전부 링크 예측(link prediction)이라는 틀로 다뤄졌다. StarE, GRAN, QUAD, Hy-Transformer 같은 대표 모델들이 모두 이 방식을 쓴다. 작동 원리는 이렇다. "거의 완성된 사실에서 엔티티나 관계 하나만 빠져 있다"고 가정하고, 그 빈자리에 들어갈 후보들을 점수로 매겨 가장 그럴듯한 것을 1순위로 올린다. 일종의 객관식 빈칸 채우기다.

이 방식은 잘 정의된 문제다. 빈칸이 하나라는 전제가 있으니, 후보 목록을 두고 순위만 잘 매기면 된다. 실제로 성능도 꾸준히 올라왔다. 한 선행 연구 계보에서 보고된 수치를 보면, 초기 StarE의 MRR(Mean Reciprocal Rank, 정답을 얼마나 앞 순위에 올렸는지 재는 지표)이 0.349였고, 이후 Hy-Transformer가 0.356으로 점진적으로 개선됐다.

그런데 이 모든 진전은 "빈칸은 하나"라는 가정 위에 서 있다. 1절에서 봤듯이 현실의 지식베이스는 그렇지 않다. 신규 엔티티를 등록하는 순간을 떠올려 보자. 새로 들어온 회사, 새로 출시된 제품, 처음 기록되는 인물에 대해서는 채워진 칸이 거의 없다. 빈칸이 하나가 아니라, 거의 전부가 빈칸이다. 이른바 콜드스타트(cold-start) 상황이다.

링크 예측은 이 상황을 다룰 수 없다. 채워진 맥락이 없으면 후보를 순위 매길 근거 자체가 사라지기 때문이다. 빈칸이 두 개, 세 개로 늘어나도 같은 문제가 생긴다. 어느 칸부터 채울지, 한 칸을 채운 결과가 다른 칸에 어떻게 영향을 주는지를 링크 예측의 틀로는 표현하기 어렵다.

연구팀이 내놓은 해법은 문제의 틀 자체를 바꾸는 것이었다. 빈칸 하나를 순위화하는 대신, "일부 또는 전체 구성 요소가 가려진 초관계형 사실로부터 유효한 새 사실을 만들어 낸다"는 새 과제를 정의했다. 이것이 사실 생성(Fact Generation)이다. 완성(completion)이 주어진 사실을 마저 채우는 일이라면, 생성(generation)은 거의 백지에서 새 사실을 빚어내는 일까지 포함한다.

3.1 세 가지 누락 패턴

사실 생성이 현실의 다양한 결손을 어떻게 끌어안는지는, 연구팀이 평가에 사용한 세 가지 설정에서 잘 드러난다. 아래 표는 각 설정이 어떤 상황에 해당하는지 정리한 것이다.

세 설정을 나란히 놓고 보면, 링크 예측은 사실상 Targeted의 특수한 경우(빈칸이 정확히 한 칸)에 해당한다. 사실 생성은 그 한 점을 양 끝으로 넓힌다. 한쪽 끝에는 단서가 전혀 없는 Scratch가, 다른 쪽에는 결손의 개수와 위치가 매번 달라지는 Arbitrary Masking이 있다. 즉 사실 생성은 링크 예측을 버리는 것이 아니라, 그것을 품으면서 더 넓은 현실을 덮는다.

KREPE라는 이름은 'Contextual HKG REPresentation learning via masked discretE diffusion'의 머리글자다. 우리말로 풀면 "마스크드 이산 확산을 이용한, 문맥 기반 초관계형 지식그래프 표현 학습"이다. 이름 안에는 세 가지 핵심 장치가 들어 있다. 가렸다가 복원하는 마스크드 이산 확산, 두 층위의 맥락을 끌어오는 문맥 메시지 전달, 그리고 온갖 결손을 미리 겪게 하는 bi-level noising이다.

4.1 마스크드 이산 확산 — 가렸다가 복원하기

확산 모델(diffusion model)은 요즘 이미지 생성에서 널리 쓰이는 방식이다. 원본 데이터에 점점 노이즈를 더해 망가뜨린 뒤, 그 과정을 거꾸로 되돌리며 원본을 복원하는 법을 배운다. 그런데 이미지의 픽셀은 연속된 값인 반면, 지식그래프의 엔티티와 관계는 ID로 표현되는 이산(discrete) 토큰이다. '아인슈타인'과 '노벨물리학상' 사이에 중간값이란 없다.

그래서 KREPE는 연속 공간의 확산이 아니라 이산 토큰에 맞는 마스크드 이산 확산(masked discrete diffusion)을 쓴다. 노이즈를 더하는 대신 토큰을 가리고(mask), 그 가려진 자리에 어떤 엔티티·관계가 들어갈지의 확률분포를 점진적으로 복원한다. 빈칸이 하나든 여럿이든 "가렸다가 복원한다"는 동작은 똑같으므로, 링크 예측과 사실 생성을 같은 메커니즘으로 처리할 수 있다.

4.2 문맥 메시지 전달 — 두 층위의 맥락을 함께 본다

가려진 칸을 잘 복원하려면 맥락이 필요하다. KREPE는 두 층위의 맥락을 동시에 끌어온다. 첫째는 하나의 사실 내부의 맥락이다. 한 사실 안에서 주어·관계·목적어·한정자는 서로를 제약한다. 수상 연도가 1921년이라면 들어갈 상의 후보가 좁혀지는 식이다. 둘째는 그래프 전체의 맥락이다. 비슷한 사실들이 그래프 어딘가에 이미 존재하므로, 그 패턴이 빈칸의 후보를 좁혀 준다.

이 두 맥락을 함께 반영하는 장치가 문맥 메시지 전달(contextual message passing)이다. 사실 내부의 의존성과 그래프 전체의 상관관계를 한 번에 모델에 흘려보냄으로써, 단서가 적은 상황에서도 그럴듯한 후보를 추려 낸다.

4.3 bi-level noising — 다양한 불완전성을 미리 겪게 한다

학습 과정에서 KREPE는 지식그래프의 일부 사실을 관측 집합으로 삼고, 나머지 사실은 임의로 가려서 생성 대상으로 쓴다. 여기에 더해, 관측되는 그래프 구조와 쿼리 내부의 마스크 패턴을 동시에 흔드는 bi-level noising(이중 수준 노이즈) 전략을 도입했다. 그래프를 얼마나 많이 보여 줄지, 쿼리에서 몇 칸을 가릴지를 두 축에서 함께 변화시키는 것이다.

덕분에 모델은 학습 중에 "조금 빈" 상황부터 "거의 다 빈" 상황까지 온갖 수준의 불완전성을 미리 겪는다. 그 결과 추론 단계에서 부분적으로 관측된 사실을 완성하는 일과, 완전히 빈 입력에서 새 사실을 생성하는 일을 하나의 프레임워크로 처리할 수 있다. 3절에서 본 Scratch·Targeted·Arbitrary Masking이 따로 학습한 별개 모델이 아니라, 한 모델의 서로 다른 입력 조건일 뿐인 이유가 여기에 있다.

연구팀은 WD50K, WikiPeople⁻, WikiPeople이라는 세 가지 표준 초관계형 지식그래프 벤치마크에서 KREPE를 평가했다. 아래 수치는 모두 ICML 2026 논문(arXiv:2605.24064)이 보고한 값으로, 여기서는 단정하기보다 논문이 보고한 대로 인용한다.

5.1 생성을 배웠더니 순위화도 좋아졌다

첫 번째 결과는 반직관적이다. KREPE는 생성을 목표로 학습했는데도, 기존 링크 예측 과제에서 최신 기법과 동등하거나 더 높은 성능을 냈다. 특히 관계 예측에서는 모든 데이터셋과 설정에서 기존 방법들을 능가하며 1위를 기록했다고 논문은 보고한다. 관계 예측 MRR은 WD50K에서 0.963(차선 기법 0.950 대비 소폭 우위), WikiPeople⁻에서 0.984 수준으로 보고됐다.

이는 통념을 뒤집는다. 그동안 생성형 학습 목표와 판별형(순위화) 성능은 서로 다른 트레이드오프에 있다고 여겨졌다. KREPE의 결과는 가려진 구성 요소의 확률분포를 제대로 추정하도록 배우면, "빈칸 하나 순위화"가 그 능력의 부분집합으로 따라온다는 점을 보여 준다.

5.2 빈 입력에서 프런티어 LLM을 넘다

두 번째 결과가 이 연구의 백미다. 완전히 빈 입력에서 새 사실을 만드는 가장 어려운 Scratch 설정에서, KREPE는 GPT-5.2와 Gemini 3 Pro를 활용한 여러 LLM 기준선을 큰 격차로 앞섰다. 아래 표는 WikiPeople⁻ Scratch 설정에서 논문이 보고한 핵심 수치다.

숫자가 말하는 바는 정확도와 효율 두 가지다. KREPE는 더 자주 유효하고 새로운 사실을 만들었고(0.855 대 0.46~0.60), 그러면서 유효한 사실 하나를 얻기까지의 헛수고도 훨씬 적었다(2.85회 대 최대 27.58회, 약 10배 효율). LLM이 더 똑똑하지 않다는 뜻은 아니다. 일반 텍스트 확률로 사실을 흉내 내는 방식이, 그래프 구조와 사실 내부 문맥을 직접 학습한 방식보다 이 특정 과제에서 불리했다는 뜻이다.

세 가지 누락 패턴(Scratch·Targeted·Arbitrary Masking) 모두에서 KREPE는 일관되게 우수했다고 논문은 보고한다. 특히 한정자가 희박한 WikiPeople⁻의 Scratch 설정에서 유효·신규 사실 비율이 가장 높고, 유효한 사실 하나를 만드는 데 필요한 시도 횟수도 가장 낮았다.

KREPE의 기여는 초관계형 지식그래프 완성을 후보 순위화 문제에서 생성형 추론 문제로 넓혔다는 데 있다. 이 확장은 곧바로 실무의 활용처로 이어진다. 지식베이스 자동 확장, 지식그래프 기반 질의응답, 정보 검색, 추천, 과학 지식 발견, 엔터프라이즈 지식 관리가 모두 후보다. 공통점은 하나다 — 정보가 거의 없는 자리에 근거 있는 새 사실을 채워야 한다는 것.

6.1 확산 × 지식그래프라는 연구 물결 속에서

KREPE는 갑자기 솟은 단발 연구가 아니다. 2024년 전후로 확산 모델을 지식그래프에 적용하는 흐름이 형성됐다. KGDM(AAAI 2024), DiffKG(WSDM 2024 Oral) 등이 그 예다. 다만 이들은 대부분 연속 공간 확산을 쓰거나 추천·완성을 보조하는 데 초점을 뒀다. KREPE의 차별점은 이산 토큰에 맞춘 마스크드 이산 확산을 도입하고, 완성을 넘어 생성으로 과제 자체를 다시 정의했다는 점이다. 흐름 속의 변곡점으로 자리매김할 만하다.

6.2 지식그래프 수요는 RAG와 함께 커진다

왜 지금 이 연구가 기업에 중요한가. 지식그래프 시장은 대략 19억 달러(2026년 추정)에서 89억 달러(2032년 추정) 규모로, 연 20~29% 안팎의 성장이 전망된다. 기관과 집계 범위에 따라 편차가 크므로 단일 수치로 단정하기는 어렵지만, 방향은 한결같다. Gartner는 일찍이 2025년까지 데이터·분석 혁신의 80%가 그래프 기술을 활용할 것으로 내다봤다. 여기에 검색증강생성(RAG)과 GraphRAG의 부상이 겹치면서 "정확한 구조화 지식"의 수요가 빠르게 커지고 있다. 환각 없이 새 사실을 채우는 KREPE류 접근의 실용 가치가 올라가는 배경이다.

6.3 데이터 품질의 눈으로 다시 읽기

이 글을 데이터 품질의 관점에서 정리하면 교훈은 두 가지다. 첫째, 결손은 상수다. 가장 잘 관리된 지식베이스에도 구멍은 늘 있고, 하나가 아니라 여러 개다. 따라서 "빈칸이 하나라는 가정"에 기댄 도구는 정작 데이터가 가장 부족한 자리에서 무력하다. 둘째, 모델의 능력은 데이터의 구조에서 나온다. 같은 사실 생성 과제에서 텍스트 확률을 외운 LLM보다 구조와 문맥을 직접 학습한 모델이 더 정확하고 효율적이었다는 결과가 이를 뒷받침한다.

두 교훈은 데이터를 모델이 쓸 수 있는 형태 — 구조화되고, 정합적이며, 가능한 한 완전한 형태 — 로 다듬는 일이 곧 성능이라는 명제로 모인다. 결손을 후보 순위화로 메울지 생성으로 확장할지는 이제 지식그래프를 운영하는 팀이 마주할 실질적 선택지다. RAG로 환각을 줄이듯, 구조화된 사실 생성은 "근거 있는 새 사실 채움"의 또 다른 축이 될 수 있다.

학술 논문

• 1.Lee, J., Kim, S., & Whang, J. J. (2026). "Generative Representation Learning on Hyper-relational Knowledge Graphs via Masked Discrete Diffusion." ICML 2026. arXiv:2605.24064
• 2.Galkin, M. et al. (2020). "Message Passing for Hyper-Relational Knowledge Graphs (StarE / WD50K)." EMNLP 2020. arXiv:2009.10847
• 3."DHGE: Dual-View Hyper-Relational Knowledge Graph Embedding" (데이터셋 통계 출처). arXiv:2207.08562
• 4."GPT 기반 Wikidata 완성 연구" (지식베이스 불완전성 정량). arXiv:2310.14771
• 5.HKUDS. "DiffKG: Knowledge Graph Diffusion Model for Recommendation." WSDM 2024 (Oral).
• 6."KGDM: Knowledge Graph Diffusion Model for Embedding." AAAI 2024 (확산 × 지식그래프 임베딩).
• 7."Knowledge Graphs: Opportunities and Challenges" (리뷰). PMC10068207

시장·통계

• 8.Wikidata:Statistics (아이템 약 1억 2,229만 건, 2025-08 기준).
• 9.Gartner. 그래프 기술 채택 전망(2025년까지 데이터·분석 혁신의 80%), Knowledge Graph Hype Cycle "Slope of Enlightenment".
• 10.Research and Markets — Knowledge Graph Market (약 19억 달러(2026) → 89억 달러(2032)).
• 11.Market Research Future — Knowledge Graph Market (CAGR 18.62%, 2025–2035).
• 12.MarketsandMarkets — Retrieval-Augmented Generation (RAG) Market.

생태계

• 13.migalkin/StarE — 초관계형 지식그래프 메시지 전달 구현.