Executive Summary

주요 수치

출처: arXiv:2608.04536

벤치마크가 요구하는 것은 열 하나가 아니라 열 묶음이고, 지금 기술은 그 묶음의 절반쯤에서 멈춘다.

HRS(Health and Retirement Study)는 미국 중고령자 수만 명을 수십 년간 따라다니며 건강과 소득, 가족 관계를 물어 온 패널 조사다. 노년학 연구자들이 가장 많이 쓰는 데이터 중 하나이고, 문항 하나하나에 코드북이 붙어 있다. 사회적 고립이 건강한 노화에 어떤 영향을 주는지 보려는 연구자가 이 데이터를 열었다고 하자. 카탈로그에서 social isolation을 검색하면 아무것도 나오지 않는다. 그런 이름의 열은 없기 때문이다.

실제 논문들이 한 일은 다르다. 연구자들은 가구원 수, 자녀와 떨어져 사는 물리적 거리, 종교 활동 참여 빈도, 자원봉사 참여 같은 항목을 골라 하나의 척도로 묶었다. 네 항목은 따로 떼어 놓으면 고립과 별 상관이 없어 보인다. 가구원 수는 주거 형태를 묻는 문항이고 종교 활동 참여는 신앙 생활을 묻는 문항이다. 그러나 함께 묶이는 순간 심사를 통과할 만한 측정치가 된다.

쓸모 있는 열은 질의와 닮아 있지 않을 수 있다. 논문은 그 열이 방어 가능한 측정치 안의 보완적 지표로서만 의미를 가진다고 적었다. 검색 시스템이 재는 것은 이름과 설명의 닮음인데, 그 닮음이 애초에 정답과 상관이 없다는 뜻이다.

조작적 정의는 사회과학에서 오래된 절차다. 눈에 보이지 않는 개념을 실제로 관찰할 수 있는 항목으로 바꾸어 놓는 일을 뜻한다. 논문은 이 절차를 데이터 발견의 한복판으로 끌어와 형식을 갖춰 정의한다. 연구 질문에는 사회적 고립처럼 재야 할 핵심 역할이 하나씩 들어 있다. 조작적 정의란 그 역할마다 열의 묶음을 하나씩 짝지어 주는 대응이고, 짝지어진 열들은 따로 쓰이든 함께 묶이든 그 역할을 과학적으로 방어할 수 있게 재야 한다.

이 정의가 왜 새로운지는 인접한 과제와 나란히 놓아 보면 드러난다. 자연어를 SQL로 바꾸는 text-to-SQL 연구에는 스키마 링킹이라는 단계가 있다. 사용자가 어제 LA에서 뉴욕으로 간 항공편 수를 물으면, 그 질문에 대응하는 테이블과 컬럼을 골라내는 일이다. 사용자는 자기가 무슨 데이터를 원하는지 이미 알고 있고, 모르는 것은 그 데이터가 이 스키마에서 어떤 이름으로 불리는가뿐이다.

OADD에서는 그 전제가 무너진다. 사회적 고립을 재려는 연구자는 컬럼 이름을 몰라서 막히는 것이 아니다. 무엇으로 잴지를 아직 정하지 않았기 때문에 막힌다. 두 과제는 질문을 받아 컬럼 목록을 내놓는다는 점에서 겉모습이 같지만, 사용자가 이미 쥐고 있는 것부터 정답의 크기까지 갈라진다.

최근 몇 년 사이 나온 데이터 디스커버리 연구도 대부분 스키마 링킹 쪽 전제 위에 서 있다. 여러 테이블에 흩어진 값을 셀 단위까지 훑어 주는 Octopus, 메타데이터를 확장 가능한 형태로 정의해 검색 범위를 넓히는 Humboldt가 그런 예다. 있는 데이터에서 관련 있는 데이터를 찾아내는 성능은 꾸준히 좋아졌다. 다만 무엇이 관련 있는지는 이미 정해져 있다는 전제만은 그대로 남았다. OADD는 그 전제를 건드린다.

새 과제를 정의하는 쪽보다 어려운 것은 정답지를 만드는 쪽이다. 사회적 고립을 재는 올바른 열 묶음이 무엇인지 누가 판정할 것인가. 연구팀이 택한 답은 이미 발표된 논문이었다. 심사를 통과해 실린 실증 연구는 연구 질문에서 측정 열까지 가는 경로를 한 번씩 실제로 밟아 본 기록이다. 그 기록을 역으로 채굴하면 사람 손으로 새로 만들 필요 없는 정답지가 나온다.

3.1문헌 9,954건을 논문 111편으로 좁혔다

출발점은 2026년 6월 기준 9,954건에 이르는 HRS 관련 문헌 목록이었다. 여기서 전문을 확보한 450편 가운데 실증 분석이면서 측정치가 분석의 핵심인 논문 364편이 남았고, HRS 열을 두 개 이상 쓰면서 근거를 온전히 밝힌 논문까지 좁히자 111편이 됐다. 다음 단계에서 연구팀은 각 논문의 연구 질문을 뽑되 이미 정해진 측정 방법은 지웠다. 매일의 차별 경험이 면역 건강과 관련이 있는가처럼 추상적인 형태만 남기고, 실제로 쓰인 필드 이름은 숨긴 것이다.

열을 붙이는 작업은 거칠게 시작해 점점 좁히는 방식으로 진행했다. 논문 본문과 보충자료에서 관찰 방법과 구성요소를 정리하고, 측정치 이름과 관찰 항목과 코드북 문구로 각각 후보를 검색한 뒤, LLM이 명백히 무관한 후보를 걷어낸다. 마지막으로 측정 기록과 코드북 증거를 함께 놓고 판단하되 확신이 서지 않으면 매핑을 확정하지 않았다. 별도 논문 20편을 사람이 직접 라벨링해 대조한 결과 자동 채굴의 재현율은 0.942, 사람이 자동 라벨을 그대로 유지한 비율은 0.946이었다.

3.2정답 하나에 필드 열여섯 개가 딸려 온다

이렇게 완성된 OADD-Bench는 논문 111편에서 뽑은 질문 160개, 질문-컬럼 라벨 4,682개, 서로 다른 HRS 식별자 2,032개로 이루어진다. 질문 하나에 걸린 정답 열은 적으면 2개, 많으면 136개이고 중앙값이 21개다. 열 하나를 정확히 찾는 문제가 아니라는 사실이 이 분포에 그대로 드러난다.

논문들이 실제로 쓴 측정 구성요소는 873개로 정리됐다. 질문 하나가 여러 구성요소로 나뉘고, 구성요소마다 다시 여러 열이 붙는다. 정답 열의 평균이 29.3개로 중앙값보다 높은 까닭도 여기 있다. 열을 몇 개 찾았는가와 구성요소 하나를 온전히 채웠는가는 그래서 서로 다른 질문이 된다.

앞서 나온 차별 경험 질문을 예로 들면 정답은 이렇게 생겼다. 차별 쪽에서는 존중받은 정도, 서비스 질, 지적 능력에 대한 평가, 위협, 의료 현장에서 받은 대우를 묻는 6개 문항을 평균 낸다. 면역 쪽에서는 CD4T와 CD8T, B세포 수를 포함한 10개 혈액검사 필드를 조합한다. 서로 다른 조사 영역에 흩어져 있던 16개 필드가 하나의 측정으로 묶여야 비로소 질문에 답할 수 있다.

노화 인식과 일상 독립성을 다룬 질문도 구조가 같다. 노화를 어떻게 보는지 묻는 8개 문항을 평균 내고, 식사 준비와 쇼핑, 전화, 복약, 금전 관리를 할 수 있는지 묻는 5개 문항을 합산해 0점에서 5점까지의 손상 척도로 바꾼다. 어느 쪽도 이름만 보고 고를 수 있는 열이 아니다.

연구팀은 세 계열의 방법을 같은 벤치마크에 올렸다. 키워드와 임베딩으로 바로 찾는 직접 검색, text-to-SQL에서 가져온 스키마 링킹, 그리고 논문이 직접 제안한 LLM 기반 OADD 에이전트다. 평가 지표는 Recall@5R로, 정답 열 개수의 다섯 배까지 후보를 내놓아도 된다고 허용한 뒤 그중 정답이 몇 퍼센트나 들어 있는지를 잰다. 정답이 21개라면 105개를 던져도 된다는 뜻이니, 검색하는 쪽에 상당히 너그러운 조건이다.

직접 검색 계열은 다섯 배를 허용받고도 정답의 5분의 1을 못 채웠다. 이름과 설명의 유사도를 재는 방식으로는 애초에 닿지 않는 정답이라는 뜻이다. 스키마 링킹 계열은 편차가 컸다. 질문을 여러 하위 질의로 쪼개 넓게 훑는 AutoLink가 0.401까지 올라간 반면, 정답 스키마가 좁게 정해져 있다고 가정하는 방법들은 0.05 부근에 머물렀다. 문제의 성격이 바뀌면 같은 계열 안에서도 성적이 갈린다.

논문이 제안한 에이전트가 0.465로 가장 좋았지만, 그 숫자는 정답 열의 절반 이상을 놓쳤다는 뜻이기도 하다. 질문 단위로 보면 사정이 더 분명해진다. 필요한 열을 하나도 빠뜨리지 않고 찾아낸 질문은 160개 중 50개, 31.3%에 그쳤다. AutoLink는 43개, BGE-base는 16개였다. 부분 점수가 아니라 실제 분석에 쓸 수 있느냐로 기준을 옮기면 질문 열 개 중 일곱은 여전히 실패한다.

실패의 모양도 특징적이다. 에이전트가 어떤 측정 구성요소에서 최소 한 개 필드라도 맞힌 비율은 61.0%였는데, 그 구성요소의 모든 필드를 맞힌 비율은 37.0%로 떨어졌다. 방향은 잡지만 끝까지 채우지 못한다는 뜻이다. 앞의 사례로 말하면 혈액검사 필드 열 개가 필요하다는 것까지는 알아내고, 그중 여섯 개만 담아 오는 식이다. 조합이 불완전하면 척도 자체가 성립하지 않으니 이 차이는 소수점 이하의 문제가 아니다.

모델을 키우면 나아지기는 한다. nano에서 mini로, 다시 GPT-5.5로 갈수록 0.272, 0.319, 0.465로 올라갔다. 다만 가장 큰 모델조차 절반 아래에 머물렀다는 사실이 남는다. 논문이 이 결과를 스케일로 해결될 문제가 아니라고 읽는 근거다.

에이전트가 절반을 놓친 조건을 다시 보면, 그 절반은 문서가 없어서 놓친 것이 아니다. HRS는 문서화가 잘된 축에 드는 데이터셋이고 에이전트는 코드북과 컬럼 설명을 직접 훑었다. 열마다 무엇을 담고 있는지는 이미 적혀 있었다. 적혀 있지 않은 것은 그 열이 어떤 개념의 지표로 쓰일 수 있는가였다.

데이터 카탈로그를 운영해 본 사람에게 이 구분은 낯설지 않을 것이다. 컬럼 설명과 태그를 붙이는 일은 대체로 열을 개별적으로 설명하는 작업이다. 이 열은 무엇인가에 답한다. 반면 사회적 고립을 재려면 가구원 수와 종교 활동 참여를 함께 봐야 한다는 지식은 열 하나에도, 열 전체에도 붙어 있지 않다. 그 지식은 지금까지 논문 안에, 그리고 그 데이터를 오래 다뤄 온 사람의 머릿속에 있었다.

AI-Ready Data를 잘 태깅된 데이터로 이해해 온 조직이라면 이 논문은 그 정의를 한 겹 밀어 올린다. 실무 과제로 옮기면 두 가지가 남는다.

• • 우리 데이터로 무엇을 잴 수 있는지가 어딘가에 적혀 있는가. 컬럼 설명과 태그 위에 이 열들이 어떤 개념의 지표인지를 기록하는 층이 필요하다. 새 열을 만드는 일이 아니라 이미 있는 데이터에 대한 조작적 정의를 문서로 남기는 일에 가깝다.
• • 그 기록은 어디서 나오는가. 논문이 택한 방법이 힌트가 된다. 이 데이터로 이미 수행된 분석, 즉 사내 리포트와 대시보드, 분석 노트북에는 개념에서 열로 가는 경로가 이미 한 번씩 밟혀 있다. 그 경로를 남기지 않고 결과만 저장하면 다음 사람도, 에이전트도 처음부터 다시 헤맨다.

이 논문의 공저자인 재거디시는 2026년 SIGMOD 에드거 F. 코드 혁신상을 받았다. 사람이 데이터 시스템을 실제로 쓸 수 있게 만드는 문제, 곧 사용성을 데이터 관리의 일급 설계 원칙으로 세운 공로였다. 메타데이터에 무엇을 더 적을 것인가라는 질문도 같은 계열에 놓인다. 데이터가 정확한가를 넘어, 쓰려는 쪽이 이 데이터로 무엇을 할 수 있는지 알아볼 수 있는가를 묻기 때문이다. 그 쓰려는 쪽에 이제 에이전트가 들어왔다.

논문은 이 문제를 풀었다고 말하지 않는다. 잣대를 만들어 지금 어디에 서 있는지 보여준 데까지가 이 연구의 몫이다. 남은 질문은 데이터를 가진 쪽으로 넘어온다. 지역 소득 불평등이든 고객 이탈 위험이든, 조직이 반복해서 재는 개념이 있다면 그 개념을 어떤 열로 재기로 했는지가 데이터 옆에 적혀 있는가. 적혀 있지 않다면 그 판단은 매번 사람의 기억에서 다시 꺼내 오는 수밖에 없다.

학술 논문

• 1.Chen, Houming; Jagadish, H. V. (2026). "From Research Questions to Columns: Operationalization-Aware Data Discovery." arXiv:2608.04536 [cs.DB].
• 2.(2026). "Octopus: A Lightweight Entity-Aware System for Multi-Table Data Discovery and Cell-Level Retrieval." arXiv:2601.02304.
• 3.(2024). "Humboldt: Metadata-Driven Extensible Data Discovery." arXiv:2408.05439.

배경 자료

• 4.H. V. Jagadish — 2026 SIGMOD Edgar F. Codd Innovations Award 수상. Wikipedia
• 5.arXiv. "cs.DB Recent Submissions." 데이터베이스 분야 최신 논문 목록.