Executive Summary

주요 수치

네 숫자가 이 설계의 효과와 비용을 함께 보여 줍니다. 결함은 전부 막혔고 감사 기록은 전부 정확했지만, 쓰기 한 건의 지연은 두 배가 됐습니다.

출처: arXiv 2608.16813 (2026-08-17) · 모든 수치는 시드 42로 고정한 Census 실행 기준

같은 날 arXiv에 올라온 미시간대 연구팀의 Walk Before You Run은 익숙한 문제를 다룹니다. 데이터 분석 에이전트가 스프레드시트를 읽기 전에 그 안에 실제로 무엇이 들어 있는지를 먼저 이해하게 만드는 일입니다. 논리 테이블을 식별하고 컬럼의 의미를 해석하고 키와 관계를 복원하는 단계를 명시적으로 두고, 사람이 그 결과를 검토할 수 있게 하자는 제안입니다. 데이터를 모델이 소비하기 좋게 다듬는 방향입니다.

이 논문이 벤치마크에서 확인한 격차도 표면이 아니라 구조 쪽에 있었습니다. 시트에서 표와 컬럼을 뽑아내는 일은 대체로 해내는데, 논리적 구조를 이해하고 관계를 복원하는 자리에서 가장 크고 끈질긴 격차가 남았습니다. 한 과제에서는 팀 쌍마다 보너스와 승자를 담은 시트가 행 단위 표 모양이 아니라는 이유로 표 자체가 인식되지 않았고, 그 표에 걸렸어야 할 관계도 함께 사라졌습니다. 사람이 검토할 수 있는 읽기 전 체크포인트를 두자는 제안이 여기서 나옵니다.

Quipu 논문은 그 반대편에서 시작합니다. 첫 문장이 이렇습니다. 이제 에이전트가 지식그래프를 쓰는데, 지식그래프 저장소는 여전히 사람이 큐레이터이던 시절에 정해진 기본값을 지고 있다는 것입니다. 논문이 지목한 기본값은 네 가지이고, 하나씩 보면 전부 합리적이지만 에이전트 워크로드에서 함께 놓이면 버티지 못한다고 말합니다.

논문이 제안한 태도는 단순합니다. 엄격하게 시작하고, 엄격함의 비용은 에이전트가 지게 하라는 것입니다. 사람이 큐레이터일 때는 엄격한 저장소가 곧 사람의 재작업을 뜻해서 감당하기 어려웠습니다. 쓰는 쪽이 에이전트라면 사정이 다릅니다. 거부가 구조화된 이유를 함께 돌려주면 재시도를 흡수하는 쪽은 사람이 아니라 에이전트입니다.

첫 번째 설계 원칙은 게이트를 통과하지 않은 사실은 저장소에 들어오지 못한다는 것입니다. 그런데 진짜 갈림길은 게이트가 무엇을 보느냐에 있습니다. 요청도 아니고 쓰기 직전 상태도 아니라, 쓰기가 반영된 다음의 상태를 봅니다.

차이가 드러나는 조건이 벤치마크 안에 하나 들어 있습니다. 한 엔티티가 두 개의 배치를 동시에 가질 수 없다는 제약입니다. 이 조건은 후보 사실을 일단 올려 둔 뒤에야 확인할 수 있습니다. 쓰기 직전 상태만 보는 게이트는 혼자서는 유효하고 조합하면 무효인 쓰기를 그대로 통과시킵니다. 여러 에이전트가 각자 유효한 사실을 동시에 밀어 넣는 환경에서는 이쪽이 오히려 흔한 실패 모양입니다.

게이트가 보는 것이 정책 클레임만은 아닙니다. 권한은 파티션에 붙고, 위임은 좁아지기만 합니다. 위임 체인을 따라 실제로 행사할 수 있는 권한은 각 고리가 가진 권한의 교집합이고, 교집합이 비면 다른 권한으로 대체하지 않고 거부합니다. 거부하면서 체인과 그래프와 그 체인이 실제로 쥐고 있는 권한을 함께 적어 돌려줍니다. 그래프의 지위를 바꾸는 일에는 그 그래프가 아니라 메타 그래프에 대한 권한이 필요합니다. 이 조건이 없으면 테넌트가 자기 파티션을 스스로 검증됨으로 올릴 수 있습니다.

엄격함이 채택을 막지 않으려면 통제 대상이 아닌 쓰기에는 비용이 붙지 않아야 합니다. 논문은 이 조건을 명시적으로 걸어 두고 측정했습니다. 대상이 아닌 쓰기는 평가되는 클레임이 0개였고, 중앙값 1.3밀리초였습니다. 정책 게이트를 거치는 정상 쓰기는 2.7밀리초로 약 두 배였습니다. 다만 게이트를 켠 저장소는 통제 대상이 아닌 쓰기에서도 대조군보다 느립니다. 1.3밀리초 대 0.7밀리초인데, 권한 교집합 검사만은 그래프 범위 쓰기마다 설계상 항상 돌기 때문입니다. 비용이 0인 것은 정책 게이트에 한정된 성질입니다. 비용의 다른 절반은 저장 공간입니다. 적재한 기록 한 건당 약 8.3킬로바이트씩 선형으로 늘어난다고 1천 건에서 2만 건 구간에서 측정해 두었습니다.

2.1거부한 기록이 롤백보다 오래 남는다

두 번째 원칙은 순서에 관한 것입니다. 허용이든 거부든 판단 불가든 게이트의 모든 결과는 서명되고 시각이 찍힌 사실로 남습니다. 거부된 쓰기는 롤백됩니다. 그런데 감사자가 가장 보고 싶어 하는 기록이 바로 그 거부입니다. 그래서 판정은 쓰기의 트랜잭션 바깥에 준비해 두었다가 쓰기가 결말을 낸 뒤에 따로 기록됩니다. 서명할 신원이 없으면 판정을 아예 남기지 않고, 서명 없는 판정은 만들지 않습니다.

승인이 필요한 정책에 걸린 거부는 여기서 한 걸음 더 갑니다. 거부가 결정 요청을 만들어 냅니다. 어떤 정책에 걸렸는지, 대상이 무엇인지, 증거 해시가 무엇인지, 언제 만료되는지가 사실로 남고, 이 사실도 거부의 롤백에서 살아남습니다. 사람이 같은 증거 해시에 답을 묶어 두면 다음 시도가 통과합니다. 기다리는 쪽은 대기 엔진이 아니라 재시도하는 에이전트입니다. 승인과 거절이 함께 오면 거절이 이기고, 되돌릴 수 있는 기간이 만료됐거나 애초에 0이면 기한을 임의로 지어내지 않고 거부합니다.

두 개의 시간축 자체는 Datomic과 XTDB가 놓은 계보입니다. 이 저장소가 갈라지는 지점은 축의 개수가 아니라 축이 닿는 범위입니다. 시간이 찍히는 대상에는 규칙 자체도 들어갑니다. 데이터와 신뢰 라벨과 판정과 규칙이 모두 두 개의 시간축을 갖는다는 뜻입니다. 벤치마크는 실행 중간에 정책 하나를 개정해서 이 성질을 시험했습니다. 만족 판정 50건이 전부 그 순간의 규칙 기준으로 충실히 재도출됐고, 동시에 그 50건 전부가 개정된 규칙으로는 불만족으로 평가됐습니다. 규칙을 최신본 하나만 들고 있는 시스템이었다면 50건을 모두 잘못 보고했을 자리입니다.

같은 실행에 들어 있던 거부 6건은 다르게 재현됐고, 논문은 그 차이를 감추지 않았습니다. 거부된 델타는 롤백돼 저장소에 남지 않기 때문에, 재현이 확인해 주는 것은 그 시점에 어떤 규칙이 요구됐는가까지입니다. 결과 자체를 다시 도출하지는 않습니다. 롤백으로 거부한다는 선택에 딸린 성질이지 시간축의 구멍이 아니라는 것이 저자의 설명입니다.

여러 출처의 그래프를 하나의 뷰로 합치는 순간 조용히 벌어지는 일이 있습니다. 검증을 마친 그래프와 출처가 불분명해 격리해 둔 그래프를 조인하면, 결과물은 대개 검증된 쪽의 지위를 그대로 물려받습니다. 논문은 이것을 신뢰 세탁이라고 부릅니다.

Quipu는 파티션마다 신선도와 신뢰와 내구성과 정책이라는 네 축의 라벨을 붙이고, 합성 규칙을 격자로 정의했습니다. 지켜야 할 불변식은 하나입니다. 합성은 절대 넓어지지 않습니다. 신선도와 신뢰는 두 값 중 작은 쪽으로 접히고, 의무는 큰 쪽으로 접힙니다. 구성원 중 하나라도 반출 금지를 달고 있으면 합성 결과 전체가 반출 금지가 됩니다.

합성 결과는 접힌 값 하나가 아니라 접힌 값과 커버리지의 쌍입니다. 커버리지는 비어 있음, 없음, 부분, 전부 중 하나이고, 선언되지 않았다는 상태는 격자값으로 인정하지 않습니다. 라벨을 붙이지 않은 구성원이 섞여 있으면 커버리지가 부분으로 내려가고, 부분이면 그 자체로 강제 기준을 통과하지 못합니다. 안전한 쪽으로 실패하되 보고는 정직하게 하자는 선택입니다.

신뢰 등급을 비교하는 방식에도 같은 태도가 들어 있습니다. 서로 다른 체계에서 선언된 신뢰끼리는 순서를 매기지 않고, 두 체계의 이름을 함께 적어 비교 불가 오류를 냅니다. 논문은 그 이유를 한 문장으로 밝혀 두었습니다. 조용한 정수 비교야말로 학습으로 얻은 전술을 공식 정본보다 위에 올려놓는 버그라는 것입니다. 라벨이 만료되면 거짓이 아니라 부재로 읽히고, 오버레이는 부모에 한 번만 묶여서 묶인 적 없는 기반에 대해 존재를 위조하지 못합니다.

격자 자체는 새 발명이 아닙니다. 보안 라벨을 두 방향으로 접어 합성한다는 발상은 1976년 데닝의 정보 흐름 격자까지 거슬러 올라갑니다. 논문이 자기 몫으로 꼽는 자리는 이론이 아니라 운영입니다. 커버리지를 통과도 실패도 아닌 세 번째 결과로 세우고, 체계가 다른 신뢰의 비교를 이름을 대며 거절하고, 만료를 부재로 읽고, 합성이 격자 규칙을 지키는지를 속성 테스트로 기계 검사한 것입니다. 대신 선을 하나 그어 두었습니다. 라벨은 접근 통제가 아니어서, 강제 기준은 질의를 거부할 뿐 행을 숨기지는 않습니다.

이 계약은 벤치마크에서 프로브 일곱 개로 시험됐고 일곱 개 모두 계약을 지켰습니다. 미선언 구성원이 커버리지를 떨어뜨리는지, 체계가 다른 신뢰 쌍이 비교를 거부하는지, 만료된 라벨이 부재로 읽히는지, 의무가 집합 전체로 번지는지, 깨끗한 합성이 거짓 거부 없이 통과하는지, 오버레이 재바인딩이 막히는지, 다른 저장소에서 들여온 묶음의 콘텐츠 해시가 안정적인지를 각각 확인한 결과입니다.

벤치마크의 이름은 Census입니다. 잉카의 결승문자 키푸가 원래 하던 일이 인구 조사 기록이었던 데서 따왔습니다. 구조는 단순합니다. 시드를 고정한 하나의 스크립트가 여섯 단계에 걸쳐 세 개의 구역 그래프에 쓰기를 넣고, 권한이 서로 다른 세 개의 기록자 신원과 사람의 결정을 대신하는 스크립트 역할이 등장합니다. 명령 한 번이 한쪽만 돌리는데, 한쪽은 모든 게이트를 켠 저장소이고 다른 쪽은 같은 스크립트에서 게이트만 끈 대조군입니다.

핵심 루프 어디에도 LLM이 없다는 점이 이 벤치마크의 성격을 정합니다. 작성자는 결정론적 드라이버이고, 결함을 심는 쪽이 자기가 무엇을 심었는지 정확히 알고 있습니다. 그래서 실행 자체가 정답지 역할을 합니다. 모든 지표는 개수 아니면 지연 시간이고, 채점하는 심판이나 루브릭이 끼어들 자리가 없습니다. 반복 실행에서 매니페스트가 바이트 단위로 같다는 것도 세 번 연속 실행으로 확인했습니다.

기록 단계에서 결함 여섯 개가 정상 쓰기 100건 사이에 섞여 들어갑니다. 여섯 개는 아무렇게나 고른 오류가 아니라 각각 다른 방어선을 하나씩 겨냥합니다. 형상, 권한, 위임, 정책, 결합 상태, 어휘 순입니다. 함께 흘려 보내는 정상 쓰기 100건 중 절반은 통제 대상 타입을 건드리도록 짜여 있어서, 같은 실행이 지연 측정의 표본 노릇도 겸합니다.

• • 필수 출처 속성이 빠진 기록
• • 작성자의 권한이 닿지 않는 구역에 대한 쓰기
• • 위임한 사람의 권한을 넘어서는 위임된 쓰기
• • 정책을 위반하는 쓰기
• • 쓰기 직전 상태로는 유효하고 조합해야만 무효인 쓰기
• • 지어낸 서술어를 쓰는 사실

결과는 갈렸습니다. 게이트를 켠 저장소의 최종 그래프에는 여섯 개 중 0개가 남았고, 대조군에는 여섯 개가 그대로 남았습니다. 막았다는 사실보다 중요한 것은 거부마다 근거가 이름으로 붙어 있다는 점입니다. 형상 검사는 빠진 출처 속성을 지목했고, 권한 거부는 위임 체인과 그래프와 그 체인이 실제로 가진 권한을 함께 적었으며, 조합해야만 드러나는 위반은 결합 상태를 보는 클레임이 잡아냈고, 지어낸 서술어는 모든 서술어를 미리 선언하도록 요구하는 어휘 정책에 걸렸습니다.

4.1같은 기록을 바깥 채점자에게 넘겨 봤다

자기 감사기가 자기 결과를 채점하면 신뢰하기 어렵습니다. 그래서 저장소 안에서 돌린 감사를 외부 참조 체커와 나란히 놓았습니다. 결정 56건에서 판정 자체는 하나도 어긋나지 않았고, 유일한 이견은 커버리지 의미론이었습니다. 기권을 명시적으로 남겨야 감사 가능하다고 볼 것인지에 대한 관점 차이입니다. 여기 쓴 참조 체커는 거버넌스 제약을 에이전트 루프의 강제 지점으로 컴파일하는 SARC 프레임이 공개한 구현입니다.

관점 차이라고 해서 흔적이 작았던 것은 아닙니다. 실제로 평가한 것만 그대로 내보낸 판본은 참조 체커에서 168건의 불일치로 떨어졌습니다. 168건 전부가 커버리지 항목이었고 판정과 배치와 대응에서는 한 건도 어긋나지 않았습니다. 참조 체커 쪽 불변식은 모든 제약을 모든 행위에 대해 평가하기를 기대하는데, 대상 타입이 아니면 아예 평가하지 않는 이쪽의 사전 필터가 그 눈에는 보이지 않기 때문입니다. 평가하지 않았다는 사실을 명시적으로 적어 넣은 판본을 내보내자 그대로 통과했습니다. 논문은 이 차이를 어느 쪽이 옳다고 정리하지 않고 발견으로 남겼습니다.

더 흥미로운 대조는 DEMM-Bench 쪽입니다. 이 벤치마크는 결정이 옳았는지를 묻지 않고, 런타임이 남긴 기록만으로 행위자 신원과 권한과 행위 경계 같은 여덟 가지 결정 속성을 재구성할 수 있는지를 여덟 가지 열화 조건 아래서 묻습니다. 핵심 지표는 증거가 실제로는 부족한데 충분하다고 선언하는 비율입니다. Quipu 저자들은 자기 시스템을 아홉 번째 레짐으로 직접 추가해 돌렸고, 이 점을 논문에 밝혀 두었습니다.

내보낸 기록의 내용만 읽었을 때 512개의 속성 단위 질문이 전부 정확하게 답해졌고 과잉 선언은 0건이었습니다. 같은 조건에서 흔적이나 원장이나 스키마가 존재한다는 사실만 보는 베이스라인은 최대 87.5%에서 과잉 선언했습니다. 세 종류의 증거 평면을 항상 내놓는 시스템 앞에서 존재 여부만 확인하는 검사가 아무 정보도 주지 못한다는 뜻입니다. 512개 안에는 벤치마크가 자기 후보 채점기의 가장 어려운 슬라이스로 지목한 두 조건도 들어 있습니다. 신원이 서로 충돌하는 경우와 행위 경계를 묻는 경우인데, 후보 채점기는 거기서 0.25에 그쳤습니다. 그리고 이 실행이 실제 결함 두 개를 찾아냈습니다. 서명이 결과는 봉인하면서 작성자 결합은 봉인하지 않는 문제와, 거부당한 쪽의 신원이 저장되지 않는 문제였습니다. 논문에 실린 수치는 이 둘을 고친 다음의 것입니다.

엄격함의 비용을 에이전트가 진다는 주장은 실제 에이전트로 확인해야 합니다. 저자는 클로드 네 모델을 세 번씩, 모두 열두 번 돌렸습니다. 에이전트는 거버넌스 규칙을 볼 수 없는 상태로 다섯 개의 기록 작업을 받고, 게이트가 뱉은 거부 문구만을 유일한 피드백으로 삼아 한 번 고칠 기회를 얻습니다. 시나리오에는 편집으로는 고칠 수 없는 거부가 하나 섞여 있습니다. 어떤 가구가 작성자의 권한이 닿지 않는 구역에 속해 있는 경우입니다.

규칙이 이름 붙일 수 있는 위반은 전부 수렴했습니다. 라벨과 어휘에 걸린 거부는 열두 번 모두 한 번의 수정으로 해결됐고, 없는 서술어를 지어낸 시행은 하나도 없었습니다. 가장 저렴한 모델이 가장 크게 개선됐다는 점도 눈여겨볼 만합니다. 자기 이유를 설명하는 게이트가 가장 값어치를 하는 자리가 거기입니다.

갈린 것은 고칠 수 없는 거부 쪽이었습니다. 한 시행은 남쪽 구역을 쥔 체인으로 기록을 올바르게 우회시켰고, 세 시행은 모든 우회를 사실 조작으로 규정하고 거절하면서 유보 사유를 기록 자체에 적어 넣었습니다. 다섯 시행은 자기가 실제로 권한을 가진 그래프에 기록을 슬쩍 옮겨 두려 했는데, 문제의 클레임이 그래프 범위로 걸려 있어서 게이트가 전부 잡아냈습니다. 능력의 차이가 아니라 성향의 차이가 드러난 대목입니다.

통과한 거짓 기록은 딱 하나였습니다. 문제의 가구를 북쪽 구역으로 다시 올린 기록인데, 어느 가구가 어느 구역에 속하는지를 규정한 정책이 없어서 통과했습니다. 게이트를 반박하는 사례가 아니라 규칙이 침묵한 자리에 잔여 위험이 정확히 모인다는 사례입니다. 저자도 이 실험의 경계를 분명히 적어 두었습니다. 하나의 과업, 하나의 모델 계열, 모델당 세 번의 시행이고, 품질을 판정하는 유일한 기준은 스크립트로 짜 둔 시나리오입니다.

5.1합성 환경 바깥에서 진짜 위반 두 건이 나왔다

Census는 설계상 합성 환경입니다. 그래서 저자는 실제로 운영 중인 작성자가 남긴 진짜 결정 다섯 건을 손대지 않고 같은 감사기에 흘려 보냈습니다. 코드 분석 엔진의 편집 전 가드가 거부 두 건과 허용 세 건을 남긴 기록입니다. 감사 결과는 위반 두 건과 불완전 여섯 건이었습니다.

위반 두 건은 진짜였습니다. 가드가 변경 영향 범위에 관한 규칙을 로컬 설정으로만 강제하고 있었고, 그 규칙이 거버넌스 규칙 목록에는 등재되어 있지 않았습니다. 감사기가 붙인 처방이 이 논문의 주장을 한 줄로 요약합니다. 저장소 안에 등재해서 감사 가능하게 만들거나, 강제를 멈추거나.

5.2같은 저장소에 여러 에이전트가 쓴다면

이 설계를 그대로 도입하는 것은 대부분의 조직에 과합니다. 단일 SQLite 파일에 임베드되는 6만 7천 줄짜리 러스트 크레이트이고, 아직 하나의 연구 프로젝트입니다. 그래도 네 가지 질문은 지금 쓰는 파이프라인에 그대로 던져 볼 수 있습니다.

• • 쓰기를 무엇 기준으로 판정합니까. 요청 하나만 보고 통과시키는 검증이라면, 각각은 유효하고 합치면 어긋나는 사실을 막을 방법이 없습니다.
• • 거부한 쓰기의 기록이 남습니까. 대개 애플리케이션 로그에만 남고 데이터 쪽에는 아무 흔적이 없습니다. 나중에 무엇을 막았는지 물을 방법이 사라집니다.
• • 출처가 다른 데이터를 합칠 때 등급이 어떻게 됩니까. 검증된 소스와 미검증 소스를 조인한 결과물에 아무 표시가 남지 않는다면, 신뢰는 이미 조용히 넓어진 뒤입니다.
• • 정책이 바뀐 순간을 재현할 수 있습니까. 규칙을 최신본 하나만 들고 있으면 그때 무엇을 알았는지는 재현해도 그때 무엇이 요구됐는지는 재현하지 못합니다.

마지막으로 덧붙일 만한 사실이 하나 있습니다. 에이전트가 쓴 지식을 어떻게 통제할 것인가를 다룬 이 논문에는 구현과 초안 작성을 클로드가 도왔다는 감사 표기가 달려 있습니다. 논문 원문과 벤치마크 수치의 근거가 되는 코드는 arXiv 2608.16813에서 확인할 수 있습니다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 8월 21일

핵심 논문

• 1.Brown, S. (2026). Quipu: A Governed Bitemporal Knowledge Graph Store. arXiv:2608.16813
• 2.Yuan, Y., Ranka, V., Lasisi, T., & Ma, L. (2026). Walk Before You Run: The Importance of Data Exploration for Data Analysis Agents. arXiv:2608.16045

본문에서 인용된 외부 체커·벤치마크

• 3.Besanson, G. (2026). SARC: A Governance-by-Architecture Framework for Agentic AI Systems. arXiv:2605.07728
• 4.Solozobov, O. (2026). DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency. arXiv:2606.20634