Executive Summary

세 수치가 이 계측의 뼈대다

첫째 수치는 개발사의 설명과 실제 변경 사이의 거리를 재고, 둘째는 그 거리가 변경의 방향에 따라 달라진다는 것을 보인다. 셋째는 그 거리를 줄이는 것이 설명의 분량이 아니라 열거라는 것을 보인다. 셋 다 분모가 다르므로 분모를 함께 읽어야 한다.

출처: Zhu, L. Y. (2026), Silent Revision: Measuring Undisclosed Change in the Safety Frameworks of Frontier AI Developers, arXiv:2609.08789v1 [cs.CY], 2026-09-08. 단독 저자의 프리프린트이며 워크숍 심사 중이다.

프런티어 AI 개발사들은 2024년 AI 서울 정상회의에서 안전 프레임워크를 공개하기로 약속했다. 그 뒤 실제로 문서를 낸 곳이 열두 군데이고, 이 연구의 코퍼스가 그 전수다. 문서는 나왔다는 뜻이다. 그다음에 벌어진 일이 이 연구의 대상이다. 문서는 계속 개정됐고, 개정의 내용은 문서만큼 공개되지 않았다. 옥스퍼드 인터넷연구소의 Louis Yiven Zhu가 2026년 9월 8일 arXiv에 올린 Silent Revision은 그 간극을 처음으로 계측한 단독 저자 프리프린트다. 논문 첫 문장이 문제를 한 줄로 세운다. “A standard that can be revised without anyone noticing is not a standard that anyone can be held to.” 아무도 알아채지 못한 채 고칠 수 있는 기준이라면 누구에게도 그 기준을 들이댈 수 없다는 뜻이다.

이 계측은 재는 대상부터 봐야 한다. 무고지 개정률은 문서가 얼마나 많이 바뀌었는지를 재지 않는다. 한 프레임워크의 약속에 생긴 중대 변경 가운데, 개발사가 스스로 낸 개정 설명만 읽어서는 그 변경을 알아낼 수 없는 몫을 잰다. 그러니까 분자에 들어가는 것은 문서의 성질이 아니라 개발사가 자기 문서에 대해 내놓은 진술의 성질이다. 같은 문서라도 개발사가 더 자세히 설명하면 이 값은 내려간다.

1.1무엇을 중대하다고 셀 것인가

단위는 문장도 절도 아닌 약속이다. 논문의 정의로는 “a statement in which the provider commits itself to a practice at any strength from must to may”, 곧 반드시부터 할 수 있다까지 어떤 강도로든 개발사가 어떤 실천을 하겠다고 밝힌 진술이다. 정책 문서에서 현재 시제로 적힌 실행 서술도 상시 약속의 어법이므로 가장 강한 등급으로 센다. 이렇게 추려 판본 사이에서 대조한 약속이 추적 대상 열두 쌍에 걸쳐 710건이다.

그 약속에 생긴 변경이 중대한지는 여섯 차원으로 가른다. 적용 범위, 발동 조건과 문턱, 행위자, 의무 강도, 공개 범위, 결과로 부과되는 조치. 이 중 하나라도 움직이면 중대 변경이다. 의무 강도는 강행과 임의를 가르는 법해석의 관행을 따르는데, 그 사다리가 낱말 하나로 어떻게 내려앉는지는 xAI의 판본 쌍이 보여 준다.

부록 F의 XAI-2-035. 조동사 하나가 would에서 may로 바뀌면서 의무 강도 차원이 움직였고, 판정은 약화다. xAI의 네 쌍은 개정 설명 자체가 없어 이 변경에는 고지 코드가 붙지 않는다.

변경이 어느 쪽으로 움직였는지는 여섯 코드로 따로 적는다. 유지, 강화, 약화, 삭제, 이전, 추가다. 한 약속이 양쪽으로 동시에 움직이면 규칙상 약화로 코딩하고 혼합 표시를 붙인다. 구글 딥마인드의 배포 전 안전 논거 검토가 그 경우다. 검토를 거쳐야 하는 대상은 일반 공개 배포에서 외부 배포 전반으로 넓어졌고, 그 검토를 맡는 주체는 이름이 명시된 기업 거버넌스 기구에서 이름 없는 거버넌스 기능으로 바뀌었다. 앞은 조인 쪽이고 뒤는 푼 쪽인데, 규칙이 이 건을 약화로 보냈다. 뒤에 나오는 약화 몫에는 이런 혼합 건이 들어 있다.

1.2고지에도 등급이 있다

중대 변경 하나하나에는 개발사의 설명이 그것을 어떻게 다뤘는지에 따라 네 코드 중 하나가 붙는다. 설명을 읽으면 이 약속이 이 방향으로 바뀐 걸 알 수 있으면 고지, 약속이나 그 부류를 언급하되 방향과 내용은 밝히지 않으면 부분 고지, 설명이 있는데 부류 수준에서조차 그 변경을 지목하지 않으면 침묵, 개발사가 어떤 설명도 내놓지 않았으면 설명 없음이다. 마지막 코드가 붙은 변경은 비율의 분모에 들어가지 않는다. 분모가 되어 줄 설명이 없기 때문이다.

엄격 기준 0.67과 관대 기준 0.53을 굳이 함께 보고하는 까닭도 이 구분에서 나온다. 논문은 둘 중 하나를 고르는 대신 둘 다 내놓고, 측정이 품고 있는 판단을 드러내기 위해서라고 밝힌다. 부분 고지를 침묵 쪽에 세우면 0.67이고, 고지 쪽에 세우면 0.53이다. 이 14%p가 무엇인지 감이 잘 안 잡힌다면 마이크로소프트의 사례가 가장 선명하다.

부록 F의 MSFT-1-015. 판정 노트는 “Fixed six-month minimum becomes event-triggered; change log names the cadence without direction”로 적혀 있다.

같은 모양이 구글 딥마인드의 개정에도 있다. 머신러닝 연구개발 가속을 재는 역량 문턱에서 “2020–2024년 속도 대비 실질적 가속(예: 2배)”이 “역사적 속도 대비 실질적 가속”으로 바뀌었다. 2배라는 정량 기준점이 빠졌고, 앞의 “쓰일 수 있다”도 함께 빠져 실제로 쓰인 경우만 남았다. 개정 공지는 역량 수준의 정의를 “sharpened”, 정교하게 다듬었다고 적었다. 어느 정의를 어느 방향으로 다듬었는지는 적지 않았다.

이런 수치는 분모를 흘리면서 퍼진다. 이 계측의 분모는 세 번 좁아진다. 코퍼스에 들어간 개발사는 열두 곳이지만, 아마존과 코히어와 G42와 엔비디아와 매직은 판본 표기가 하나뿐이라 대조할 쌍 자체가 없다. 매직은 같은 판본 번호로 파일을 한 번 다시 올렸을 뿐이라 앞뒤를 가를 이름이 없다. 판본이 둘 이상인 일곱 곳에서 연속 판본 쌍 열아홉 개가 나왔고, 그중 실제로 추적된 것은 열두 쌍, 비율이 계산된 것은 여덟 쌍이다. 67%는 그 여덟 쌍에서 나온 값이다.

논문 부록 J·N을 페블러스가 재구성. 19쌍에서 12쌍으로 내려가는 사이 앤트로픽과 딥마인드의 미추적 쌍 두 개도 빠진다.

표본이 여덟뿐이니 신뢰구간이 값만큼 중요해진다. 엄격 기준 0.67의 95% 신뢰구간은 0.62에서 0.72이고, 관대 기준 0.53은 0.48에서 0.58이다. 평균이 유별난 쌍 하나에 끌려간 것도 아니다. 설명을 낸 여덟 쌍은 전부 엄격 기준 0.55를 넘었고, 비율이 계산된 쌍을 개발사 단위로 묶어도 값은 오픈AI의 0.61에서 마이크로소프트의 0.81 사이에 있다.

수정 대조본을 낸 쪽이 0이라는 대목은 다르게 읽힌다. 그 0은 계측 결과가 아니라 정의다. 개정본 전체를 빨간 줄로 표시해 내놓으면 모든 텍스트 변경이 보이므로 침묵할 수 없다는 뜻이고, 논문도 §7에서 이 구성이 부분적으로 순환적이라고 인정한다. 대조본은 텍스트가 어떻게 달라졌는지는 다 보여 주지만 그중 무엇이 중대한지, 어느 방향인지는 말해 주지 않는다. 게다가 어떤 형식으로 알릴지는 개발사가 고른다. 앤트로픽은 자사 개정 대부분에 수정 대조본을 냈지만 가장 큰 개정에는 내지 않았다.

같은 수치를 다른 단위로 묶으면 값이 내려간다. 약속이 아니라 문서의 절을 단위로 세면 99개 단위에서 0.49가 나오고, 한 절 안의 변경 다수가 침묵해야 그 절을 침묵으로 치는 다수결 규칙으로는 0.66이 나온다. 논문의 설명은 이렇다. 약속 단위 비율은 약속 하나를 확인하러 온 독자가 겪는 값이고, 절 단위 비율은 문서를 통독하는 독자가 겪는 값이다. 어느 쪽으로 세든 변경의 절반 이상이 설명되지 않은 채 남는다.

판본 쌍을 이렇게 세려면 판본들이 먼저 손에 있어야 하는데, 그 일부터 쉽지 않았다. 매니페스트는 52행이고 그중 43행이 프레임워크, 9행이 동반 문서다. 파일을 개발사 쪽에서 직접 받은 것이 35건, 인터넷 아카이브에서 건진 것이 14건, 접근이 막힌 포털에서 얻은 것이 1건이다. 존재가 알려져 있는데도 끝내 구하지 못한 판본이 3건 남았다. 각 파일은 공개된 형태 그대로 저장하고 평문 추출본과 디스크에서 다시 계산한 해시와 출처 기록을 함께 붙였다. 개정을 대조해 보려는 쪽이 먼저 치러야 하는 비용이 이 목록에 적혀 있다.

2.1판본 번호를 올리지 않고 바뀐 문서 아홉 건

코퍼스를 모으는 과정에서 따로 떨어져 나온 발견이 있다. 같은 주소에 같은 판본 번호를 달고 올라와 있는데 텍스트가 달라진 재업로드가 아홉 건 나왔다. 논문은 이것을 같은 문서의 사본으로 합치지 않고 별도 행으로 보존했다. 이전에 내려받은 독자와 이후에 내려받은 독자가 같은 이름의 다른 문서를 갖게 되기 때문이다. 아홉 건 중 여덟 건은 조판이나 링크나 표기 정정이어서 중대하지 않다는 판정을 받았고, 메타의 한 파일에서 중대 변경 두 건이 나왔다.

• 프레임워크 전체의 적용 범위를 정하는 문장에서 most advanced와 match or가 삭제됐다. 프런티어 역량에 필적하는 모델은 더 이상 이 프레임워크의 적용 대상이 아니게 된다.
• 미출시 조치를 발동시키는 대상이 a catastrophic outcome에서 a threat scenario로 교체됐다.

판본 번호는 그대로였고 새 식별자도 붙지 않았다. 이 대목은 페블러스가 앞서 다룬 무통보 모델 교체 계측과 층이 다르고 꼴이 같다. 그쪽은 서빙되는 모델이 이름을 그대로 둔 채 바뀌는 문제였고, 이쪽은 그 모델을 규율하기로 한 문서가 이름을 그대로 둔 채 바뀌는 문제다. 두 층 모두에서 외부 관측자가 붙잡을 수 있는 고정점은 이름뿐인데, 그 이름이 고정점 노릇을 못 한다.

2.2이 계측의 1차 코딩은 사람이 하지 않았다

논문이 §7에서 자기 한계를 결과 중요도 순으로 적는데, 첫 자리에 둔 것이 코딩 절차다. 710건의 약속을 판본 사이에서 대조한 1차 코딩은 사람이 아니라 동결된 코드북을 유일한 지시로 삼은 클로드 계열의 에이전트형 언어모델 시스템이 수행했다. 각 행에는 양쪽 판본의 축자 인용과 근거와 확신 등급이 붙고, 중대 변경에는 개정 설명에서 뽑은 인용이나 찾지 못했다는 기록이 붙는다. 인용 필드는 코퍼스 원문과 2,130건 대조해 검증했는데, 이 검증이 보증하는 것은 인용의 충실도까지다.

저자는 710행 가운데 244행을 직접 판정했다. 그 판정으로 결과 코드 4건과 고지 코드 54건이 바뀌었고, 바뀐 고지 코드 54건 중 46건이 침묵에서 부분 고지로 옮겨 갔다. 엄격 기준 67%를 떠받치는 쪽에서 빠져나와 그 값을 낮추는 방향으로 움직였다는 뜻이다. 논문은 판정자가 코드북을 설계했고 가설을 쥐고 있으므로 이동의 방향이 중요하다고 덧붙인다. 코더 간 신뢰도는 투고 시점에 산출되지 않았고, 그 사실이 한계 목록의 첫 자리에 올라 있다.

설명이 있는 변경 안에서 약속을 느슨하게 만든 쪽은 181건 중 135건이 침묵했고, 조인 쪽은 50건 중 25건이 침묵했다. 오즈비 2.93에 피셔 정확검정 p=0.002다. 침묵이 고르게 분포하지 않고 그 기울기가 변경의 방향과 맞물린다는 데까지가 논문이 확립됐다고 표시한 범위다.

여기서 느슨해진 쪽 181건은 약속의 강도만 내린 약화가 아니다. 약속을 통째로 들어낸 삭제와 동반 문서로 옮긴 이전까지 논문이 한 묶음으로 세운 값이다. 그 181건 안에서 삭제는 42건 중 35건으로 가장 자주 침묵했고, 이전 네 건은 넷 다 침묵했다. 느슨해진 쪽 181건에 추가 152건과 조인 쪽 50건을 더하면 설명이 있는 여덟 쌍의 중대 변경 383건이 된다. 삭제와 이전은 그 셋 바깥의 네 번째 덩어리가 아니라 첫 덩어리 안에 든 몫이라, 네 값을 나란히 세워 더하면 분모가 부풀어 오른다.

전체 물량에서도 방향은 한쪽으로 기운다. 추적된 중대 변경 가운데 추가를 뺀 299건에서 229건, 곧 77%가 약화이거나 삭제이거나 이전이었다. 여기서 분모를 흘리면 수치가 뒤집힌다. 추가 174건까지 넣어 473건으로 세면 같은 229건은 48%가 된다. 초록의 77%는 추가를 뺀 299건 위에 서 있는 값이다. 이 쏠림이 특정 개발사 한 곳 때문에 생긴 것도 아니다. 개발사를 하나씩 빼고 다시 계산해도 그 몫은 0.70에서 0.79 사이에 머문다. 묶음을 좁혀도 마찬가지다. 동반 문서로 옮겨 간 이전을 빼면 0.76이고, 양쪽으로 동시에 움직여 규칙상 약화로 보낸 건까지 빼면 0.73이다.

쌍 안에서도 같은 기울기가 나온다. 설명이 있는 여덟 쌍 중 일곱 쌍에서 느슨해진 쪽이 조인 쪽보다 더 자주 침묵했고, 격차는 0.03에서 0.67까지 벌어진다. 예외는 앤트로픽의 v1.0에서 v2.0으로 가는 개정 하나로, 여기서는 강화 쪽이 0.13만큼 더 침묵했다.

3.1빠진 자리에 무엇이 있었나

비율만 보면 이 발견이 얼마나 구체적인지 가늠하기 어렵다. 부록 F가 원문과 개정문을 나란히 실은 열여덟 건 가운데 세 건을 옮긴다. 앞의 두 건은 앤트로픽의 v1.0에서 v2.0으로 가는 개정에서 나왔고, 셋 다 개정 설명이 지목하지 않은 변경이다.

부록 F의 ANT-1-001, ANT-1-052, OAI-1-040. 첫 건과 세 번째 건이 부록에 Headline example로 표시돼 있고, 세 번째는 제3자 관여 범주의 대표 사례로 적혀 있다. 한국어는 축자 인용이 아니라 옮김이며, 영문 원문은 부록 F에 그대로 실려 있다.

제3자 관여는 아홉 범주 중 가장 작은 범주다. 중대 변경 21건, 설명이 있는 것 18건, 침묵률 0.67. 외부 연구자와 정부가 모델에 접근할 수 있게 하겠다는 약속이 그 작은 범주 안에서 빠졌다. 감사 가능성을 다루는 글에서 이 한 건은 다른 건들과 무게가 다르다. 외부 검증의 통로를 열어 두겠다는 약속이 외부에 알려지지 않은 채 닫힌 경우이기 때문이다.

사라진 것처럼 보이지만 사라지지 않은 경우도 있다. 앤트로픽의 v2.2에서 v3.0으로 가는 개정에서 직원이 정책과 위험 수준에 관한 문제를 제기할 통로를 두겠다는 약속이 본문에서 빠졌는데, 그 약속은 동반 문서인 준수 위반 정책에 살아 있었다. 논문은 이런 건을 삭제가 아니라 이전으로 코딩한다. 그러자면 프레임워크만이 아니라 동반 문서까지 모아 두어야 하고, 코퍼스에 동반 문서 아홉 건이 들어가 있는 이유가 그것이다. 이전으로 판정된 네 건은 넷 다 침묵이다. 옮겼다는 사실이 어디에도 적히지 않았으므로, 읽는 쪽에서는 없어진 것과 옆으로 옮겨진 것을 구별할 방법이 없다.

3.2거버넌스 조항에서 침묵률이 가장 높게 나왔다

침묵이 방향을 탄다면 종류도 타는지 묻게 된다. 논문은 약속을 아홉 범주로 나눠 두었다. 위험과 역량을 무엇으로 뒷받침할지에 관한 여섯 범주가 한 묶음이고, 거버넌스와 보안과 완화는 그 바깥에 따로 선다. 범주별로 갈린 값은 이렇다.

논문 부록 H의 Table 6. 중대 변경은 추적된 열두 쌍 전체의 건수이고, 설명 있는 것은 그중 개정 설명이 딸린 쌍에 속한 건수로 비율의 분모다. 아홉 범주의 분모를 더하면 383, 중대 변경을 더하면 473이 된다. 위 여섯 줄이 증거 계열이고 아래 세 줄은 그 바깥의 세 계열이다.

[사실] 범주끼리는 검정하지 않았다고 논문이 부록에 적어 두었다. 어느 범주가 다른 범주보다 유의하게 더 침묵한다고 말할 근거는 이 표에 없다는 뜻이다. 구간도 넓다. 제3자 관여의 엄격 기준 신뢰구간은 0.44에서 0.84까지 벌어진다. 계열을 통째로 묶으면 증거 계열 여섯 범주가 엄격 0.65에 관대 0.48이고, 나머지 세 계열은 0.72에 0.63이다.

[해석] 그래도 표를 세로로 훑으면 거버넌스 줄에서 눈이 두 번 걸린다. 중대 변경이 가장 많이 난 곳이 거버넌스이고(84건), 엄격 기준이 가장 높은 곳도 거버넌스다(0.77). 관대 기준까지 0.73이라 부분 고지로 설명되는 몫이 거의 없다. 누가 무엇을 결정하는지를 정해 둔 조항이 가장 많이 바뀌었고 가장 적게 설명됐다는 말이 된다. 앤트로픽의 재정 준비 약속과 직원 제보 통로가 둘 다 이 범주에서 나왔다. 반대쪽 끝은 평가 범위로, 엄격 기준 0.52가 아홉 범주 가운데 가장 낮다.

3.3같은 개정에서 큰 줄기는 말해졌다

개발사가 무언가를 감추려 했다는 쪽으로 이 수치를 읽고 싶어지는 자리에서, 논문은 반대 방향의 못을 박는다. 앤트로픽이 v2.2에서 v3.0으로 개정하며 낸 설명은 1만 4,274단어였고, 일방적 중단 약속을 왜 거두는지 길게 밝힌다. 그 가장 큰 변경은 고지된 변경으로 판정됐다. 같은 개정에서 침묵한 것은 다른 약속들이다. 예컨대 보안 보호조치를 충족할 수 없을 때 모델 가중치를 삭제하겠다는 약속이 사라졌는데, 공지는 지키기 어려운 일방적 약속이라는 부류를 손본다고만 적고 이 약속 자체는 지목하지 않았다. 그 개정의 중대 변경 86건 가운데 51건은 관대 기준으로도 침묵이다.

[사실] 논문은 의도를 추론하지 않는다고 §6에 명시한다. 축자로는 “we do not infer intent, since the people who write changelogs may simply champion the new instruments”, 체인지로그를 쓰는 사람이 그저 새로 들인 장치를 더 아꼈을 수도 있다는 것이다. 침묵은 외부에서 보이는지 여부에 붙인 이름이지 동기에 붙인 이름이 아니다.

[해석] 동기를 묻지 않아도 결과는 남는다. 새로 들인 장치를 설명하는 일이 자연스러울수록, 거둬들인 장치는 설명되지 않은 채 지나간다. 조직 연구에는 이 모양을 설명하는 두 갈래가 있는데, 분업의 결과로 어느 부서도 전체를 못 보게 된다는 구조적 비밀 쪽은 침묵이 고르지 않을 것까지만 예측한다. 형식 구조와 실제 활동이 분리된다는 디커플링 쪽은 불리한 변경이 덜 보일 것을 예측한다. 방향을 탄 침묵은 뒤쪽 예측에 맞는다.

이 연구에서 가장 인용하기 좋아 보이는 숫자는 여기서 나온다. 서술형 공지를 낸 세 쌍의 무고지율은 0.74였고, 항목형 체인지로그를 낸 다섯 쌍은 0.63이었다. 줄글로 뭉뚱그리지 말고 항목으로 끊어 적으라는 결론이 여기서 바로 나올 것 같다. 그런데 논문은 이 대비를 확정 결과로 내놓지 않는다. 신뢰구간이 겹치는 것을 반영한 순열검정에서 p=0.071이고, 쌍별 평균 차이로 보면 p=0.089다. 변경 하나하나를 독립 관측으로 세는 검정에서는 p=0.041이 나오지만, 논문이 그 검정은 정밀도를 과대평가한다며 직접 기각한다. 관대 기준으로 옮겨 가면 차이는 아예 사라진다. 오즈비 1.19, p=0.46.

논문 §6은 자기 결과를 두 등급으로 나눠 적는다. 방향 결과는 확립됐고, 형식 결과는 시사적이다. 그러면서 형식 효과가 존재한다면 그것은 부분 고지 안에 산다고 덧붙인다. 항목형 체인지로그를 쓰는 개발사도 침묵하기는 마찬가지인데, 다만 변경을 아주 지목하지 않는 대신 부류만 언급하는 쪽으로 이동한다는 뜻이다.

형식 쪽에서 확실하게 남는 신호는 상관계수 두 개다. 개정 설명의 단어 수와 무고지율의 스피어만 상관은 −0.17로 사실상 무관하다. 반면 개발사가 내놓은 항목 수와의 상관은 −0.58이다. 여덟 쌍을 분량순으로 늘어놓으면 이 대비가 바로 보인다.

논문 Table 3의 여덟 쌍 전부. 무고지율은 엄격 기준이고, 설명 단어와 항목은 개발사가 그 개정에 대해 내놓은 설명의 분량과 항목 수다. 네이버 쌍에 대해 논문은 Table 1 캡션에 한계를 적어 두었다. 2024년 판본이 영문 요약 페이지로만 공개돼 있어 그 쌍은 추가를 과다 계상한다.

가장 긴 설명과 가장 짧은 설명을 나란히 놓으면 분량 가설이 무너진다. 앤트로픽의 1만 4,274단어짜리 서술형 공지는 86건의 중대 변경을 덮으며 0.73을 기록했고, 마이크로소프트의 291단어짜리 체인지로그는 21건을 덮으며 0.81로 코퍼스 최고치를 냈다. 마이크로소프트 쪽이 앤트로픽의 49분의 1 분량으로 더 많이 침묵한 셈이다. 반대편 끝에는 오픈AI가 있다. 1,971단어에 항목 열둘을 달아 41건을 덮으며 0.61로 가장 덜 침묵했다. 논문의 문장은 이렇다. “what lowers silence is enumeration at the level of the change”, 침묵을 낮추는 것은 변경 단위의 열거다.

4.1열거는 약화를 막지 않고 보이게 한다

메타의 개정에서는 이 구분이 한눈에 드러난다. 이전 판본은 높은 위험 등급에 도달한 모델은 출시하지 않는다고 적었고, 이후 판본은 완화조치를 충분히 갖춰 검증했다면 배포한다로 바뀌었다. 명백한 약화다. 그런데 체인지로그가 그 변경을 한 줄로 정확히 적었다. “High threshold measure changed from ‘Do not release’ to ‘Deploy with mitigations.’” 열거 의무가 하는 일이 무엇인지를 이 한 줄이 보여 준다. 약속이 느슨해지는 것을 막지는 못한다. 대신 느슨해졌다는 사실이 밖에서 확인된다.

같은 대비의 반대쪽은 오픈AI 쪽에서 읽힌다. 오픈AI의 열두 항목짜리 체인지로그는 설득 범주를 프레임워크 밖으로 옮긴다는 사실을 네 번째 항목에 명시했고, 바로 그 체인지로그가 평가를 “상시” 수행하겠다는 약속이 좁아진 것은 적지 않았다. 이후 판본에서 그 약속은 특정 조건을 넘을 가능성이 있는 배포에만 적용되고, 각주 하나가 높은 역량 문턱을 넘지 않는다고 이미 판정된 모델에서 증류·파인튜닝·양자화로 파생된 모델을 통상 추가 조치 대상에서 뺀다. 열거는 열거한 만큼만 보이게 한다.

부록 F의 META-1-032와 OAI-1-021. 앞의 건은 부록이 Headline example로 표시했고, 뒤의 건은 판정 노트에 “absent from the twelve-item changelog”로 기록돼 있다.

프레임워크 개정을 규율하는 법이 없는 것은 아니다. 캘리포니아의 프런티어 인공지능 투명성법은 대형 개발사에 프레임워크 공개를 요구하고, 중대 수정이 있으면 수정본과 그 사유를 30일 안에 공개하라고 정한다. 유럽연합의 범용 AI 실천규약은 서명사에게 안전·보안 프레임워크를 최소 연 1회 갱신하고 갱신본을 5영업일 안에 AI 사무국에 제출하도록 한다. 두 제도 모두 개정을 그냥 두지 않는다.

논문이 겨누는 지점은 그 의무가 가리키는 물건이다. 캘리포니아 법이 요구하는 것은 사유이고, 유럽 규약이 요구하는 것은 갱신본의 제출이다. 무엇이 어떻게 바뀌었는지를 약속 단위로 열거하라는 요구는 어느 쪽에도 없다. 게다가 캘리포니아 법은 무엇이 중대 수정인지를 정의하지 않는다. 초록의 문장은 이렇다. “The statutory remedy therefore exists and specifies the wrong artefact.” 구제책은 존재하는데 대상이 어긋나 있다는 말이다. 그 뒤 문장이 이 리포트 전체의 요지이기도 하다. “A justification explains why a framework changed, an enumeration states what changed, and only the latter makes revision auditable.”

캘리포니아 법의 발효일인 2026년 1월 1일을 기준선으로 삼아 여덟 쌍을 갈라 보면, 이전 세 쌍은 0.61이고 이후 다섯 쌍은 0.71이다. 느슨해진 쪽의 몫은 0.78에서 0.76으로 사실상 그대로다. [사실] 논문은 한쪽에 세 쌍씩으로는 어떤 인과 주장도 실을 수 없다고 못 박고, 정당화 의무가 침묵의 감소와 나란히 오지는 않았다는 데까지만 쓴다. 규제가 효과가 없었다는 문장은 이 표본에서 나올 수 없다.

5.1열거 의무는 다른 분야에 이미 조문으로 있다

논문은 §7에서 비교군이 없다고 인정한다. 다른 규제 표준과 견주어 3분의 2가 높은 수인지 말할 수 없다는 것이다. 그래서 열거 의무를 새 제안처럼 내놓는다. 그런데 그 물건은 이미 다른 분야의 실정법에 있다. 미국 의약품 허가 변경 절차를 정한 21 CFR 314.70의 (a)(6)은 이렇게 적는다.

“A supplement or annual report must include a list of all changes contained in the supplement or annual report.”

보충서 또는 연례 보고서는 거기 담긴 모든 변경의 목록을 포함해야 한다. — 21 CFR 314.70(a)(6)

같은 조문은 방향도 구분한다. 금기나 경고나 주의나 이상반응을 추가하거나 강화하는 라벨 변경에는 접수 즉시 시행할 수 있는 경로가 열려 있고((c)(6)(iii)(A)), 안전성이나 유효성에 부정적 영향을 미칠 상당한 가능성이 있는 변경은 사전승인 보충서를 거친다((b)(1)). 안전 쪽으로 조이는 변경은 빨리 반영되게 하고, 그 반대 방향의 변경에는 더 무거운 경로를 두는 설계다.

[해석] 이 대비가 이 리포트에서 가장 실용적인 대목이라고 본다. 논문이 계측으로 찾아낸 비대칭은 느슨해지는 변경이 더 자주 보이지 않게 된다는 것이었다. 의약품 규제는 그 비대칭을 미리 제도 설계에 반영해 방향을 조문에 넣어 두었고, 프런티어 AI 쪽의 두 제도는 중대 수정 일반에 같은 의무를 걸 뿐 방향을 구분하지 않는다. 열거 의무를 새로 발명할 필요는 없다는 뜻이기도 하다. 다른 분야에서 수십 년째 작동해 온 규제 설계를 옮겨 오는 일에 가깝다.

판본 보존 쪽에서는 ISO 9001:2015이 짝을 이룬다. 그 문서화된 정보 관리 조항은 구버전이 실수로 쓰이는 것을 막기 위해 구식 판본을 식별해 보존하거나 폐기 표시를 하라고 요구한다. 캘리포니아 법과 유럽 규약에는 이에 해당하는 이전 판본 보존 의무가 없다. 소프트웨어 업계의 관행도 같은 방향을 가리킨다. 왜 바꿨는지를 적는 커밋 메시지와 무엇이 바뀌었는지를 범주별로 열거하는 체인지로그를 오래전에 갈라 놓았고, 그 분리가 안전 프레임워크에는 아직 없다.

보존 의무가 없을 때 무슨 일이 생기는지는 코퍼스 안에 현물이 있다. 앤트로픽의 프런티어 규정 준수 프레임워크는 네 판본의 변경을 항목형 체인지로그로 설명하고, 그 문서의 한 절은 캘리포니아 법의 문구를 거의 그대로 따라 중대 갱신 시 30일 안에 정당화 사유를 담은 체인지로그를 내겠다고 약속한다. 법보다 한 걸음 앞선 작성 사례다. 다만 논문이 코퍼스를 모으던 시점에 앞선 세 판본은 호스팅 포털에서 내려가 있었다. 무엇을 바꿨다고 말하는지는 읽을 수 있지만, 말한 대로 바뀌었는지는 대조할 수 없다.

5.2부록에 실린 네이버 사례는 고지된 변경이었다

네이버의 AI 안전 프레임워크가 코퍼스에 들어간 유일한 국내 사례다. 2024년 AI 서울 정상회의에서 공개한 판본과 2026년 7월 8일 인공지능안전 서울 포럼에서 공개한 2.0 판본이 한 쌍을 이룬다. 그 쌍의 무고지율은 엄격 기준 0.77, 관대 기준 0.45다. 이 수치에는 한계가 같이 붙어 있다. 논문 Table 1 캡션이 적어 둔 대로 2024년 판본이 영문 요약 페이지로만 공개돼 있어 그 쌍은 추가를 과다 계상한다.

더 눈여겨볼 것은 부록 F가 네이버 사례로 실은 변경이 고지된 쪽이라는 점이다. 이전 판본에는 대형 언어모델을 분기마다 평가하고 성능이 6배 오른 것으로 보이면 3개월이 되기 전에도 평가하겠다는 정량 발동 기준이 있었다. 2.0에서 그 기준이 사라졌는데, 보도자료가 그 교체를 명시했다. 한국어 발표 문구로는 성능 위주의 단일 평가 기준을 맥락과 활용사례, 영향으로 세분화했다는 대목이고, 영문 축자 “replaces a single performance-based criterion with separate criteria for context, use case and impact”와 정확히 대응한다. 네이버 사례를 국내 기업도 침묵했다는 예로 쓰면 사실과 어긋난다.

확인된 바로는 공개 안전 프레임워크를 낸 국내 기업은 네이버 외에 달리 찾아지지 않는다. 없다는 증명은 아니다. 그래도 국내 기업 대부분에게 이 문제는 아직 개정의 문제가 아니라 처음 쓰는 문서의 설계 문제라는 뜻은 된다. AI 기본법 본법이 2026년 1월 22일 시행되면서 안전·신뢰성 확보조치 문서를 작성하는 일이 지금 여러 회사에서 동시에 벌어지고 있다. 그 문서에 개정 이력을 남길 자리를 처음부터 만들어 두는 일과, 다 쓴 뒤에 이력 관리를 덧붙이는 일은 비용이 다르다. 국내 제도 쪽 논의는 페블러스가 앞서 정리한 안전신뢰문서의 실체는 데이터 계보다에 있고, 그 문서를 누가 검증하느냐는 층위는 프런티어 AI를 매년 외부 감사에 맡긴 미국 첫 주법에서 다뤘다.

산업 전체의 투명성 지표도 같은 방향으로 움직인다. 스탠퍼드 CRFM의 파운데이션 모델 투명성 지수는 2025년 12월판에서 평균 40.69점을 기록해 2024년의 58점에서 내려갔고, 가장 불투명한 영역으로 학습 데이터와 학습 연산량, 그리고 배포 후 사용과 영향이 꼽혔다. 재는 대상이 이 논문과 다르므로 같은 잣대로 읽을 수는 없다. 사후 변경의 가시성이라는 계열에서 두 계측이 같은 쪽을 가리킨다는 점은 남는다.

페블러스는 데이터를 진단하고 품질 성적서를 발급하는 일을 한다. 규정 문서의 개정 이력은 언뜻 남의 분야 이야기인데, 이 논문이 세운 질문의 모양이 우리가 데이터셋에 대고 묻는 질문과 같아서 끝까지 읽었다.

6.1스냅샷이 깨끗한 것과 경로가 남아 있는 것은 다른 성질이다

데이터셋을 진단할 때 실제로 보는 것은 현재 상태가 아니라 상태 사이의 이동이다. 어떤 레코드가 언제 들어왔고 무엇이 빠졌으며 어떤 라벨이 다시 붙었는지, 그리고 그 변경이 어디에 기록됐는지. AI-Ready Data가 쓸 수 있는 데이터의 조건에 계보를 넣는 이유도 같다. 지금 이 스냅샷이 깨끗한 것과 이 스냅샷에 이르는 경로가 감사 가능한 것은 다른 성질이고, 뒤쪽이 없으면 앞쪽을 믿을 근거가 얇아진다. 이 논문은 같은 구분을 규정 문서에 적용해 숫자로 보였다. 문서를 공개하는 일과 그 문서의 개정을 대조할 수 있게 두는 일이 별개라는 것을, 383건의 변경으로 보인 것이다.

6.2느슨하게 푼 일은 데이터 쪽에서도 덜 적힌다

약화된 변경이 강화된 변경보다 훨씬 자주 침묵했다는 비대칭은 데이터셋 관리에서 익숙한 모양이다. 데이터를 더 넣은 일은 릴리스 노트에 적히고, 제외 규칙을 느슨하게 푼 일은 잘 안 적힌다. 필터를 풀거나 품질 임계값을 내린 결정은 조용히 지나가고, 그 결정이 모델 내부 표현에 남긴 자국은 몇 세대 뒤에야 드러난다. 논문의 발동 조건·문턱 범주에서 정량 기준점이 반복해 사라진 관찰도 같은 꼴이다. 2배가 역사적 속도 대비로 바뀌고, 특정 벤치마크의 부정직률 상한이 보안 여유를 감안한 기준으로 바뀌고, 프런티어 역량의 정의 자체가 문서에서 빠진다. 규정 문서의 문턱이 표류하는 모습과 데이터 파이프라인의 임계값이 표류하는 모습은 구분하기 어려울 만큼 닮았다. 규정이 바뀌면 이미 붙여 둔 라벨이 낡는다는 문제는 페블러스가 규정 개정과 재라벨링에서 따로 다뤘다.

6.3지금 문서를 쓰는 팀이 가져갈 설계 규칙 넷

AI 정책 문서의 무공지 수정을 추적해 온 비영리 감시 활동 미다스 프로젝트의 설립자는 이 일에 대해 이렇게 말한 적이 있다. “If every AI company had a change log, this work would be unnecessary… That would be the ultimate transparency.” 모든 AI 기업에 체인지로그가 있었다면 이 일 자체가 필요 없었을 것이라는 뜻이다. 국내 기업이 지금 쓰고 있는 안전·신뢰성 확보조치 문서에 이 연구가 주는 것은 경고가 아니라 설계 규칙에 가깝다.

• 문서를 공개하는 일과 개정을 감사 가능하게 두는 일을 따로 잡는다. 뒤쪽은 나중에 덧붙이기 어렵다.
• 개정 설명을 길게 쓰는 대신 변경 단위로 열거한다. 침묵률과 상관이 있던 쪽은 분량이 아니라 항목 수였다.
• 각 항목에 방향을 적는다. 조인 것인지 푼 것인지. 느슨해지는 변경일수록 기록에서 빠지기 쉽다.
• 판본을 갈 때 이전 판본을 남긴다. 대조할 원본이 없으면 체인지로그도 증거가 되지 못한다.

이 넷은 그대로 데이터셋 릴리스 정책으로 옮겨 쓸 수 있다. 어떤 규칙이 언제 어느 방향으로 바뀌었는지를 변경 단위로 적고 이전 판본을 남기는 일은, 데이터 카탈로그에서 우리가 계보라고 부르는 것과 같은 물건이다.

6.4선언이 아니라 기록으로 증명한다

페블러스는 서빙되는 모델이 문서 속 모델과 같은지 확인할 길이 없다는 문제를 한 번 다뤘다. AI 기본법이 요구하는 안전·신뢰성 확보조치 문서의 실체가 결국 데이터 계보라는 점도 뒤이어 다뤘다. 이 글은 그 둘을 판본 관리라는 축으로 잇는 세 번째 조각이다. 세 편이 공유하는 관점은 하나다. 무엇을 하겠다고 선언했는지가 아니라 무엇을 했는지가 기록으로 남아 있는지가 검증의 실제 질문이다. 공개했다와 감사 가능하다 사이의 거리를 재는 잣대가 이번에 하나 더 생겼고, 그 잣대를 국내 독자에게 먼저 소개하는 것이 이 리포트의 자리다.

본문의 계측 수치와 축자 인용은 1번 논문의 arXiv 공개본 전문을 내려받아 본문과 부록에서 직접 대조했다. 개발사 문서와 법령 조문에 관한 서술은 그 논문이 인용한 범위를 넘지 않는다. 다만 미국 연방규정 조문 세 곳과 파운데이션 모델 투명성 지수, 네이버 2.0 발표 문구는 원문을 따로 확인했고 해당 항목에 표시했다. 논문 인용을 그대로 옮긴 선행 연구에도 표시를 달았다.

1차 출처 (전문 대조)

• 1.Zhu, L. Y. (2026). Silent Revision: Measuring Undisclosed Change in the Safety Frameworks of Frontier AI Developers. arXiv:2609.08789v1 [cs.CY], 2026년 9월 8일 제출. 옥스퍼드 인터넷연구소 소속 단독 저자이며, 논문 Comments 필드는 NeurIPS 2026 부설 워크숍(AISciK) 심사 중이라고 적는다. 논문과 데이터는 CC BY 4.0, 코드는 MIT. 본문의 383건·257건·203건, 방향별 침묵률, Table 3의 여덟 쌍, 부록 F의 축자 대조는 이 판본에서 확인했다.
• 2.같은 논문이 밝힌 코퍼스·코드 공개 주소: github.com/louisyzhu/frontier-safety-framework-corpus. 이 리포트는 저장소 내용을 직접 열어 대조하지는 않았다.

선행 계측과 이론

• 3.Wan, A. 외 (2025). The 2025 Foundation Model Transparency Index. arXiv:2512.10169, 스탠퍼드 CRFM. 평균 40.69점(2024년 58점에서 하락), 최고 IBM 95점, 최저 xAI·Midjourney 각 14점. 페블러스가 원문에서 확인.
• 4.Amos, R. 외 (2021). Privacy Policies over Time: Curation and Analysis of a Million-Document Dataset. WWW ’21, arXiv:2008.09159. 영문 개인정보처리방침 1,071,488건, 13만 개 이상 웹사이트, 20년 이상. 코퍼스 방법의 가장 가까운 선례이며, 이 논문이 더한 것은 개발사 자신의 개정 설명이라는 비교축이다.
• 5.Stelling 외 (2025) — 12개 제공자를 65개 기준으로 채점한 스냅샷 평가. Liang 외 (2024) — 모델 카드 32,111건의 항목 충실도. 두 항목의 서지와 수치는 1번 논문의 인용을 그대로 옮긴 것이며 원문을 따로 열지는 않았다.
• 6.Ananny, M. & Crawford, K. (2018) — 투명성 이상은 보는 것과 아는 것을 혼동한다는 논지. 1번 논문의 출발점이다. 조직 이론 쪽 참조는 Vaughan(1996)의 구조적 비밀, Meyer & Rowan(1977)과 Brunsson(1989)의 디커플링, Power(1997)의 감사 가능성 논의로, 모두 1번 논문이 인용한 범위에서 본문에 반영했다.

법령·표준

• 7.캘리포니아 프런티어 인공지능 투명성법(TFAIA, SB 53) — 프레임워크 공개, 중대 수정 시 30일 내 수정본과 사유 공개, material modification 미정의, 발효 2026년 1월 1일. 유럽연합 범용 AI 실천규약 — 최소 연 1회 갱신, 갱신본을 5영업일 내 AI 사무국에 제출. 두 항목 모두 1번 논문이 인용한 범위로만 서술했다.
• 8.21 CFR 314.70 — (a)(6) 보충서·연례 보고서에 모든 변경의 목록을 포함할 의무, (b)(1) 사전승인 보충서 대상, (c)(6)(iii)(A) 금기·경고·주의·이상반응의 추가 또는 강화 시 즉시 시행 경로. 세 조항의 조문 본문을 페블러스가 직접 확인했다.
• 9.ISO 9001:2015 §7.5.2·§7.5.3(문서의 식별과 구버전 관리), ISO/IEC 5259-3:2024(데이터 품질 관리시스템 요구사항). 후자는 페블러스의 안전신뢰문서의 실체는 데이터 계보다에서 이미 다뤘다.
• 10.인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법) — 본법 시행 2026년 1월 22일. 캘리포니아 TFAIA 발효일(2026년 1월 1일)과는 다른 법, 다른 날짜다.

업계·감시 활동

• 11.The Midas Project, AI Safety Watchtower — 16개 기업의 안전·보안 정책 문서를 상시 추적한다. 본문에 옮긴 설립자 Tyler Johnston의 발언과, 부속 활동 Seoul Commitment Tracker의 채점 결과(B− 이상을 받은 기업 없음, 6곳 낙제)를 인용했다.
• 12.네이버 AI 안전 프레임워크(ASF) 2.0 — 2026년 7월 8일 인공지능안전 서울 포럼(SFASS) 공개. 본문에 옮긴 한국어 문구와 영문 축자의 대응을 페블러스가 확인했다. 2024년 AI 서울 정상회의에서 공개한 판본의 후속이다.
• 13.Keep a Changelog(keepachangelog.com) — 범주별 항목 열거를 규범으로 삼는 체인지로그 명세. 본문에서는 정성적 대비로만 인용했고 채택률 통계는 인용하지 않았다.

페블러스 인접 글

• 14.평가 문서의 모델이 지금 서빙된다고 증명한 사업자는 없었다 · 안전신뢰문서의 실체는 데이터 계보다
• 15.프런티어 AI를 매년 외부 감사에 맡긴 미국 첫 주법 · 데이터 계보 추적이 규정 개정 재라벨링을 14.7%로 줄였다