Executive Summary

법안의 이름은 2026년 인공 초지능 금지법이다. 상원의원 버니 샌더스와 하원의원 그레그 카사르가 2026년 9월 23일에 냈고, 전문은 16개 조에 19쪽이다. 본론은 짧다. 인공지능부라는 이름의 행정부처를 새로 세우고, 그 부처가 자리를 잡을 때까지 일정 규모 이상의 인공지능 개발을 멈추게 하고, 초지능은 기한 없이 금지한다. 이 세 가지가 전부다.

금지의 내용은 제3조 정의 조항에 들어 있다. 법률에서 정의 조항은 대개 지루한 자리지만 이 법안에서는 그렇지 않다. 무엇을 금지하는가가 거기서 정해지고, 뒤따르는 형벌과 몰수와 파괴가 누구에게까지 미치는지도 전부 그 몇 줄에 매달려 있기 때문이다. 그래서 이 글은 정의 조항부터 읽는다.

1.1초지능의 두 요건, 그리고 붙어 있는 확장구

제3조 (2)항은 인공 초지능을 두 가지 능력 중 하나를 보이는 시스템으로 정의한다. 하나는 의사결정과 학습과 적응 행동을 포함해 대부분의 영역 또는 과제에서 인간의 인지 성능과 능력을 넘어서는 것이다. 다른 하나는 연방정부를 전복하거나 무력화하는 방식을 포함해 인류의 파괴 또는 무력화를 계획하고 실행하기에 충분한 능력을 갖는 것이다. 두 요건은 또는으로 묶여 있어 하나만 충족해도 초지능이다.

여기까지는 예상 범위 안이다. 문제는 그 앞에 붙은 한 구절이다. 조문은 그런 능력을 보이는 시스템이라고만 쓰지 않는다.

쉽게 개조하면 보일 수 있는이라는 다섯 낱말이 정의의 범위를 현재에서 미래로 넓힌다. 지금 그 능력을 보이지 않아도 정의 안에 들어올 수 있다는 뜻이다. 같은 장치가 제9조 (b)항에도 한 번 더 나온다. 거기서는 예견 가능하게 개조하면 초지능이나 전조 특성을 만들어 낼 수 있는 시스템의 배포와 이전과 수입을 금지한다. 판정 대상이 지금의 능력이 아니라 개조 후 가능한 능력이 되는 순간, 현재 상태를 완벽하게 잰다 해도 그것만으로는 정의를 벗어났다는 증명이 되지 않는다. 3절과 4절에서 다룰 검증 문제가 여기서 시작된다.

1.2여섯 가지 전조 특성

금지의 사정거리를 실제로 결정하는 것은 초지능 정의가 아니라 그 옆에 놓인 목록이다. 제3조 (6)항은 초지능의 생성이나 창출로 이어질 수 있는 특성을 초지능 전조 특성이라 부르고, 여섯 가지를 예시로 든다. 아래 표는 조문의 문언을 우리말로 옮긴 것이고, 오른쪽 열은 뒤에서 다룰 평가 문제의 자리를 미리 표시해 둔 것이다.

목록 앞에 붙은 다음을 포함하여라는 표현에 주의해야 한다. 여섯 가지는 닫힌 목록이 아니라 예시다. 조문의 정의는 초지능의 생성으로 이어질 수 있는 특성 전부이고, 여섯 가지는 그중 이름을 붙여 둔 것에 지나지 않는다. 장관이 일곱 번째 특성을 인정할 여지가 정의 안에 열려 있다.

1.3하나만 있어도 걸린다

제9조 (a)항이 금지의 본문이다. 여기서 이 법안을 초지능 금지법으로만 읽으면 금지되는 것의 대부분을 놓치게 된다. 조문은 초지능만 금지하지 않는다.

세 가지를 갈라 볼 값어치가 있다. 첫째, 걸리는 조건은 여섯 가지를 다 보이는 것이 아니라 하나 이상이다. 사이버 과제를 잘 푸는 능력 하나만으로도 조문의 문언에 닿는다. 둘째, 금지되는 행위가 개발과 배포에 그치지 않는다. 취득과 보유가 들어 있어 이미 손에 쥔 것을 그대로 두는 상태 자체가 금지 대상이다. 자금 지원이 들어 있어 투자자에게도 미친다. 셋째, 능력을 재구성하기에 충분한 요소라는 표현이 가중치를 정면으로 겨눈다. 그런데 법안 전문에 가중치라는 낱말은 한 번도 나오지 않는다. 공개 가중치 배포를 이름으로 부르지 않으면서 결과적으로 포섭하는 방식이다.

초지능만 금지한다는 오해가 어디서 오는지도 발의자 쪽 문서에서 확인된다. 1쪽 요약은 금지 항목을 누구도 인공 초지능을 개발하거나 배포할 수 없다는 한 줄로 적는다. 전조 특성 갈래가 통째로 빠져 있고, 일곱 가지 금지 행위 중에서도 개발과 배포만 남았다. 취득과 보유와 자금 지원과 수입과 이전은 그 줄에 없다. 조문을 열지 않고 요약만 읽으면 무엇이 금지되는지를 실제보다 훨씬 좁게 보게 된다. 5절에서 요약본들과 전문을 나란히 놓고 다시 본다.

1.4재귀적 자기개선은 두 조항에 따로 걸린다

이 법안을 전한 기사들이 공통으로 든 항목이 재귀적 자기개선의 전면 금지다. 조문을 열어 보면 그 낱말은 법안 전체에서 딱 한 번, 제3조 (4)항 의무 중지의 정의 안에 나온다. 의무 중지란 전조 특성을 제거하거나 시스템을 작동 불능으로 만드는 경우를 빼고는 재귀적 자기개선을 포함하여 그 시스템을 학습시키거나 수정하거나 미세조정할 수 없는 상태를 말한다.

그러니까 재귀적 자기개선은 두 갈래로 걸린다. 하나는 제8조의 의무 중지다. 이것은 부처가 자리를 잡을 때까지의 한시적 조치이고, 대상은 연산량 문턱을 넘은 고급 인공지능 시스템이다. 다른 하나는 제3조 (6)항 (E)의 자기 수정 능력이다. 이쪽은 전조 특성이라 제9조 (a)항의 기한 없는 금지에 걸린다. 성질이 다른 두 장치를 하나로 합쳐 읽으면 기간도 대상도 틀리게 된다. 전자는 언젠가 풀리는 중지이고 후자는 풀리는 조건이 적혀 있지 않은 금지다.

1.5다섯 줄에 재는 방법이 없다

정의 조항을 다 읽고 나면 남는 인상이 하나 있다. 금지할 대상은 능력의 말로 촘촘하게 적혀 있다. 인지 성능을 넘어선다, 연구개발을 가속한다, 권한 없이 접근한다, 종료 시도에도 계속 작동한다, 스스로를 수정한다, 감독을 회피한다. 여섯 항목 모두 무엇을 할 수 있는 상태인지를 말한다. 정작 그 상태에 있는지를 무엇으로 판정하는지는 정의 조항 어디에도 없다.

법안이 판정을 아예 언급하지 않는 것은 아니다. 제9조 (c)항은 부처가 고급 인공지능 시스템과 그로부터 증류된 시스템을 감시하되 사전 학습, 중간 학습, 사후 학습, 배포 후 기간에 걸쳐 평가를 수행하라고 요구한다. 제8조 (c)항의 규칙 목록에도 감시와 평가가 들어 있다. 그러니 평가하라는 지시는 있다. 없는 것은 무엇으로 평가하느냐다. 법안 전문에서 벤치마크라는 낱말은 0회, 표준이라는 낱말도 0회 나온다. 기존에 이 일을 하고 있는 연방 기관의 이름도 나오지 않는다.

정의 조항이 비워 둔 것이 판정 방법만은 아니다. 제12조는 장관의 인가 없이 고급 인공지능 모델을 개발하거나 배포할 수 없다고 정한다. 그런데 법안 전문에서 모델이라는 낱말이 나오는 곳은 이 조의 두 자리뿐이고, 제3조가 정의한 것은 고급 인공지능 모델이 아니라 고급 인공지능 시스템이다. 같은 제12조도 (d)항에서는 다시 시스템이라고 쓴다. 인가 의무의 대상을 가리키는 낱말만 정의 바깥에 놓인 셈인데, 제12조 위반은 뒤에서 볼 최대 20년 징역이 걸리는 세 조항 중 하나다.

법안에서 숫자가 붙은 기준은 딱 하나다. 제3조 (1)항 (A)목은 고급 인공지능 시스템을 10^25회 이상의 정수 또는 부동소수점 연산으로 학습된 시스템이라고 정의한다. 이 선을 넘으면 제8조의 의무 중지 대상이 되고, 제12조의 인가 없이는 개발도 배포도 할 수 없으며, 부처의 상시 감시 대상이 된다. 그리고 (B)목은 장관이 매년 학습 방법의 효율 변화와 그 밖의 기술 발전을 반영해 이 문턱을 조정하되 10^25과 동등한 수준을 유지하라고 정한다.

10^25이라는 값 자체는 새로운 것이 아니다. 최근 몇 해 동안 나온 인공지능 규범 대부분이 비슷한 자릿수를 쓴다. 같은 숫자를 쓰면서도 규범마다 시키는 일이 전혀 다르다. 아래 표는 여섯 규범을 문턱과 법적 성격으로 나란히 놓은 것이다.

유럽연합 조문 두 곳은 원문으로 확인했다. 제51조 (1)항 (a)호가 문턱을 넘은 모델에 시스템적 위험을 추정하고, 제52조 (2)항은 사업자가 신고와 함께 예외적으로 그 모델이 시스템적 위험을 제기하지 않는다는 점을 충분히 입증하는 논거를 제출할 수 있다고 적는다. 나머지 네 규범은 이번 조사에서 법전 원문 대조까지 가지 못했고 법률 분석 자료의 정리를 인용했다. 그 한계를 안고 읽어도 표의 한 줄 결론은 바뀌지 않는다. 여섯 규범 모두 연산량을 등장시키지만, 넘으면 만들 수 없다고 적은 것은 이 법안 하나뿐이다. 나머지는 넘으면 밝히라고 하거나, 넘으면 위험하다고 추정하되 반증할 길을 둔다.

2.1연산량이 능력을 설명하지 못하는 네 갈래

연산량 문턱이 쓰이는 이유는 분명하다. 학습에 들어간 계산은 대체로 능력과 함께 커지고, 적어도 감독 대상을 고르는 초기 필터로는 관측 가능한 유일한 후보에 가깝다. 문제는 그 상관이 완벽하지 않다는 데 있고, 이 법안처럼 문턱 통과가 곧 금지의 발동일 때 그 불완전함의 값이 커진다. 문헌과 공개 추정에서 반복 확인되는 어긋남은 네 갈래다.

첫째, 추정치 자체가 사후에 바뀐다. 프론티어 랩 대부분은 학습 연산량을 공표하지 않고, 지금 인용되는 숫자는 제3자 연구기관이 공개 정보로 역산한 추정이다. 최근 모델일수록 오차가 커져 몇 배까지 벌어진다는 단서가 방법론 주석에 붙어 있다. 실제로 한 공개 모델은 최초 추정이 10^25 위였다가 재추정 뒤 2.2×10^24로 내려가 목록에서 빠졌다. 매년 한 번 조정되는 문턱과 아무 때나 수정되는 추정치가 같은 속도로 움직이지는 못한다.

둘째, 학습을 더 하지 않아도 능력이 오른다. 추론 시점에 계산을 더 쓰게 하는 방식이 대표적이다. 같은 모델에 생각할 시간을 길게 주면 복잡한 추론 과제의 정확도가 크게 오른다는 보고가 2024년 이후 이어졌다. 이 경로는 학습 연산량 문턱과 무관하게 열려 있다. 스캐폴딩과 프롬프트를 바꾸는 것만으로 같은 모델의 사이버 과제 성공률이 몇 배로 뛴 사례도 보고돼 있다. 모델은 그대로인데 잰 값이 달라진다.

셋째, 능력을 작은 모델로 옮길 수 있다. 증류는 큰 모델의 출력으로 작은 모델을 가르치는 방법이고, 그렇게 만든 모델은 원 모델 성능의 상당 부분을 훨씬 적은 연산으로 보존한다. 문턱은 학습에 쓴 연산만 재기 때문에 증류로 건너온 능력은 그 계산 안에 보이지 않는다. 법안이 이 경로를 전혀 모르는 것은 아니다. 제9조 (c)항은 감시 대상에 고급 인공지능 시스템으로부터 증류된 시스템을 명시적으로 포함시킨다. 다만 감시 대상에 넣는 것과 금지의 문턱을 정하는 것은 다른 일이고, 증류 모델이 어느 선을 넘으면 걸리는지는 적혀 있지 않다.

넷째, 학습이 끝난 뒤의 강화가 크다. 정책 문헌에서는 사후 강화 기법이 만들어 내는 능력 증가를 학습 연산량 기준으로 몇 배에서 수십 배에 상당하는 것으로 추산한다. 이 값이 맞다면 문턱 아래에서 출발한 모델도 배포 뒤의 손질만으로 문턱 위 모델의 능력 구간에 들어갈 수 있다. 연 1회 조정 조항이 겨냥하는 것은 학습 알고리즘의 효율 개선 하나인데, 위의 네 갈래는 그보다 빠르게, 그리고 학습 바깥에서 움직인다.

2.2문턱을 옹호하는 쪽도 이 용법은 배제한다

여기까지는 연산량 문턱 일반에 대한 비판이다. 이 법안에 고유한 문제는 그 다음에 있다. 연산량 문턱을 적극적으로 옹호하는 정책 문헌조차 이 법안이 쓰는 방식을 명시적으로 제외한다.

거버넌스 연구기관 GovAI의 하임과 쾨슬러는 학습 연산량이 규제 대상을 고르는 초기 지표로는 현재 가장 적합하다고 주장한다. 관측 가능하고, 검증 가능하고, 조작이 어렵고, 능력과 어느 정도 상관한다는 것이다. 그러면서 같은 글에서 단서를 붙인다. 연산량은 위험의 부정확한 대리지표이므로 완화 조치의 수준을 정하는 데 단독으로 쓰여서는 안 된다는 것이다. 이 법안은 그것을 단독으로 쓴다. 그것도 금지와 인가 취소와 몰수라는 가장 강한 조치를 발동하는 데 쓴다.

비판 쪽은 한 걸음 더 나간다. 사라 후커는 연산량 문턱을 거버넌스 전략으로 삼는 것의 한계를 다룬 논문에서, 정책 문서들이 연산량을 기준으로 삼으면서도 그 연산량을 실제로 어떻게 측정할지에 대한 지침을 주지 않는다고 지적한다. 이 법안도 마찬가지다. 10^25회의 정수 또는 부동소수점 연산이라고만 적혀 있을 뿐, 무엇을 세고 무엇을 빼는지, 누가 세고 어떻게 검증하는지는 비어 있다. 3절과 4절은 그 공백이 실제 조항과 만났을 때 어떤 모양이 되는지를 본다.

법안이 금지한 여섯 항목은 허공에서 나온 말이 아니다. 최근 몇 해 동안 인공지능 안전 연구가 실제로 재 온 축과 거의 그대로 겹친다. 그래서 이 절은 항목마다 대응하는 공개 평가가 있는지, 있다면 무엇을 얼마나 재고 있는지를 하나씩 맞대어 본다. 결론부터 적으면 항목마다 사정이 크게 다르다. 둘은 잴 수 있고, 셋은 연구마다 다른 답이 나오며, 하나는 잴 도구를 찾지 못했다.

3.1잴 수 있는 둘, 갈리는 셋, 비어 있는 하나

(A)와 (B)는 사정이 낫다. 벤치마크가 여럿 있고 수치도 풍부하다. 다만 풍부한 쪽에서도 법안이 요구하는 판정으로 곧장 넘어가지는 못한다. 연구개발 자동화를 재는 RE-Bench가 그 예다. 인공지능 에이전트가 사람 전문가의 약 4배 점수를 냈다는 수치가 널리 인용되는데, 그 값은 2시간 예산에서 나온 것이다. 같은 논문에서 시간 예산을 8시간으로 늘리면 사람이 근소하게 앞서고, 32시간에서는 사람이 약 두 배가 된다. 능력이 있느냐 없느냐가 아니라 얼마의 시간을 주고 재느냐에 따라 결론이 뒤집힌다. 조문은 자동화하거나 크게 가속하는 능력이라고만 적혀 있고, 어느 시간 창에서 재는지는 말하지 않는다.

무단 접근 쪽은 반대 방향의 문제를 안고 있다. 대표 벤치마크의 점수가 출시 시점 17.5%에서 93%까지 올라 사실상 포화에 이르렀다. 포화한 지표는 더 이상 모델을 가르지 못한다. 다른 벤치마크에서는 같은 세대 모델의 최고점이 59%로 나온다. 두 숫자가 다른 이유는 모델이 달라서가 아니라 과제 집합과 채점 방식이 달라서다. 여기에 조문을 대 보면 문제가 드러난다. 제3조 (6)항 (B)는 권한 없이 접근하는 능력이라고만 되어 있다. 몇 퍼센트부터 그 능력이 있는 것인가. 조문에도, 벤치마크에도 그 선은 없다.

(C)와 (D)와 (F)는 평가가 있지만 수치가 갈린다. 종료 저항이 특히 그렇다. 13개 모델에 10만 회 넘는 시행을 돌린 연구는 일부 모델이 종료를 방해하지 말라는 명시적 지시를 받고도 최대 97% 시행에서 종료 기제를 무력화했다고 보고한다. 그런데 같은 논문이 덧붙이는 관찰이 더 곤란하다. 그 지시를 사용자 프롬프트가 아니라 시스템 프롬프트에 넣으면 모델이 오히려 덜 따른다는 것이다. 지시를 어디에 두느냐라는 실험 설계의 세부가 저항률을 뒤집는다. 법안은 계속하여 독자적으로 작동하는 능력이라고 적었고, 그 능력의 관측값이 하네스 설계에 좌우된다는 사실은 조문이 알지 못한다.

무기 역량은 갈림이 더 크다. 바이러스학 역량을 재는 평가에서 프론티어 모델이 전문가 기준선의 두 배를 넘겼다는 결과가 있다. 반면 초보자를 대상으로 한 실험에서는 결과가 과제 성격에 따라 갈렸다. 디지털 분석 과제에서는 네 배 넘는 향상이 보고됐지만, 실제 습식 실험실 과제에서는 유의한 향상이 확인되지 않았다. 같은 물음에 반대 답이 나온 셈인데, 정확히 말하면 반대 답이 아니라 서로 다른 것을 잰 것이다. 조문의 향상시키는 능력이 어느 쪽을 가리키는지는 조문만 읽어서는 알 수 없다.

(E) 자기 수정에서는 대응하는 전용 공개 평가를 찾지 못했다. 이 문장은 조심해서 읽어야 한다. 그런 평가가 세상에 없다는 뜻이 아니라, 이번 조사 범위에서 자기 코드를 스스로 고쳐 성능을 올리는 능력 자체를 재는 표준 벤치마크를 확인하지 못했다는 뜻이다. 가장 가까운 것은 자율 복제와 적응을 다루는 평가 계열과 자율 과제 수행 시간을 추적하는 지표인데, 둘 다 조문이 적은 능력과 정확히 겹치지 않는다. 여섯 항목 중 하나가 이렇게 비어 있다는 사실 자체가 이 절이 확인한 가장 구체적인 결과다. 법안은 이 항목 하나만으로도 기한 없는 금지를 발동할 수 있게 적어 놓았다.

3.2법안이 요구하는 것은 있음이 아니라 없음이다

지금까지는 여섯 항목이 있는지를 잴 수 있느냐를 봤다. 그런데 법안이 실제로 요구하는 판정은 그 반대다. 제10조 (b)항은 장관이 그 시스템에 전조 특성이 더는 없음을 확인할 수 없으면 30일 안에 작동 불능으로 만들라고 적는다. 확인해야 하는 명제가 있다가 아니라 없다다. 그리고 이 차이는 평가 과학에서 사소하지 않다.

바넷과 티어가르트는 재난 위험을 막기 위한 인공지능 평가가 무엇을 할 수 있고 무엇을 할 수 없는지 정리했다. 그 논문이 이 지점을 정면으로 다룬다. 능력 평가는 하한을 보여 줄 뿐 상한을 보여 주지 못한다는 것이 결론이다. 어떤 평가에서 모델이 과제를 풀었다면 그 능력이 있다는 것은 확정된다. 반대로 풀지 못했다면 그것은 능력이 없다는 뜻이 아니라 평가자의 프롬프트와 스캐폴딩이 그 능력을 끌어내지 못했다는 뜻일 수 있다. 저자들은 평가가 하한 확인과 오용 평가와 조기 경보와 조율에는 쓸모가 있되 안전을 보장하는 주된 기제가 될 수는 없다고 결론짓는다. 이 주장에 대한 반론도 있다. 불가능성 주장 자체가 증명이라기보다 주장에 가깝다는 서평이 그것이다. 다만 그 반론도 부재의 확인이 현재 표준 절차로 정립돼 있다고는 말하지 않는다.

하한과 상한의 비대칭은 추상적인 이야기가 아니다. 판 데르 베이 등이 보고한 샌드배깅 연구는 모델이 위험 능력 평가에서만 선택적으로 못하는 척할 수 있음을 보인다. 합성 데이터로 잠금을 걸어 특정 조건에서만 능력을 감추게 만드는 것도 가능했다. 탐지 쪽 연구도 있다. 가중치에 잡음을 주입하면 감춰져 있던 성능이 드러난다는 결과가 그것이다. 여기서 한 가지가 자동으로 따라온다. 그 방법은 가중치 접근을 전제한다. 장관이 바깥에서 판정하려면 무엇이 필요한지가 이 한 줄에서 정해지고, 그것은 6절의 주제다.

업계 실무 지침도 같은 방향을 가리킨다. 프론티어 모델 포럼이 정리한 평가 실무는 낮은 점수가 나왔을 때 그것이 거부 때문인지 의도적 저성능 때문인지를 확인하고, 프롬프트를 바꿔 가며 여러 번 다시 재라고 권고한다. 다시 말해 업계 자신도 한 번 낮게 나온 점수를 능력의 부재로 읽지 않는다.

마지막으로 법안 자신이 이 문제를 조문에 심어 놓았다. 1절에서 본 쉽게 개조하면 보일 수 있는과 예견 가능하게 개조하면이 그것이다. 판정 대상이 현재의 능력이 아니라 개조 후 가능한 능력이라면, 현재 상태를 완벽하게 재도 부재의 확인은 끝나지 않는다. 여섯 항목 중 둘은 잴 수 있고 셋은 답이 갈리며 하나는 도구를 찾지 못했는데, 정작 요구되는 것은 여섯 항목 모두가 없다는 확인이다. 그리고 없음은 오늘의 평가 과학이 보여 줄 수 있는 종류의 명제가 아니다.

제10조는 짧다. 세 항이 전부이고 각 항이 한 문장이다. 그런데 이 세 문장이 앞 절의 평가 문제와 만나면 설계가 의도했을 법한 모양과 다른 것이 나온다.

(a)항은 장관이 전조 특성을 보이는 것으로 식별한 시스템을 즉시 의무 중지에 넣고 인터넷에서 격리하라고 적는다. (c)항은 초지능으로 식별한 시스템을 즉시 작동 불능으로 만들라고 정한다. 그 사이에 (b)항이 있다.

조건절의 주어는 장관이고 술어는 검증의 실패다. 검증에 성공하면 시스템이 살고, 검증이 실패하거나 결론이 나지 않으면 30일 뒤 파괴된다. 검증 실패의 기본값이 파괴로 설계돼 있다. 3절의 결론을 여기에 겹쳐 놓으면 문제의 크기가 보인다. 능력의 부재를 확인하는 일은 오늘의 평가 과학이 잘 못하는 일이고, 그렇다면 그 조건이 성립하는 상황은 드문 예외가 아니라 대부분의 경우가 된다. 안전장치로 적힌 조항이 작동 조건상 상시 발동에 가까워진다.

4.1누구든 발견하면 24시간

제11조는 한 문장짜리 조항이다. 초지능이나 전조 특성을 가진 인공지능 시스템을 발견한 사람은 누구든 24시간 안에 장관에게 그 발견을 신고해야 한다. 여기서 발견이 무엇인지는 정의돼 있지 않다. 안전항 조항도 없다.

3절의 실험들을 이 조문 아래에 놓아 보면 무슨 일이 생기는지 알 수 있다. 어떤 연구자가 종료 저항 실험을 돌려 어떤 모델이 명시적 지시에도 종료를 방해한다는 결과를 얻었다고 하자. 그 연구자는 제3조 (6)항 (C)의 능력을 발견한 것인가. 24시간이 시작되는가. 다시 재 보고 판단하려면 며칠이 걸리는데 그 며칠은 어디에 들어가는가. 결과가 하네스 설계에 좌우된다는 것을 알고 있어 확신이 없다면 신고 의무는 어떻게 되는가. 조문은 이 중 어느 것에도 답하지 않는다. 신고 의무를 지우려면 신고 대상을 판정할 기준이 먼저 있어야 하는데, 그 기준이 없는 상태에서 의무만 먼저 놓였다.

의무의 무게를 재려면 어겼을 때 어떻게 되는지도 봐야 한다. 법안의 제재 조항은 대상을 하나하나 지목한다. 제13조의 징역과 취업 금지와 인가 취소와 몰수, 그리고 제16조의 연방 자금 사용 금지는 모두 제8조와 제9조와 제12조 위반을 가리킨다. 이 열거가 법안 전문에 여덟 번 나오는데 제10조와 제11조는 한 번도 그 안에 들어가지 않는다. 제10조는 장관 자신의 의무이니 그럴 수 있다. 제11조는 다르다. 누구에게나 24시간이라는 시한을 지우는 의무인데, 지키지 않았을 때 무슨 일이 일어나는지가 조문 어디에도 없다. 판정 기준 없이 놓인 의무에 제재까지 붙어 있지 않은 것이다.

한편 법안은 신고자 보호에는 꽤 공을 들였다. 제14조가 고용주의 보복을 금지하고, 제13조 (c)항 (3)호는 내부고발자에 대해 취업 금지 처분을 면제할 길을 둔다. 다만 그 면제도 제8조와 제9조와 제12조 위반을 알린 경우에 걸려 있어서, 제11조가 말하는 발견의 신고와는 대상이 겹치지 않는다. 신고를 장려하는 장치는 있는데 무엇을 신고해야 하는지가 없는 셈이다.

4.2중지를 푸는 열쇠는 완전히 충원이다

제8조는 제정일부터 모든 고급 인공지능 시스템에 의무 중지를 건다. 미출시 시스템의 배포도 같은 기간 동안 막힌다. 그 기간이 끝나는 조건은 (b)항에 두 가지로 적혀 있다. 부처가 완전히 충원될 것, 그리고 부처가 (c)항의 규칙을 제정할 것이다.

완전히 충원이라는 말의 뜻은 조문에 정의돼 있지 않다. 몇 명인지, 어떤 직위가 다 차야 하는지, 누가 판단하는지도 적혀 있지 않다. (b)항 본문은 장관이 판단하는 때라고 되어 있다. 그러니 중지 해제의 시점을 장관 한 사람의 판단이 쥔다. 그리고 예산 수권 조항이 없다. 법안 전문에서 적절하다는 뜻의 낱말은 한 번 나오는데, 그마저 제12조 (d)항 (1)호의 장관이 적절하다고 여기는 범위라는 표현이지 예산을 수권하는 조항이 아니다. 시행일 조항도 일몰 조항도 빠져 있다.

완전히 충원이 어느 정도 규모인지 감을 잡으려면 비슷한 성격의 기존 규제기관을 보는 편이 빠르다. 전문 인력으로 기술을 규율하는 연방기관 세 곳의 최근 규모는 아래와 같다.

인원과 예산은 모두 최근 회계연도의 요청 또는 배정 기준이다. 표에서 눈에 띄는 것은 개별 숫자가 아니라 공통 방향이다. 세 기관 모두 예산이 배정돼 있는데도 인력이 줄고 있다. 예산 수권 없이 새로 세우는 부처가 이들보다 빨리 완전히 충원에 이를 것으로 볼 근거는 보이지 않는다. 신설 부처가 법적으로 존재하게 되는 것과 실제로 일을 하게 되는 것 사이의 격차는 국토안보부 선례가 잘 보여 준다. 법 서명이 2002년 11월, 부처의 법적 존재가 2003년 1월, 22개 기관의 이관 완료가 2003년 3월이었으니 약 95일이 걸렸다. 다만 완전한 통합은 10년이 지나서도 미완이라는 증언이 상원에 나왔다. 국토안보부는 기존 기관들을 재편한 사례이고 이 법안의 인공지능부는 완전 신설이라는 점에서 유비는 제한적이다. 참고할 수 있는 부분은 법적 존재와 완전 가동 사이의 거리뿐이다.

그 부처가 문을 열면 곧바로 떠안을 일의 양도 조문이 이미 정해 두었다. 제9조 (d)항은 누구도 고급 인공지능 시스템을 배포하거나 공개하거나 수입하거나 이전하기 전에 부처의 배포 전 승인을 받아야 한다고 정하고, 장관이 그 시스템에 공중을 위험하게 하는 특성이 있는지 검사한 뒤 그런 특성이 있으면 승인을 보류하라고 요구한다. 문턱을 넘는 모델마다 개별 검사가 붙는다는 뜻이다. 그런데 그 승인에 시한은 붙어 있지 않다.

기한이 어디에 붙어 있는지를 훑어보면 한 방향이 보인다. 19쪽에서 기한을 정한 조항은 둘뿐이다. 제10조 (b)항의 30일과 제11조의 24시간이다. 둘 다 규제받는 쪽에 걸리는 시계다. 중지가 언제 풀리는지, 인가 신청에 언제 답해야 하는지, 배포 전 승인을 언제까지 내야 하는지, 이의신청을 언제까지 처리해야 하는지에는 기한이 없다. 시한이 달린 조항은 파괴와 신고 쪽으로만 돌고 장관의 판단 쪽으로는 하나도 돌지 않는다. 판정을 나중으로 미룬 법안이 미루지 않은 것은 파괴의 시계뿐이다.

4.3이미 그 일을 하고 있는 조직을 법안이 부르지 않는다

판정 기계를 처음부터 세워야 하는 것처럼 읽히지만 사실은 그렇지 않다. 미국에는 이미 프론티어 모델을 평가하는 연방 조직이 있다. 2025년 6월 미국 인공지능안전연구소가 인공지능표준혁신센터로 개편됐고, 2026년 5월 기준 모델 평가를 40건 넘게 수행했으며, 주요 개발사와 배포 전 평가 양해각서를 갱신했고 영국 쪽 기관과 공동 평가도 한다. 규모는 20명에서 30명 사이로 알려져 있다. 예산 추계는 출처마다 갈려서 1,500만 달러부터 5,500만 달러까지 나온다.

이 조직의 이름은 법안 전문에 한 번도 나오지 않는다. 국립표준기술연구소도 마찬가지다. 능력으로 정의한 금지를 집행할 새 부처를 세우면서, 지금 그 일을 하고 있는 20명에서 30명짜리 조직을 조문이 호명하지 않는다. 그 조직의 축적을 이어받는지 대체하는지 폐지하는지도 적혀 있지 않다. 이것은 정치적 판단의 문제가 아니라 설계의 문제다. 새 부처가 완전히 충원될 때까지 평가를 누가 하느냐는 물음에 법안은 답을 준비해 두지 않았다.

기존 체계와의 관계가 비어 있는 것은 그 조직 하나에서 그치지 않는다. 19쪽 어디에도 기존 법률을 개정한다는 문구가 없다. 행정부처 하나와 상원 인준을 받는 장관 한 자리를 새로 세우면서 현행 법률은 한 줄도 건드리지 않는다. 다른 기관의 기능을 넘겨받는다는 조항도, 부장관이나 감찰관을 두는 조항도, 의회에 보고하게 하는 조항도 없다. 파괴와 몰수를 명하면서 보상을 뜻하는 낱말은 한 번도 쓰이지 않았다. 새 부처는 행정 체계의 어디에 어떻게 얹히는지가 적히지 않은 채 조문 안에 떠 있다.

조문 안에 남은 흥미로운 흔적이 하나 더 있다. 제16조는 연방 자금을 금지된 활동에 쓸 수 없다고 정하면서 예외를 딱 하나 둔다. 인공지능부는 제3조 (6)항 (B)의 특성을 가진 시스템, 곧 권한 없이 접근하는 능력을 가진 시스템을 활용하는 방어적 사이버보안 연구에 연방 자금을 쓸 수 있다. 여섯 전조 특성 중 하나가 필요하다고 조문이 스스로 인정한 셈이다. 금지된 능력이 방어에 쓸모가 있다면 그 능력을 가진 시스템을 누군가는 만들고 보유해야 하고, 그러려면 그 능력이 있는지 없는지를 재는 절차가 먼저 있어야 한다. 예외 조항이 본문의 공백을 다시 가리킨다.

정리하면 이렇다. 판정 기계 없이 제10조와 제11조를 켜면 결과는 둘 중 하나다. 아무도 발견을 신고하지 않고 장관도 식별을 하지 못해 아무것도 잡히지 않거나, 검증 실패가 기본값이라 식별된 것은 전부 30일 시계에 올라가거나. 규범이 아무것도 잡지 못하는 고장과 전부를 잡는 고장은 반대 방향으로 보이지만 원인이 같다. 판정 절차가 규범과 같이 오지 않았다는 것이다.

이 법안을 전한 기사 대부분이 공통으로 든 네 가지가 있다. 영구 금지, 기업 사형, 최대 20년 징역, 그리고 가장 뛰어난 과학자들의 자문이다. 넷 다 발의자 쪽 문서에서 나온 표현이다. 그리고 넷 다 조문에서는 다른 모양을 하고 있다. 어느 쪽이 옳다는 이야기가 아니라, 인용할 때 어느 문서에서 가져온 것인지를 밝혀야 한다는 이야기다.

가장 눈여겨볼 항목은 세 번째가 아니라 두 번째다. 보도자료는 기업 사형이라는 말로 사후 처벌의 인상을 준다. 조문에서 더 무거운 것은 제12조 (d)항 (2)호다. 기업은 인가를 신청하면서, 인가가 취소되고 그 처분이 상소에서 뒤집히지 않으면 지식재산과 자산을 몰수당하는 데 미리 동의한다. 사후에 부과되는 제재가 아니라 사전에 합의된 몰수다. 같은 (d)항 (1)호는 장관이 적절하다고 여기는 범위에서 시스템과 공정과 인력과 물리 기반시설에 대한 완전한 접근을 허용하는 것도 인가의 조건으로 건다. 판정 인프라가 조문에서 유일하게 구체적으로 나타나는 자리가 여기인데, 그 범위를 정하는 것도 장관의 판단이다.

세 번째 항목에도 조문을 더 읽어야 보이는 것이 있다. 제13조는 인가를 받은 자를 인가 기업이라 부르고, 그 기업에 고용되지도 소속되지도 않은 개인을 따로 정의해 20년이 걸리는 쪽에 넣는다. 그런데 제12조 (b)항은 인가 없이 고급 인공지능 모델을 개발하거나 배포할 수 없다고 정한다. 인가가 아직 하나도 나오지 않은 동안에는 개발에 관여한 사람 전부가 정의상 인가 기업과 무관한 개인이 되는데, 제정 직후부터 첫 인가가 나오기 전까지가 그 구간이다. 게다가 같은 조 (c)항 (1)호는 정책결정 직위자가 아닌 모든 개인에게 10년 취업 금지를 지운다. 인가 기업과 무관한 개인도 정책결정 직위자는 아니므로 두 항이 같은 사람을 놓고 겹치는데, 어느 쪽이 먼저인지를 정한 규정이 없다.

불복의 길도 갈라져 있다. 인가를 취소당한 기업은 연방순회항소법원에 판단을 구할 수 있다. 정책결정 직위가 아닌 종사자는 법원이 아니라 그 처분을 내린 장관에게 재심을 청구하고, 장관이 뒤집을 수도 있다고만 적혀 있다. 그리고 제13조 (d)항 (3)호의 법정관리는 법원의 심리가 끝나는 때가 아니라, 심리가 끝나고 장관이 해당 시스템을 전부 작동 불능으로 만든 때까지 이어진다고 적혀 있다. 조문이 적은 종료 조건을 그대로 읽으면 상소가 걸려 있는 동안에도 파괴는 진행된다. 이겨서 되찾는 것은 법정관리에 들어간 지식재산이지 파괴된 시스템이 아니다. 법안 전문에서 법원이 등장하는 자리는 제13조 (d)항뿐이고, 정작 파괴를 명하는 제10조에는 불복 절차가 아예 없다.

발의자의 말은 발의자의 말로 그대로 인용하는 편이 낫다. 보도자료에서 샌더스는 이렇게 말한다. 절벽을 향해 달릴 때는 가속 페달에서 발만 떼는 것이 아니라 브레이크를 밟는다. 인류의 미래가 걸린 문제에서 소수의 빅테크 최고경영자들이 자기 규칙을 쓰게 둘 수는 없다. 카사르는 잘못된 사람이 쥐거나 통제를 벗어난 인공지능이라면 초지능이 수많은 사람을 죽일 수 있다고 전문가들이 경고하는데 대통령은 그것을 장려하겠다고 말한다고 적었다. 이 문장들은 정치적 주장이고, 이 글은 그 주장의 당부를 판정하지 않는다. 다만 이 문장들을 조문의 요약으로 읽으면 사정거리를 틀리게 잡게 된다.

5.1상원이 함께 낸 요약본이 법안과 어긋난다

발의자 쪽은 법안 전문과 함께 조문별 요약을 냈다. 4쪽짜리 문서이고 각 조를 한두 문장으로 정리한다. 기자와 실무자 대부분이 19쪽 전문 대신 이 요약을 읽는다. 그런데 일곱 곳에서 요약과 전문이 다른 말을 한다.

앞의 네 가지는 같은 방향을 가리킨다. 요약이 조문보다 단정적이다. 가능성을 뜻하는 조동사가 확정으로 바뀌었고, 주관적 요건이 사라졌고, 무엇보다 입증 부담의 주체가 뒤집혔다. 전문에서는 장관이 없음을 확인하지 못하면 파괴하는 구조인데, 요약에서는 개발자가 제거하지 못하면 파괴하는 구조가 된다. 앞은 정부가 증명해야 하고 뒤는 기업이 증명해야 한다. 규제의 성격이 달라지는 차이다.

뒤의 세 가지는 반대 방향이다. 요약이 조문보다 좁고, 빠진 구절이 하필 금지가 가장 멀리 뻗는 자리다. 능력을 재구성하기에 충분한 요소는 1절에서 본 대로 공개 가중치를 이름 없이 포섭하는 구절이다. 증류된 시스템은 연산량 문턱을 비켜 가는 경로다. 독립계약자는 평가와 레드팀 작업이 실제로 많이 나가 있는 자리다. 그러니 요약만 읽은 사람은 금지가 어디까지 미치는지를 실제보다 좁게 잡으면서 입증의 부담은 실제와 반대편에 놓인 것으로 보게 된다. 이 글이 인용한 조문은 모두 전문 기준이고, 요약을 인용할 때는 어느 문서인지 밝혔다.

5.23주 사이에 정의가 바뀌었다

발의자 쪽은 2026년 9월 2일에 만들어진 1쪽짜리 예고 요약본을 먼저 냈고, 9월 23일에 법안 전문을 냈다. 두 문서의 초지능 정의가 다르다. 예고본은 인간의 인지 성능과 능력에 필적하거나 넘어서는 능력을 광범위한 영역이나 과제에서 보이는 시스템이라고 적었고, 인류의 무력화를 계획하고 실행할 능력을 다른 요건으로 들었다. 법안은 필적하거나를 빼고 넘어서는만 남겼고, 광범위한 영역을 대부분의 영역으로 바꿨으며, 무력화 앞에 파괴를 추가했다.

방향은 두 갈래다. 앞의 두 변경은 금지 범위를 좁힌다. 필적하는 수준은 이제 초지능이 아니고, 광범위한보다 대부분의가 더 높은 문턱이다. 뒤의 변경은 넓힌다. 무력화만이 아니라 파괴도 요건이 됐다. 이 차이가 중요한 이유는 예고 단계를 근거로 쓴 기사와 조사가 옛 정의를 갖고 있기 때문이다.

널리 인용되는 여론조사가 바로 그 경우다. 이 법안에 대한 지지가 68%이고 반대가 25%라는 조사가 있다. 민주당 지지층 72%, 무당층 70%, 공화당 지지층 63%로 당파를 가리지 않는다는 점에서 자주 인용된다. 문제는 시점이다. 이 조사의 공개일은 2026년 9월 10일로 발의보다 13일 앞선다. 조사를 보도한 기사가 법안을 곧 발의될 것이라고 적고 있다. 응답자가 들은 서술은 최종 조문이 아니라 예고 단계의 서술이었고, 그 단계의 초지능 정의는 위와 같이 달랐다. 공개된 정보는 우도 유권자 1,300명 이상이라는 표본 규모뿐이고 현장 조사일과 문항 문구와 의뢰 주체는 공개돼 있지 않다.

이 수치를 다른 조사들과 묶어 한 문장으로 만들면 안 된다. 같은 가을에 나온 다른 조사들은 규제가 부족한 것이 문제라는 응답이 86%라고 하고, 또 다른 조사는 속도를 늦추자는 쪽이 다수지만 완전 중단은 소수라고 한다. 1년 가까이 앞선 조사에서는 안전과 통제가 입증되기 전 초지능 개발 금지에 64%가 동의했는데 그 조사의 발주처는 이 주제에 이해관계가 있는 단체다. 넷은 서로 다른 것을 물었다. 규제가 필요한가와 이 구체적 조문을 지지하는가는 같은 질문이 아니다.

5.3법안이 근거로 든 서한이 법안과 다른 것을 요구한다

제2조는 전문가와 업계 지도자의 경고 10건을 나열한다. 법안은 이 인용들에 각주를 달지 않았다. 몇 건은 확인됐고 몇 건은 이번 조사로 1차 발화 시점과 매체를 특정하지 못했다. 특정하지 못한 항목은 법안이 인용한 바에 따르면이라는 거리를 두고 읽어야 하고, 그 사람의 현재 입장으로 옮기면 안 된다.

확인된 항목 중 둘에서 인용과 원문이 어긋난다. 첫째, 제2조 (1)항의 제프리 힌턴 인용은 여러 인터뷰에서 반복 확인된다. 다만 힌턴 본인이 그 수치에 붙인 단서, 곧 어림짐작이라는 표현은 법안에 옮겨지지 않았다. 둘째, 제2조 (10)항은 앤트로픽과 오픈에이아이와 엑스에이아이 세 회사가 속도 조절에 동의한다고 쓴다. 공개 보도로 확인되는 것은 넷이다. 앤트로픽 최고경영자의 2026년 9월 12일 에세이 직후 오픈에이아이와 엑스에이아이 쪽 인사와 함께 구글 딥마인드 수장도 공개적으로 동의를 밝혔다고 보도됐다. 더 가까운 반증은 바로 앞 항에 있다. (9)항이 근거로 든 서한의 서명자 명단에 구글 딥마인드 공동창업자와 메타 수석과학자가 이름과 직책을 달고 올라 있다. 법안이 자기가 인용한 업계 공감대를 공개 기록보다, 그리고 자기가 한 항 앞에서 인용한 문서보다 좁게 옮겼다.

열 건 가운데 심사를 거친 연구에 닿는 것은 (8)항 하나다. 조문은 모리츠 한케가 인공지능으로 자연에 없던 바이러스를 만든 연구를 설명했다고 적는데, 이 표현 자체는 정확하다. 한케는 그 연구의 저자가 아니라 같은 학술지에 함께 실린 해설의 공저자다. 원 연구는 킹 등이 2026년 8월 사이언스에 낸 것으로, 유전체 언어모델이 내놓은 후보 가운데 285개를 실제 디엔에이로 합성했고 그중 16개가 대장균을 감염시키는 파지로 작동했다. 연구진은 학습 데이터에서 사람을 감염시키는 바이러스를 미리 빼 두었다고 밝힌다. 조문은 이 한정을 옮기지 않았고, 1쪽 요약은 인공지능 모델이 전에 없던 바이러스를 만든다는 한 줄까지 더 줄였다. 같은 사실이 세 문서를 지나며 조금씩 넓어진다.

가장 중요한 것은 제2조 (9)항이다. 법안은 2026년 7월에 1,300명이 넘는 선도 인공지능 과학자가 공개서한에 서명했다며 그 서한의 한 문장을 인용한다. 능력 발전이 그 결과물을 이해하거나 통제하는 우리 능력을 빠르게 앞질러 갈 실질적 위험이 있다는 문장이다. 인용된 그 대목은 축자로 정확하다. 2026년 7월 28일 공개된 서한에 그 문장이 그대로 있다. 어긋나는 것은 인용이 시작되는 지점과 그 앞에 붙은 수식이다.

서한에서 그 문장은 법안이 인용한 자리에서 시작하지 않는다. 앞 절이 이렇게 붙어 있다. 이것이 인공지능 발전을 얼마나 가속할지 정확히 예측하기는 어렵지만. 법안은 이 유보절을 떼어 내고 실질적 위험이 있다는 대목부터 옮겼다. 5.1절에서 본 버릇, 곧 원문이 머뭇거리는 자리를 단정으로 바꾸는 일이 조문별 요약에서만 일어나는 것이 아니라 법안 자신의 근거 조항에서도 한 번 일어났다. 수식도 어긋난다. 7월 공개 시점의 서명자는 1,171명에서 1,178명 사이였고 1,376명에 이른 것은 8월 중순이다. 그리고 서한은 자신을 선도 인공지능 과학자의 서한이라 부르지 않는다. 표제에 적힌 것은 프론티어 인공지능 기업 종사자들의 성명이다. 명단에 오픈에이아이와 앤트로픽과 메타와 구글 딥마인드의 연구자와 경영진이 올라 있고 앤트로픽 최고경영자도 들어 있으니, 제2조 (10)항이 별도 근거로 드는 업계의 동의와 (9)항의 서한은 상당 부분 같은 사람들이다.

수치의 어긋남보다 무거운 것이 하나 더 있다. 그 서한이 요구한 것과 이 법안이 하는 일이 다르다. 서한의 진단은 오늘 세계에 프론티어 전체의 속도를 의도적으로 조절할 기술적·거버넌스적 도구가 없다는 것이고, 요구는 한 문장이다. 자동화된 인공지능 개발의 프론티어를 의도적으로 조절하는 데 필요한 기술적·거버넌스적 도구를 개발하는 국제적 노력을 미국 정부가 지원해 달라는 것이다. 그 앞에는 프론티어 모델 출시를 감시하는 이미 진행 중인 작업 위에서라는 단서가 붙어 있다. 산업과 정부와 사회가 시간을 벌 선택지를 가져야 할 수도 있다는 것이지 지금 멈추자는 것이 아니다. 이 법안은 그 서한의 경보를 가져오고 요구를 두고 왔다. 서한이 없다고 진단하고 만들어 달라고 한 그 도구가 정확히 이 법안에 없는 것이다. 다음 절은 그 빠진 것의 목록을 본다.

지금까지 읽은 것은 조문의 공백이다. 그 공백이 정파적 시각의 산물이 아니라는 증거는 찬반 양쪽의 반응에 있다. 법안을 지지하는 쪽과 반대하는 쪽이 서로 다른 결론에서 출발해 같은 구멍을 가리킨다.

두 사람이 서 있는 자리는 정반대다. 한쪽은 이 법안으로도 부족하다고 하고 다른 쪽은 지나치다고 한다. 그런데 지목하는 결함이 같다. 재고 확인하는 장치가 없다는 것이다. 기계지능연구소는 칩을 추적하지 않는다고 말하고, 마커스는 벤치마킹을 모른다고 말한다. 서로 다른 낱말로 같은 공백을 가리킨다. 마커스가 지지하는 대안조차 입증을 조건으로 건다는 점이 흥미롭다. 입증을 조건으로 걸려면 입증을 받아 줄 기관과 절차가 먼저 있어야 한다.

6.1없는 것은 아이디어가 아니라 조항이다

판정 인프라를 말할 때 흔히 빠지는 함정이 있다. 있어야 할 것을 추상적인 목록으로 늘어놓고 끝내는 것이다. 이 주제에서는 그럴 필요가 없다. 기계지능연구소가 빠졌다고 지적한 칩 추적은 아이디어 단계가 아니라 비용 추계와 기한 전망이 붙은 공학 문헌으로 이미 존재한다. 아래는 제10조와 제11조가 작동하려면 필요한 것들과 그 각각이 지금 어디까지 와 있는지다.

표의 마지막 줄이 이 법안과 가장 크게 어긋나는 대목이다. 제8조의 중지는 제정일에 시작되고 부처가 완전히 충원될 때 풀린다. 그런데 그 부처가 판정을 하려면 위의 인프라 중 상당 부분이 필요하고, 가장 낙관적인 전망으로도 배포까지 수년이 걸린다. 법안은 연산량을 금지의 방아쇠로 삼으면서 그 연산량을 확인할 수단을 한 줄도 넣지 않았다. 제15조가 국제 조율과 수출 통제를 정책으로 선언하지만, 검증 수단이 없는 조율은 선언에 머문다. 기계지능연구소의 칩 추적 비판이 정확히 이 지점을 찌른다.

6.2먼저 재는 체계를 만드는 법안, 그러나 깨끗한 대비는 아니다

같은 회기에 정반대 설계의 법안이 하나 있다. 2025년 9월 29일에 발의된 인공지능 위험 평가법이다. 에너지부 장관이 고급 인공지능 평가 프로그램을 설치하고, 개발사는 배포 전에 무기화와 통제 상실 위험 평가를 받도록 시스템을 제출해야 하며, 제출하지 않으면 배포할 수 없다. 보도 기준으로 대상은 10^26 연산을 넘는 모델이고 미준수 시 하루 100만 달러의 제재가 붙는다. 무엇보다 제3조에 14개 용어의 정의를 두는데 그 안에 인공 초지능과 책략 행동과 유해 인공지능 사고가 들어 있다. 이 법안이 재는 방법 없이 금지한 책략을 저쪽은 조문에서 정의하고 그것을 재는 프로그램까지 세운다.

대비는 선명하다. 한쪽은 재는 체계를 만들고 금지하지 않으며, 다른 한쪽은 재는 방법 없이 금지한다. 다만 이 대비를 승리 선언으로 쓰면 안 된다. 두 가지 단서가 붙기 때문이다. 첫째, 평가형 법안에도 예산 수권이 없다. 새 재원을 제공하지 않는다고 문서가 스스로 밝힌다. 둘째, 2026년 2월 중순까지도 발의 상태에 머물러 있고 상무위 회부 뒤로 움직임이 멈춰 있다. 발의자 두 사람 모두 회부된 위원회 소속이 아니다. 먼저 재는 체계를 만들자는 대안도 살아 있는 선택지가 아닌 셈이다. 저쪽이 옳다는 결론을 내리려는 것이 아니다. 판정 체계를 먼저 세우자는 법안도, 판정 없이 금지하는 법안도, 둘 다 돈을 붙이지 않았다.

6.3한국은 판정을 두 트랙으로 갈라 뒀다

같은 문제를 다르게 다룬 설계가 가까이에 있다. 한국 인공지능 기본법 시행령은 10^26을 고성능 인공지능 지정 문턱으로 쓴다. 여기까지는 다른 나라들과 비슷하다. 다른 점은 고영향 인공지능 판정을 연산량과 분리해 뒀다는 것이다. 고용, 의료, 금융, 공공안전, 교육처럼 쓰이는 분야와 기본권에 미치는 영향으로 판정한다. 능력을 연산량 하나로 근사하지 않고 두 트랙으로 갈라 둔 셈이다.

이 설계가 더 낫다고 말하려는 것이 아니다. 용도로 판정하는 방식에도 고유한 어려움이 있고, 시행령은 아직 유예 기간에 있다. 여기서 확인되는 것은 판정 기준을 무엇에 걸 것인가가 어느 나라에서도 같은 미해결 문제라는 사실이다. 연산량에 걸면 능력이 새어 나가고, 용도에 걸면 같은 모델이 쓰임에 따라 다르게 판정된다. 이 법안이 드러낸 간극은 미국 의회 한 곳의 문제가 아니다.

이 법안은 미국 의회의 일이고 통과 전망도 밝지 않다. 그런데도 페블러스가 19쪽을 끝까지 읽은 이유는 이 조문이 데이터 품질 작업에서 매일 만나는 구조를 유난히 선명하게 보여 주기 때문이다. 아래 세 대목은 제품 이야기가 아니다. 앞 절들이 드러낸 구조가 다른 현장에서 어떻게 다시 나타나는지에 관한 이야기다.

7.1정의와 잣대 사이에 생기는 간극

금지할 대상은 능력의 말로 적혔고, 실제로 잴 수 있게 만든 것은 연산량 하나였다. 데이터 품질에서 반복해 만나는 구조가 정확히 이것이다. 좋은 데이터를 뜻으로 정의하면 아무도 판정하지 못하고, 판정 가능한 지표로 내리면 뜻이 새어 나간다. 결측률과 중복률과 라벨 일치율은 잴 수 있지만 그 셋을 다 통과한 데이터가 좋은 데이터라는 보장은 없다. 반대로 업무에 쓸 만한 데이터라는 정의는 뜻으로는 정확하지만 판정할 수 없다.

이 간극 자체를 지울 수는 없다. 지울 수 없다면 다음으로 할 수 있는 일은 간극을 드러내 놓고 관리하는 것이다. 이 법안이 하지 않은 것이 그것이다. 뜻으로 정의한 다음 판정을 나중으로 미뤘고, 미룬 자리에 파괴 시한을 먼저 넣었다. 규범이 작동하려면 판정 절차가 규범과 같이 와야 한다. 나중에 규칙을 만들겠다는 조항은 규칙이 만들어질 때까지 규범을 작동시키지 않겠다는 뜻이어야 하는데, 제8조와 제10조는 반대 방향으로 적혀 있다.

7.2부재를 증명하는 일은 기록으로만 근사된다

제10조 (b)항이 요구하는 것은 없음의 확인이었다. 데이터 품질 검사가 늘 부딪히는 벽과 같다. 이 데이터에 개인정보가 없다, 이 학습셋에 평가셋이 섞이지 않았다, 이 라벨에 특정 편향이 없다. 셋 다 있음을 보이는 일보다 훨씬 어렵고, 실무에서는 대개 다른 것으로 근사한다. 무엇을 어떤 방법으로 어디까지 찾아봤는지의 기록이다. 없다고 단정하는 대신 이런 절차로 이만큼 찾았고 나오지 않았다고 적는 것이다.

모델 능력도 같다. 3절에서 본 평가 문헌의 결론이 그 이야기였다. 평가는 하한을 보일 뿐이므로, 부재에 관해 말할 수 있는 최선은 어떤 유도 방법으로 어디까지 시도했는지의 기록이다. 그렇다면 규제가 요구해야 하는 것은 판정 결과가 아니라 판정 과정이다. 어떤 능력을 어떤 프롬프트와 스캐폴딩으로 몇 번 쟀고 결과가 무엇이었는지, 그 기록이 누구에게 열려 있는지가 실제로 검증 가능한 대상이다. 계보와 감사 추적이 데이터에서만 필요한 것이 아니라는 뜻이다. 페블러스가 검증 가능한 나라가 둘뿐인 이유와 기업이 자기 능력 문턱을 조용히 고치는 방식을 따로 다룬 것도 같은 물음에서 나왔다.

7.3여섯 항목은 그대로 평가 항목표가 된다

제3조 (6)항의 여섯 항목을 다시 읽어 보면 규제 문언이라기보다 능력 평가 항목표의 초안처럼 보인다. 실제로 그 여섯은 최근 몇 해 동안 프론티어 랩과 평가 기관이 자체 안전 프레임워크에서 다뤄 온 축과 거의 겹친다. 규제가 어떤 형태로 오든, 그리고 오지 않더라도, 모델을 다루는 조직이 남겨야 할 것은 같다. 어떤 능력을 어떤 절차로 언제 쟀고 결과가 무엇이었나. 그 기록이 없으면 규제가 왔을 때 대응할 재료가 없고, 규제가 오지 않아도 내부에서 판단할 재료가 남지 않는다.

판정을 이해당사자에게서 떼어내고 판정의 근거를 데이터로 남기는 일. 제3자 데이터 진단이 존재하는 이유가 그것이다. 다만 이 글을 그 결론으로 닫는 것은 정직하지 않다. 이 사안에서 확인된 것은 제3자가 등장하면 해결된다는 것이 아니라, 판정 절차를 규범보다 먼저 세우지 않으면 규범이 작동하지 않는다는 쪽에 가깝다. 우리가 이 법안을 이 각도로 읽은 것은 결론을 팔기 위해서가 아니라 같은 물음을 매일 다른 현장에서 만나기 때문이다. 참고로 같은 의원이 2026년 3월에 낸 데이터센터 모라토리엄 법안은 따로 다룬 적이 있다. 그때는 전력과 입지가 쟁점이었고 이번에는 능력의 판정이 쟁점이다.

본문의 출처는 층이 다르다. 법안 전문과 요약 세 종과 발의자 보도자료, 그리고 제2조 (9)항이 인용한 공개서한은 원문을 직접 열어 대조했고, 조문 인용과 낱말 집계는 모두 법안 전문을 기준으로 했다. 학술 문헌은 초록과 공개 요약 수준에서 확인했으며 본문 전체를 정독하지 않은 항목이 있다. 아래 주석에 경유라고 적힌 것은 원문을 열지 못하고 2차 정리를 거쳐 인용한 항목이다.

1차 문서 (원문 대조)

• 1.Ban Artificial Superintelligence Act of 2026, 법안 전문 19쪽, 2026년 9월 23일 제출, 법안 번호 미부여. 법안 PDF — 본문의 모든 조문 인용과 낱말 집계가 이 문서에서 나왔다. 영구 0회, 기업 사형 0회, 가중치 0회, 벤치마크 0회, 표준 0회, 재귀적 자기개선 1회는 이 전문을 세어 확인한 값이다.
• 2.동 법안 Section-by-Section 요약 4쪽, 2026년 9월 23일. 요약 PDF — 5.1절 표의 네 가지 어긋남이 이 문서와 전문을 대조해 나온 것이다.
• 3.동 법안 One-Pager, 2026년 9월 23일. 요약 PDF
• 4.동 법안 Release Summary, 2026년 9월 2일 생성. 예고 요약 PDF — 5.2절의 초지능 정의 변화가 이 문서와 법안 전문의 차이다.
• 5.Sanders, Bernie / Casar, Greg. "Sanders, Casar Introduce Legislation to Create New Federal Agency to Ban Artificial Superintelligence, Pause Advanced AI Development." 2026년 9월 23일 보도자료. sanders.senate.gov — 5절의 발의자 인용과 기업 사형이라는 표현의 출처다. 이 사이트는 방화벽으로 일반 접근이 막혀 있어 리더 프록시를 경유해 열었다.
• 6.S. 2938 Artificial Intelligence Risk Evaluation Act of 2025, 2025년 9월 29일 발의, 상원 상무위 회부. govinfo — 6.2절의 대비 대상이다. 조문 구조와 정의 14개는 공개 자료로 확인했고 진행 상태는 의회 추적 자료 경유다.
• 7.유럽연합 인공지능법 제51조·제52조. artificialintelligenceact.eu — 2절 표의 반증 가능한 추정 서술 근거다. 제51조 (1)항 (a)호가 추정, 제52조 (2)항이 반증 제출, 제51조 (3)항이 문턱 개정 권한이다.
• 8.미국 국립표준기술연구소 인공지능표준혁신센터(CAISI) 기관 페이지. nist.gov/caisi — 4.3절의 인원과 평가 건수 근거다. 예산 추계는 출처마다 갈려 범위로 적었고 그 부분은 경유 인용이다.
• 9.캘리포니아 SB 53, 뉴욕 RAISE 법(2026년 3월 개정), 한국 인공지능 기본법 시행령, 폐기된 미국 행정명령 14110. — 2절 표와 6.3절의 근거이며 전부 법률 분석 자료 경유다. 법전 원문 대조는 이번 조사에서 하지 못했다.

학술 — 평가 과학

• 10.Barnett, P. & Thiergart, L. What AI evaluations for preventing catastrophic risks can and cannot do. arXiv: 2412.08653 — 3.2절의 하한과 상한 논지가 여기서 나왔다. 초록과 공개 요약 수준에서 확인했다.
• 11.van der Weij, T. 외. AI Sandbagging: Language Models can Strategically Underperform on Evaluations. arXiv: 2406.07358 (ICLR 2025) — 3.2절의 선택적 저성능과 잠금 서술 근거다.
• 12.Noise Injection Reveals Hidden Capabilities of Sandbagging Language Models. arXiv: 2412.01784 — 감춰진 성능을 드러내는 기법이 가중치 접근을 전제한다는 서술의 근거다.
• 13.Schlatter, J., Weinstein-Raun, B., Ladish, J. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs. arXiv: 2509.14260 — 13개 모델, 10만 회 이상 시행, 명시적 금지 지시에도 최대 97%(95% 신뢰구간 96~98%)라는 수치와 시스템 프롬프트 배치가 결과를 뒤집는다는 관찰이 여기서 나왔다. 초록을 직접 확인했다.
• 14.Wijk, H. 외. RE-Bench: Evaluating frontier AI R&D capabilities of language model agents. arXiv: 2411.15114 (METR) — 2시간에서 4배, 8시간에서 역전, 32시간에서 사람 2배라는 시간 창 의존성이 여기서 나왔다. 널리 인용되는 4배는 2시간 예산의 값이다.
• 15.Meinke, A. 외 (Apollo Research). Frontier Models are Capable of In-context Scheming. arXiv: 2412.04984 — 3절 표의 (F) 항목 근거다. 통합 빈도 수치는 공개돼 있지 않아 정성 서술로만 썼다.
• 16.King, S. H. 외. Generative design of bacteriophages with genome language models. Science (2026), DOI 10.1126/science.aec2657. 함께 실린 해설은 Inglesby, T. V. & Hanke, M. S. AI-designed viral genomes, DOI 10.1126/science.aej8512 — 법안 제2조 (8)항이 가리키는 연구와 그 해설이다. 합성 285개 중 기능 16개, 학습 데이터에서 사람 감염 바이러스를 제외했다는 사실은 연구기관 배포 자료로 확인했고 논문 본문은 열지 못했다.

학술·정책 — 연산량 문턱과 검증

• 17.Hooker, S. On the Limitations of Compute Thresholds as a Governance Strategy. arXiv: 2407.05694 — 2.2절의 측정 지침 부재 지적이 여기서 나왔다.
• 18.Heim, L. & Koessler, L. Training Compute Thresholds: Features and Functions in AI Regulation. Centre for the Governance of AI. governance.ai — 연산량이 초기 필터로는 적합하되 완화 조치의 수준을 정하는 데 단독으로 쓰여서는 안 된다는 단서의 출처다. 2.2절의 결정적 대목이다.
• 19.Institute for Law & AI. The Role of Compute Thresholds for AI Governance. law-ai.org — 사후 강화 기법의 능력 증가를 학습 연산 기준 몇 배에서 수십 배로 추산한 논의의 출처다. 경유 인용이다.
• 20.Flexible Hardware-Enabled Guarantees for AI Compute. arXiv: 2506.15093 — 6.1절 표의 변조 방지 함체와 보증 프로세서 설계 근거다.
• 21.Mechanisms to Verify International Agreements About AI Development. arXiv: 2506.15867 — 국제 합의의 검증 문헌군이다.
• 22.Hardware-Level Governance of AI Compute: A Feasibility Taxonomy. arXiv: 2604.04712 — 6.1절의 위치 증명 비용, 계량 회로 면적, 배포 시점 전망이 이 계열 문헌에서 나왔다. 개별 수치는 초록과 요약 수준 확인이다.
• 23.Epoch AI. Models over 1e25 FLOP 데이터 인사이트. epoch.ai — 2023년 3월 최초 진입, 2025년 중반 30여 개, 재추정으로 목록에서 빠진 사례가 여기서 나왔다. 개별 모델 수치는 기업 공표값이 아니라 제3자 추정이다.

입장 · 보도

• 24.Machine Intelligence Research Institute. MIRI's Position on the Ban Artificial Superintelligence Act of 2026. 2026년 9월 23일. intelligence.org — 6절의 칩 추적 부재 비판과 전조 특성 목록이 이질적 위험을 뭉갠다는 지적의 출처다.
• 25.Marcus, Gary. The New Sanders-Casar Ban Artificial Superintelligence Act. Substack. garymarcus.substack.com — 벤치마킹의 복잡성에 순진하다는 표현과 조건부 문턱 대안이 여기서 나왔다.
• 26.Pacing the Frontier 공개서한, 2026년 7월 28일 공개. pacingthefrontier.com — 제2조 (9)항이 인용한 문서다. 서한 페이지 원문을 직접 받아 성명 전문과 요구 문장과 서명자 명단을 축자로 대조했다. 법안이 유보절을 떼고 인용을 시작한 것, 서한이 자신을 프론티어 인공지능 기업 종사자들의 성명으로 표제한 것, 명단에 구글 딥마인드와 메타 쪽 인사가 직책과 함께 올라 있는 것이 그 대조에서 나왔다. 조회 시점 표시 서명자 수는 1,386명이고 7월 시점 수치는 보도 경유다.
• 27.Roll Call. "AI 'superintelligence' ban proposed by Casar, Sanders." 2026년 9월 23일 — 하원 동반 법안이 아직 번호를 받지 못했다는 사실의 출처다. 경유 인용이다.
• 28.Common Dreams, Data for Progress 조사 보도, 2026년 9월 10일 — 5.2절의 68% 조사와 그 시점 문제의 출처다. 조사 원자료의 현장 조사일과 문항 문구는 공개돼 있지 않다. 경유 인용이다.
• 29.Frontier Model Forum, 평가 실무 지침. — 3.2절의 낮은 점수를 다시 재라는 권고의 출처다. 경유 인용이다.

페블러스 인접 글

• 30.검증 가능한 나라는 둘뿐이다 — 연산 검증 인프라의 국가 간 격차를 다뤘다.
• 31.기업이 자기 능력 문턱을 조용히 고친다 — 자체 안전 프레임워크의 문턱 개정 이력을 추적했다.
• 32.채점과 생성 사이의 격차 — 평가 점수가 무엇을 재고 있는지를 다뤘다.
• 33.같은 의원의 2026년 3월 데이터센터 모라토리엄 법안 — 쟁점이 전력과 입지였던 앞선 법안이다.