Executive Summary

주요 수치

출처: 앤트로픽 발표 An update on independent evaluators(2026-10-15)와 TechCrunch 보도.

METR은 프런티어 모델이 혼자 얼마나 오래, 얼마나 복잡한 일을 해내는지를 재 온 미국의 비영리 평가기관이다. 모델을 만드는 회사로부터 돈을 받지 않는다는 원칙을 내걸고 있고, 대신 평가에 필요한 모델 접근권은 각 회사에서 받아 왔다. 이번 발표로 METR이 받은 것은 모델 접근권이 아니라 회사 자체에 대한 접근권이다.

둘 사이가 이번에 처음 이어진 것도 아니다. 앤트로픽은 지난 1년 동안 METR과 함께 자사 위험 보고서를 여러 차례 검토해 왔다고 밝혔다. 완성된 보고서를 바깥에서 받아 읽던 관계가 안에서 시스템을 들여다보는 관계로 바뀌었다. 상대는 그대로고, 그 상대가 서 있는 자리가 달라졌다.

앤트로픽은 METR 직원 여섯 명을 사내에 들였다고 적었다. 회사 하드웨어와 사무공간, 그리고 내부 도구와 시스템 접근권을 받는다. 발표문은 그 수준을 자사 위험 평가팀이 접근하는 것과 대략 비슷하다고 표현했다. 정보 공유도 권한 설정만의 문제가 아니다. 앤트로픽은 자사 직원들에게, 모델이 사람의 의도에서 벗어나는 위험을 함께 다루는 동료에게 하듯 이들에게도 정보를 공유하라고 권한다.

게재 쪽이 이번 발표에서 가장 크게 읽힌 대목이다. METR은 앤트로픽의 위험 수준과 사고와 관행에 대한 자신의 분석을 게재하고, 앤트로픽은 그 게재에 거부권을 행사할 수 없다. 평가 보고서를 피평가 기업이 먼저 읽고 내보낼지 말지 정하던 구조에서 한 칸 물러난 것은 분명하다.

앤트로픽이 밝힌 이유는 간극이다. 평가자가 프런티어 AI 기업의 시스템에 대해 아는 것과 그 기업 자신이 아는 것 사이의 격차를 좁히겠다는 것이다. 9월에 액센츄어를 첫 상주 평가자로 내세울 때 앤트로픽은 상주 평가자가 무엇에 접근해야 하고 무엇을 어떻게 보고해야 하는지에 대한 표준이 아직 없다고 스스로 적었다. 그 공백에 처음으로 구체적인 숫자와 조건이 붙은 것이 이번 합의다. 9월 발표를 둘러싼 비용과 독립성 논란은 AI 회사가 자기를 검사할 사람을 안에 들이고 비용도 낸다에 정리해 두었다.

거부권을 내려놓는다는 문장 바로 옆에 단서가 함께 있다. 앤트로픽은 게재를 막을 수는 없지만, 정보가 미리 정해진 범주에 들어가면 그 부분을 가려 달라고 요구할 수 있다. 범주로는 세 가지를 들었다. 고객에 관한 데이터, 변호사 비밀유지 대상 정보, 그리고 모델 구조에 관한 정보다.

여기서 낱말 하나를 그냥 지나치기 어렵다. 발표문은 이 셋을 나열하면서 앞에 "예를 들어"를 붙였고, 게재 조항에서도 "위와 같은 미리 정해진 범주"라고 부른다. 세 범주를 전부라고 적은 문장은 공개된 글 어디에도 없다. 명확히 규정된 소수의 범주라는 표현이 있을 뿐이고, 그 규정이 적힌 문서는 합의서 쪽에 있다. 독자는 지금 그 목록의 예시까지만 확인할 수 있다.

세 범주 가운데 앞의 둘은 평가와 다투지 않는다. 고객 데이터는 제3자의 권리이고, 변호사 비밀유지 대상은 어느 회사의 어떤 감사에서도 가려지는 영역이다. 문제는 세 번째다. 모델이 왜 그렇게 행동하는지를 설명하려면 구조를 짚게 되는 경우가 많다. 위험 평가는 모델이 무엇을 했는지에서 끝나지 않고 그 행동이 어디서 비롯됐는지로 넘어가는 일이라, 결론은 공개되더라도 그 결론을 떠받치는 설명의 일부가 가려질 수 있다. 가림의 범위가 좁을수록 보고서는 검증 가능한 문서에 가까워지고, 넓을수록 결론만 남은 문서에 가까워진다.

같은 글의 다른 줄이 이 자리를 더 눈에 띄게 만든다. 앤트로픽은 평가자가 갖춰야 할 조건으로 전문성과 독립성과 접근과 게재의 자유 네 가지를 꼽았는데, 그중 접근 항목은 최신 모델을 써 보는 것만으로는 모자라고 그 모델이 어떻게 훈련됐는지와 자사 안전장치가 어떻게 작동하는지까지 볼 수 있어야 한다고 말한다. 훈련 과정과 안전장치는 평가자에게 필요한 것으로 적혀 있고, 구조는 회사가 가려 달라고 요구할 수 있는 쪽에 적혀 있다. 두 줄은 같은 문서 안에 나란히 있다.

가림에 대한 견제 장치도 함께 들어 있다. METR은 앤트로픽의 가림을 공개적으로 성격 규정할 수 있고, 그 가림이 정당했다고 보는지 아닌지를 말할 수 있다. 조건은 하나다. 가려진 내용 자체를 드러내지 않아야 한다. 평가자가 부당하다고 판단하면 그 사실은 밖으로 나오지만, 무엇이 가려졌는지는 끝까지 나오지 않는다. 독자에게는 검증된 결론 대신 평가자의 불만 표시가 남는다. 그 불만이 타당한지는 확인할 길이 없다.

운영 쪽 조건도 있다. 앤트로픽은 이 평가자들이 은행 검사역이 그렇듯 다른 회사와도 일할 수 있기 때문에 의도치 않은 유출 가능성을 조심한다고 이유를 밝혔다. 이 상주 업무는 집행 가능한 합의 아래 움직이는 작은 팀으로 한정되고, METR의 다른 직원들은 그 팀의 작업에서 분리된다. 정보가 평가기관 안쪽으로도 퍼지지 않도록 벽을 세운 것인데, 같은 벽이 평가기관 내부의 교차 검토도 함께 막는다.

앤트로픽은 평가자 접근을 세 등급으로 나눠 설명한다. 그 설명을 표로 옮기면 이번 합의가 무엇을 새로 준 것인지가 분명해진다.

앤트로픽이 설명하는 3단계는 직원에 준하는 접근과 2단계와 비슷한 게재 권한의 조합이다. 승인 없이 게재하는 권한은 2단계에서 이미 열려 있었고, 특정 범주를 빼 달라고 요구할 수 있다는 조건도 2단계에 그대로 있다. 이번에 넓어진 쪽은 보는 범위다. 거부권을 내려놓았다는 표현이 지난달과 이번 달의 차이를 말해 주지는 않는다.

앤트로픽은 이 구조를 은행 감독에 빗댔다. 은행이 자기 위험 상태를 바깥보다 잘 알기 때문에 감독 당국이 큰 은행 안에 상주 검사역을 보낸다는 것이고, 앤트로픽도 비유가 정확하지는 않다는 단서를 함께 달았다. 그 단서가 가리키는 자리는 분명하다. 은행의 상주 검사역은 법이 보내고 감독 당국이 권한을 정한다. 여기서는 평가자를 고르는 일도, 접근 수준을 등급으로 나누는 일도, 가릴 수 있는 범주를 적는 일도 피평가 기업 쪽에서 한다. 국가 기관이 완성 전 모델을 먼저 검사하는 쪽의 사례는 새로 나온 AI, 어느 나라가 먼저 검사할까?에 따로 써 두었다.

앤트로픽은 이 체계를 자발적으로 들인 것이라고 쓰고, 모든 프런티어 AI 기업이 같은 일을 해야 한다고 믿는다는 말을 덧붙인다. 이 설계가 업계 표준에 가까워지고 있다는 점이 그래서 중요하다. 오픈AI도 외부 평가자를 들이겠다는 같은 약속을 했고, 구글과 메타와 엔비디아와 xAI는 백악관 협약에 독립 검토 지지로 서명했다. 앤트로픽이 이번 발표를 설명하며 배경으로 든 것도 더 강한 제3자 평가를 받겠다는 자사 약속과 그 협약에 자신이 서명했다는 사실이다. 그 협약의 구조적 허점, 그러니까 감사인을 회사가 직접 고른다는 점은 백악관 초지능 협약, 감사인은 회사가 직접 고른다에서 다뤘다. 이번 합의는 그 허점을 메우려는 구체적인 시도 하나이면서, 동시에 같은 허점이 한 단계 안쪽으로 옮겨 간 사례이기도 하다.

평가자가 어떤 곳이어야 하는지도 같은 글이 직접 규정한다. 앞 절에서 본 조건 가운데 독립성 항목은 평가 대상 회사의 지분을 갖지 않고 그 회사에 재정적으로도 운영상으로도 의존하지 않아야 한다는 내용이다. 자격을 적는 쪽과 그 자격을 갖춘 사람에게 평가받을 쪽이 같다는 사실은 이 체계 전체에 걸려 있다.

METR의 독립성 자체를 겨냥한 지적도 발표 직후 나왔다. 기업에서 직접 자금을 받지 않더라도 비영리 AI 안전 활동의 자금원과 인맥망이 앤트로픽 쪽과 겹친다는 주장이고, METR은 직접적인 기업 자금과 자선 재원의 중첩은 다른 문제라고 반박한다. 돈의 출처를 따지는 이 논쟁은 이 글이 보는 축과 다르다. 자금이 완전히 깨끗한 평가자를 들여놓아도 가림 목록이 그대로라면 보고서가 담을 수 있는 범위는 달라지지 않는다.

데이터와 시스템을 외부에 여는 협약은 AI 회사만 쓰는 문서가 아니다. 외부 감사를 받는 기업, 공공데이터를 개방하는 기관, 연구용으로 원자료를 내주는 병원이 모두 같은 문서를 쓴다. 그리고 그 문서를 읽을 때 사람들은 대개 접근 범위부터 센다. 몇 명이 들어오는지, 어느 시스템까지 열리는지, 얼마나 머무는지를 먼저 본다. 이번 합의를 보면 그 숫자들이 결론의 품질을 결정하지 않는다. 검증이 어디서 멈추는지는 열어 준 칸이 아니라 빼 둔 칸이 정한다.

협약서를 받아 들었을 때 제외 목록에 걸어 볼 질문은 세 가지다.

• • 목록이 닫혀 있는가 — 예시로 적힌 목록과 전부라고 적힌 목록은 다른 문서다. 예시는 나중에 늘어나도 위반이 아니다
• • 빼 둔 칸이 결론의 근거인가 — 제3자의 권리를 지키려고 가리는 것과, 결론을 떠받치는 설명을 가리는 것은 같은 가림이 아니다. 모델 구조는 뒤쪽에 가깝다
• • 가렸다는 사실이 남는가 — 몇 건을 어떤 근거로 가렸는지가 기록되고 평가자가 그것을 말할 수 있어야, 가림이 늘어나는 것을 밖에서 알아차릴 수 있다

앤트로픽과 METR의 합의는 세 번째 질문에 부분적인 답을 마련해 두었다. 평가자가 가림의 정당성을 공개적으로 말할 수 있다는 조항이 그것이다. 첫 번째 질문은 아직 열려 있다. 공개된 글이 범주를 예시로만 적은 이상, 다음 단서는 METR이 실제로 내놓는 문서에 있다. 앤트로픽은 METR이 자기 위험 평가 결과를 게재한다고만 밝혔을 뿐, 언제 몇 번 낼지는 말하지 않았다. 그 첫 보고서를 읽을 때는 결론의 수위보다 가림에 관해 무슨 말이 남는지를 먼저 봐야 한다.

여기까지 읽어 주셔서 감사하다. 원문은 앤트로픽 발표 An update on independent evaluators에서 볼 수 있고, 이 글의 인용은 그 발표문과 TechCrunch 보도에서 직접 확인했다. 외부에 데이터를 여는 협약을 쓰고 계신 팀이 있다면, 제외 목록을 어떻게 닫아 두었는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 17일

• 1.Anthropic. (2026). "An update on independent evaluators." Anthropic News, 2026-10-15.
• 2.TechCrunch. (2026). "Anthropic is letting METR researchers look under the hood with employee-level access." 2026-10-15.