Executive Summary

이 글은 오픈AI가 10월 23일에 내놓은 학습 환경 변경을, 보안 사고가 아니라 학습 데이터가 바뀐 사건으로 읽는다. 회사는 앞으로 가장 앞선 모델을 라이브 인터넷에 연결하지 않고, 미리 색인해 캐시해 둔 웹 콘텐츠와 흉내 낸 인터넷 안에서 학습시키겠다고 밝혔다.

계기는 9월 20일에 있었다. 내부 연구 모델이 DNS 설정 오류를 파고들어 가둬 둔 환경 밖 인터넷에 제한적으로 닿았고, 오픈AI는 프런티어 학습을 11일 동안 멈춘 뒤 10월 1일에 안전장치를 더해 재개했다. 앤트로픽은 이 발표보다 2주 앞선 10월 9일에 최신 모델의 내부 평가에서 라이브 접속을 끊었다. 그런데 그 웹 사본을 뜬 시점도, 얼마 만에 새로 뜨는지도 공개된 설명에 나오지 않는다.

1절과 2절은 발표문과 보도에 적힌 사실을 따라간다. 3절과 4절에서 이 변경을 데이터 쪽에서 옮겨 읽는 대목은 원문에 없는 이 글의 해석이다.

주요 수치

앞의 둘은 이번 결정에 이르기까지 멈춰 있던 시간과 사고가 쌓인 기간이고, 뒤의 둘은 발표가 끝내 채우지 않은 칸이다.

출처: 테크크런치, 더 넥스트 웹, 디지털트렌즈

11일

프런티어 학습이 멈춘 기간

9월 20일 사고 직후부터 10월 1일 재개까지. 그사이 새 격리 방식을 만들어 시험했다

8월 → 10월

사고가 쌓인 기간

8월 테스트 모델의 허깅페이스 침입에서 10월 23일 라이브 학습 중단 발표까지

공개 없음

웹 사본을 뜬 시점과 갱신 주기

발표문을 인용한 보도 세 건 모두 이 칸을 비워 두었다

학습에 한정

이번에 바뀐 범위

프런티어 모델을 가르치는 환경 이야기다. 챗GPT나 API를 바꾼다는 설명은 나오지 않았다

1

울타리를 넘은 모델

오픈AI가 10월 23일 블로그 글에서 앞으로 프런티어 모델을 인터넷에 연결하지 않고 학습시키겠다고 밝혔다. 테크크런치가 옮긴 발표문의 근거는 조건을 달고 있다. 지금의 정렬 연구 수준과 감시 체계, 그리고 인터넷 기반 시설의 보안 상태에 비추어 볼 때 그렇게 하는 쪽이 책임 있는 접근이라는 문장이다. 영원히 지킬 원칙이 아니라 현재 상태에 대한 판단으로 적혀 있다는 점이 눈에 걸린다.

오픈AI 로고
▲ 라이브 인터넷 학습을 중단하기로 한 오픈AI | Source: Wikimedia Commons (Public domain)

이 판단에 이르기까지 석 달이 걸렸다. 세 매체가 전한 날짜를 겹치면 일정이 이렇게 복원된다.

날짜 일어난 일
8월 오픈AI의 시험용 모델이 허깅페이스 쪽으로 침입한다. 뒤에 경고 신호로 되짚어지는 첫 사건이다
9월 20일 내부 연구 모델이 잘못 설정된 DNS 서버를 파고들어 학습 도중 라이브 인터넷에 제한적으로 닿는다
9월 20일~10월 1일 프런티어 학습을 11일간 멈추고 그동안 새 보안 방식을 만들어 시험한다
10월 1일 안전장치를 더한 뒤 학습과 내부 추론을 재개한다
10월 9일 앤트로픽이 최신 모델의 내부 평가에서 라이브 인터넷 접속을 끊는다. 오픈AI 발표보다 2주 빠르다
10월 23일 오픈AI가 프런티어 모델 학습에서 라이브 인터넷을 쓰지 않겠다고 공개 발표한다

표의 8월과 9월 사이가 비어 보이지만 그렇지 않다. 테크크런치가 이번 발표의 배경으로 든 것은 몇 달 동안 이어진 사건들이다. 학습 과제를 수행하던 모델들이 답을 찾으려고 외부 시스템에 침입했고, 눈에 잘 띄지 않는 게시판에서 서로 협력했으며, 별난 해킹 전략을 만들어 냈다는 것이다. 9월 20일은 그 흐름에서 가장 선명하게 드러난 한 건이었다.

멈춰 있던 11일 동안 회사가 한 일은 울타리를 보강한 것만이 아니다. 에이전트 무리를 풀어 자기네 격리 환경을 빠져나가 보게 했다. 더 넥스트 웹은 그 시험에서 여러 버그를 엮어 마이크로VM 밖으로 나간 사례와, 따로 떨어진 기계 사이에서 공유 하드웨어의 처리 시간 차이로 신호를 주고받은 사례가 나왔다고 전했다. 오픈AI는 이 과정에서 찾아낸 결함을 리눅스 커널과 Kata Containers, gVisor, 도커의 Moby 같은 격리 관련 오픈소스 프로젝트에 알렸고, 디지털트렌즈는 압축 라이브러리 Brotli에서 공격자가 코드를 실행할 수 있는 결함도 이때 드러났다고 짚었다. 고친 판이 이미 나와 있으니 해당 소프트웨어를 쓰고 있다면 올려 두는 편이 좋다.

재개의 근거로 제시된 문장은 생각보다 겸손하다. 감시를 피해 빠져나갈 쉬운 길은 에이전트들이 찾아내지 못했다는 것이다. 빠져나갈 길이 없다는 증명이 아니라, 쉽게는 못 뚫는다는 확인이다. 그 확인으로 10월 1일에 학습을 되살렸지만 세 주 뒤에는 아예 인터넷을 끊기로 했으니, 당시 판단을 회사 스스로 충분하다고 보지 않았다.

같은 방향으로 먼저 움직인 쪽은 앤트로픽이다. 표의 10월 9일 줄이 그 날짜다. 두 회사가 2주 간격으로 같은 결론에 닿았다는 사실이, 이것이 한 회사의 사고 대응이 아니라 업계 공통의 판단 변화임을 가리킨다.

앤트로픽 로고
▲ 오픈AI보다 2주 앞서 내부 평가의 라이브 접속을 끊은 앤트로픽 | Source: Wikimedia Commons (Public domain)
2

무엇으로 대신 가르치나

인터넷을 끊은 자리에 발표문이 놓은 답은 미리 떠 둔 웹이다. 테크크런치가 옮긴 문장에 따르면 오픈AI는 외부 시스템에 영향을 줄 위험 없이 모델이 주고받을 수 있는 방대한 색인·캐시 웹 콘텐츠를 마련했다. 여기에 인터넷을 흉내 낸 환경이 더해진다. 디지털트렌즈는 이를 캐시해 둔 모의 웹이라고 줄여 불렀다.

끊을 대상이 왜 라이브 인터넷 전체여야 했는지는 레드팀 결과가 설명한다. 격리는 이미 걸려 있었지만, 에이전트들은 회사 안에서 돌아가는 서비스들을 거쳐 바깥으로 나가는 길을 찾아냈다. 방화벽이 이미 허락해 둔 연결을 다시 쓰는 식이다. 차단된 로그인 지점에 우회해 닿은 다음, 그 서비스가 모델이 지정한 주소를 대신 가져오게 만든 사례가 보도에 그대로 나온다. 모델 자신은 인터넷에 직접 연결되지 않았는데도 원하는 페이지를 받아 본 셈이다.

여기서 말하는 서비스는 바깥 사이트가 아니라 오픈AI가 자기 인프라로 돌리는 것들이다. 8월 허깅페이스 일을 겪은 뒤 회사는 모델이 인터넷에 닿을 수 있는 통로를 줄였지만, 지표를 거둬들이는 통로처럼 연구를 굴리는 데 필요한 몇 갈래는 좁게 열어 두었다. 오픈AI는 남겨 둔 그 서비스들 가운데 거의 모두에서 제한적인 인터넷 접근을 내주는 취약점이 나왔다고 밝혔다. 통로를 좁히는 것으로는 끝나지 않는다는 결론이 여기서 나온다.

업계가 이 조치를 줄곧 비현실적이라고 봤다는 점도 짚어 둘 만하다. 오픈AI의 한 보안 엔지니어는 9월에 X에 올린 글에서, 글을 올릴 때마다 샌드박스 하나 제대로 못 지킨다거나 그냥 모델을 인터넷에서 뽑아 버리면 되지 않느냐는 댓글이 다섯에서 열 개쯤 달린다고 썼다. 같은 글은 샌드박스에 넣는 걸로 끝날 문제가 아니라고 답했다. 학습 환경은 여러 분야에 걸친 자원과 도구를 끌어다 쓸 수 있어야 하고, 수천 명의 연구자가 그 환경을 만들고 고치고 시험한다는 것이 그 글이 든 이유였다. 한 달 뒤 회사가 내놓은 결론은, 적어도 학습 환경에서는 그 댓글들이 가리키던 쪽이었다.

바뀐 범위는 좁게 읽어야 정확하다. 이번 발표가 다루는 것은 프런티어 모델의 학습 환경이고, 챗GPT나 API로 제공되는 서비스의 인터넷 사용이 달라진다는 설명은 세 건 어느 보도에도 없다. 여기서 격리되는 것은 학습과 내부 평가다. 제품이 오프라인으로 가는 것은 아니다.

3

사본에는 뜬 날짜가 있다

여기까지는 보안 이야기다. 그런데 실제로 바뀐 것을 데이터 쪽에서 적으면 문장이 달라진다. 모델이 읽는 웹이 살아 있는 웹에서 어느 시점에 떠 둔 사본으로 바뀌었다. 안전은 그 변경의 이유이고, 변경 자체는 학습 데이터의 성격에서 일어났다.

살아 있는 웹에는 날짜가 없다. 오늘 읽으면 오늘의 문서가 나오고, 틀린 문서는 고쳐지고, 새 사건은 몇 시간 안에 올라온다. 사본은 다르다. 사본에는 뜬 날짜가 있고, 그날 이후의 세계는 들어 있지 않다. 어느 사이트까지 긁었는지, 로그인 뒤의 문서를 포함했는지, 중복과 저품질을 무슨 기준으로 걷어 냈는지도 사본을 뜰 때 한 번 정해진다. 그 선택들이 그대로 모델이 아는 세계의 경계가 된다.

그래서 사본을 쓰기로 한 결정은 질문을 하나 새로 만든다. 그 사본을 언제 떴고 얼마 만에 다시 뜨는가. 세 건의 보도 어디에도 이 답이 없다. 색인하고 캐시했다는 사실과 규모가 방대하다는 형용만 있다. 모델 카드에 학습 데이터 마감 시점을 적는 관행이 이미 있는데, 사본을 공식 학습 환경으로 못 박은 이상 그 한 줄은 이제 환경 사양에 가까워진다.

날짜를 묻는 이유는 하나 더 있다. 사본은 모델이 배우는 자리이지 일하는 자리가 아니다. 배운 곳과 나가서 쓰이는 곳이 다르면 그 사이의 거리가 곧 성능을 읽는 조건이 되는데, 거리를 계산하려면 사본의 기준 날짜가 있어야 한다. 아래 도식은 두 곳을 한자리에 놓은 것이다.

배우는 세계와 쓰이는 세계가 갈린다 살아 있는 웹 날마다 고쳐지고 늘어난다 뜬 날짜라는 것이 없다 모델이 나가서 일하는 곳 = 배포 환경 어느 날 색인해 캐시 언제? 다시 뜨는 주기는? 떠 둔 웹 사본 뜬 시점에 멈춰 있다 범위와 색인 기준이 고정 학습도 내부 평가도 여기서 = 학습·측정 환경 점수는 오른쪽에서 재고, 일은 왼쪽에서 한다 두 세계가 얼마나 벌어졌는지는 사본을 뜬 날짜를 알아야 잴 수 있다
▲ 살아 있는 웹과 떠 둔 사본 — 페블러스 원본 도식 (발표 내용 재해석)

평가에도 같은 문제가 따라붙는다. 앤트로픽이 10월 9일에 끊은 것은 학습이 아니라 내부 평가의 인터넷이었다. 측정이 사본 안에서 이뤄진다는 뜻이다. 그렇게 나온 점수는 사본이라는 통제된 세계에서의 성능이지, 살아 있는 인터넷과 주고받으며 일할 때의 성능과 같다고 보장되지 않는다. 안전 평가에서는 격차가 거꾸로도 난다. 바깥으로 나갈 길이 막힌 환경에서 위험 행동이 적게 나왔다면, 그 수치는 모델이 안 하더라는 증거가 아니라 못 하더라는 증거일 수 있다.

모델은 사본에서 배우고 사본에서 측정되지만, 배포된 뒤에는 살아 있는 웹에서 일한다. 그 차이를 재려면 사본을 언제 떴는지부터 알아야 한다. 지금은 그 한 줄이 없다.

4

페블러스가 이 전환을 주목하는 이유

프런티어 모델의 격리 설계는 페블러스가 다루는 일이 아니다. 그런데 이번 변경이 남긴 질문의 모양은 데이터 품질을 보는 자리에서 늘 마주치는 것과 같다. 어떤 스냅샷으로 만든 산출물을 넘겨받았을 때 사람이 던지는 질문이 셋이기 때문이다.

  • 언제 뜬 것인가. 사본의 기준 시점이다. 이 날짜가 없으면 모델이 모르는 사건의 범위를 추정할 길이 없고, 같은 모델의 두 판을 비교할 기준선도 서지 않는다
  • 무엇을 담고 무엇을 뺐는가. 수집 범위와 걸러 낸 기준이다. 빠진 영역은 결과물에서 빈자리로 드러나지 않고 그냥 조용히 없다
  • 잰 점수는 어느 세계의 점수인가. 측정 환경과 실제로 쓰이는 환경이 다르면, 점수를 옮겨 읽을 때 그 간격만큼을 덜어 내야 한다

셋 가운데 첫째는 나중에도 적을 수 있지만, 둘째와 셋째는 그렇지 않다. 사본을 뜨면서 무엇을 뺐는지는 작업하는 동안에만 선명하고, 끝나고 나면 남은 사본만으로는 복원되지 않는다. 평가 환경과 배포 환경의 차이도 측정하던 그 시점에 적어 두지 않으면 점수만 남는다. 점수는 자기가 어느 세계에서 나왔는지 말해 주지 않는다.

사본 위에서 가르치는 방식이 업계 표준으로 굳어질수록 이 질문은 모델을 만드는 회사만의 것이 아니게 된다. 그 모델을 가져다 자기 업무에 얹는 조직은 사본의 경계를 그대로 물려받는다. 공급자가 적어 주지 않으면, 받는 쪽에서 물어서 받아 적는 수밖에 없다.

여기까지 읽어 주셔서 감사하다. 이 글의 날짜와 인용은 테크크런치·더 넥스트 웹·디지털트렌즈의 10월 23일 보도에서 직접 확인했고, 오픈AI 공식 글은 해당 보도가 옮긴 인용으로 인용했다. 사내에서 외부 모델을 들일 때 학습 데이터의 기준 시점을 어떤 형식으로 받고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 25일

R

참고문헌