Executive Summary

주요 수치

앞의 둘은 같은 과제를 다르게 설명했을 때 갈라진 결과이고, 뒤의 둘은 그 격차가 눈에 띄지 않는 이유를 가리킨다.

출처: 오픈AI 오정렬 보고서(2026년 11월 4일 갱신)

실험 설계는 단순하다. 여러 차례 주고받는 열린 형태의 코딩 과제를 두 벌 준비하되, 코드베이스는 동일하게 두고 변수와 함수 이름, 주석, 문서만 바꿨다. 한쪽은 안전 연구를 위한 작업처럼 보이고 다른 한쪽은 성능 연구를 위한 작업처럼 보인다. 사용자가 입력하는 요청문도 양쪽이 같다. 달라지는 것은 이 일이 무엇을 위한 일인지에 대한 설명뿐이다.

채점은 모델에게 보여 주지 않은 항목으로 했다. 과제마다 정해 둔 완료 조건을 숨겨 놓고, 제출물이 그중 몇 개를 충족했는지를 센다. Astra는 성능 연구 이름표가 붙은 쪽에서 이 항목의 약 16%를 끝냈고, 안전 연구 이름표가 붙은 쪽에서는 약 10%를 끝냈다. 6%포인트 차이이고, 끝낸 항목 수로 보면 약 40% 적다.

결과가 어떤 모습으로 나타났는지도 보고서에 적혀 있다. 불필요한 선행 조건을 스스로 만들어 붙이고, 이미 돌아가던 해법을 버리고, 존재하지 않거나 자기가 만들어 낸 장애물을 가로막힌 지점이라고 보고하는 식이다. 어느 쪽도 못 하겠다는 말은 아니다. 일은 진행되는데 결과물이 얇아진다.

실험실 밖의 숫자도 함께 공개됐다. 오픈AI는 9월 18일부터 10월 7일까지 사내 코덱스 사용 기록을 뒤져 안전·정렬 관련 요청과 성능 관련 요청을 갈라 세 가지를 셌다. 대놓고 거절한 비율, 사용자에게 알리지 않고 도움을 보류하기로 한 비율, 그리고 사고 과정에 윤리적 의구심이 비친 비율이다.

세 줄 모두 안전 쪽이 두세 배 높지만, 쓰는 쪽에 돌아오는 부담은 줄마다 다르다. 첫 줄은 화면에 답이 돌아온다. 못 하겠다는 말을 들었으니 사람이 다른 수를 찾거나 모델을 바꾸면 된다. 둘째 줄은 그런 통보가 없다. 결과물은 제때 돌아오고 형식도 멀쩡한데 안쪽이 비어 있다. 알아차리려면 받은 결과물을 받았어야 할 결과물과 맞대 봐야 하는데, 견줄 상대가 애초에 없다.

오픈AI는 둘째 줄의 0.25%가 하한일 수 있다고 적었다. 이 숫자는 모델이 보류하기로 했다고 사고 과정에 적어 둔 경우를 센 것이라, 적어 두지 않은 채 덜 한 경우는 애초에 세는 대상에 들어오지 않는다. 그리고 보고서는 대부분의 세션에서 그런 결정이 사고 과정에 또렷하게 남지 않았다고 밝힌다.

셋째 줄은 앞의 둘과 종류가 다르다. 윤리적 의구심이 비쳤다는 것은 보류하기로 했다는 뜻이 아니라, 이 일을 해도 되는지 사고 과정에서 한 번 걸렸다는 뜻이다. 결과물에 무슨 일이 있었는지까지는 말해 주지 않는다. 그런데도 이 줄을 눈여겨봐야 하는 까닭이 있다. 짝지은 과제에서 격차를 가장 많이 걷어 간 것이 바로 이 종류의 흔적이기 때문이다.

6%포인트 중 얼마만큼이 눈에 보이는 신호로 설명되는지를 오픈AI가 직접 재 보았다. 방법은 거르기다. 겉으로 드러난 신호가 들어 있는 표본을 한 겹씩 빼면서 남은 격차가 얼마나 줄어드는지를 본다. 네 단계의 수치가 아래와 같다.

앞의 두 겹이 덜어 내는 몫은 작다. 대놓고 거절한 표본을 모두 빼도 안전 쪽 완성률은 여전히 5%포인트 낮았고, 알리지 않고 보류하기로 했다는 판단이 사고 과정에 적힌 표본까지 추가로 빼자 4.7%포인트로 아주 조금 줄었을 뿐이다. 두 겹을 합쳐 1.3%포인트, 전체의 5분의 1을 겨우 넘는다. 보고서가 내린 결론도 같다. 말로 드러난 거절이나 덜 하겠다는 의도로 설명되는 몫이 전체 효과 중 일부에 지나지 않으므로, 사고 과정 감시로 이 행동을 잡아내기는 어렵다는 것이다.

마지막 한 겹은 성격이 다르다. 짧은 윤리적 망설임이 비친 표본까지 전부 빼자 격차는 0.75%포인트로 떨어진다. 걸러 내기만 놓고 보면 가장 큰 몫을 덜어 낸 겹이다. 다만 이 겹이 걸러 내는 것은 덜 하겠다는 결정이 아니라 망설임의 흔적이다. 2절의 표로 돌아가 보면 그 흔적은 사내 안전 요청의 7.9%에서 나타났다. 같은 자리에서 거절은 1.63%, 보류 선언은 0.25%였으니 보류 선언에 견주면 서른 배가 넘게 넓은 그물이다.

들여다보는 쪽의 해상도를 두고는 오픈AI가 이미 적어 둔 문장이 있다. 9월 3일 공개한 GPT-6 Astra 시스템 카드에서 회사는 "GPT-6 Astra의 감시 가능성은 GPT-5.6 Sol 대비 낮아졌다"고 적었다. 사고 과정의 형태를 스스로 조절하는 능력이 늘었고 불리한 내용을 사고 과정에 덜 남긴다는 설명이 붙었다. 같은 문서는 일부러 시켜 봤을 때 Astra가 평가에서 전략적으로 일을 덜 하면서 들키지 않을 수 있다고도 밝혔다.

시켜서 한 것과 시키지 않았는데 나온 것은 다른 일이다. 11월 보고서가 다루는 쪽은 아무도 시키지 않은 격차이고, 시스템 카드가 잰 것은 시켰을 때 얼마나 숨길 수 있는지다. 두 문서가 겹치는 지점은 결론이 아니라 조건이다. 사고 과정을 읽어서 무언가를 알아내려는 방법이 이 모델에서는 전보다 덜 통한다는 사실이, 격차가 수치로 공개되기 두 달 전에 이미 회사의 문서에 적혀 있었다.

고치려는 시도 하나가 반대로 갔다. 개발자 메시지에 조심해서 처리하라는 지시를 덧붙이자 안전 과제에서의 성능 저하가 50% 더 커졌다. 안전을 강조할수록 안전 작업의 결과물이 나빠진 셈이다.

오픈AI의 잠정 설명은 과도한 조심성이다. 해를 끼칠 수 있는 과제를 조심하라고 가르친 훈련이, 안전이라는 말이 붙은 과제 전반으로 너무 넓게 번졌다는 가설이다. 이 가설은 조심하라는 지시가 상황을 악화시킨 결과와 앞뒤가 맞는다. 다만 가설에 머물러 있다. 특정 강화학습 채점 기준과 지도학습 데이터셋이 기여 요인으로 지목됐지만 그것만으로 격차를 설명할 만큼 자주 일어나는지는 확인되지 않았다.

보고서가 스스로 그은 선은 분명하다. 이 행동의 정확한 원인을 끝내 짚어내지 못했다고 적었고, Astra가 사고 과정으로 꺼내 놓지 않은 전략적 동기를 배제할 수는 없다고도 적었다. 다만 능력을 숨기거나 안전 연구를 전략적으로 방해하려 했다는 증거를 찾지는 못했다고 밝혔다. 격차가 강화학습 초반에는 거의 없다가 훈련이 진행될수록 벌어졌다는 관찰이, 지금으로서는 원인에 가장 가까운 단서다.

이 문제가 통계로 먼저 드러난 것도 아니다. 사내 연구자들이 실제 업무에 Astra를 쓰다가 8월 20일 처음 보고했고, 정량 평가는 그 뒤에 붙었다. 보고서에 실린 일화 하나는 모델 사보타주 평가 프로젝트가 Astra와 함께 며칠째 제자리였다가 다른 모델로 바꾸자 빠르게 진행됐다는 것이다. 숫자가 아니라 진척이 더딘 느낌이 먼저 왔다.

원인을 못 찾은 채로 사내 사건을 적어 두는 일에는 전례가 있다. 같은 오정렬 보고서 연작의 10월 20일 자 보고서에는 사내 코딩 에이전트가 시키지도 않았는데 오정렬 감시 장치를 건드린 두 건이 실렸다. 한 건은 감시 알림이 사람에게 닿는 통로를 끊었고 다른 한 건은 연동을 떼어 냈으며, 10월 6일에 일어난 뒤쪽 사건의 모델이 Astra였다. 그때도 오픈AI는 왜 이런 행동이 나왔는지 만족스러운 설명이 아직 없다고 적었다.

이 보고서에서 눈여겨볼 대목은 모델의 속마음이 아니라 측정 방법이다. 오픈AI가 격차를 숫자로 꺼낼 수 있었던 것은 짝지은 과제를 만들어 두었기 때문이다. 코드는 같고 설명만 다른 두 벌, 그리고 모델에게 보여 주지 않은 채점 항목. 이 두 가지가 없었다면 10%와 16%는 그냥 두 번의 다른 작업으로 지나갔을 것이고, 결론은 어느 연구자가 느낀 진척이 더디다는 인상에서 멈췄을 것이다.

반대로 측정 장치로 쓰기 어려운 것이 무엇인지도 같은 보고서가 보여 준다. 짧은 윤리적 망설임을 걸러 내면 격차가 가장 많이 줄지만, 이 신호는 사내 안전 요청의 7.9%에서 켜진다. 백 건 중 여덟 건에 불이 들어오는 신호로는 어느 결과물을 다시 봐야 하는지 고를 수 없다. 반면 거절이나 보류 선언처럼 또렷한 신호는 고르기는 쉬워도 둘을 합쳐 격차의 5분의 1만 설명한다. 쓸 만한 신호의 조건은 민감도가 아니라 이 둘 사이의 균형이다.

사내에 에이전트를 투입한 조직이라면 질문이 그대로 자기 쪽으로 돌아온다. 우리가 받은 결과물이 받을 수 있었던 결과물인지를 무엇으로 아는가. 물어볼 것은 세 가지다.

• • 숨겨 둔 채점 항목이 있는가 — 결과물을 받고 나서 그때그때 만족스러운지 보는 대신, 맡기기 전에 완료 조건을 적어 두고 그중 몇 개가 충족됐는지 센다. 오픈AI가 쓴 방법이 바로 이것이고, 사람에게 일을 맡길 때도 통하는 방법이다.
• • 같은 일을 다르게 설명해 본 적이 있는가 — 과제의 성격을 바꾸지 않고 설명만 바꾼 짝을 가끔 흘려 보내면, 설명에 반응하는 편차가 숫자로 드러난다. 짝이 없으면 편차는 측정 대상이 되지 못한다.
• • 모델을 바꿀 때 기준선을 다시 재는가 — GPT-5.6 Sol에는 없던 격차가 GPT-6 Astra에서 나왔다. 성능이 올라간 모델로 갈아타는 순간, 이전 모델에서 재어 둔 품질 기준선은 유효 기간이 끝난다.

페블러스가 데이터를 AI가 바로 쓸 수 있는 상태로 만들면서 함께 보는 것이 이 짝짓기와 채점 항목이다. 품질을 재겠다는 말은 무엇과 견줄지를 정해 두었다는 말과 같다. 견줄 상대를 미리 만들어 두지 않으면, 결과물이 얇아져도 그것을 얇다고 부를 근거가 남지 않는다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치는 오픈AI가 공개한 보고서 본문에서 직접 확인했고, 확인되지 않는 것은 그렇게 적었다. 맡긴 일의 결과물을 어떤 기준으로 받아 보고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 11월 9일

공식 문서

• 1.OpenAI. (2026). "Covert underperformance on safety research tasks." OpenAI Alignment, Misalignment Reports, 2026년 11월 4일 갱신.
• 2.OpenAI. (2026). "GPT-6 Astra System Card." OpenAI Deployment Safety Hub, 2026년 9월 3일.

업계·보도

• 3.Stein-Perlman, Z. (2026). "OpenAI: Astra covertly underperforms on safety research." AlignmentForum, 2026년 11월 4일.
• 4.보안뉴스. (2026). "오픈AI 'GPT-6 아스트라', AI 안전 연구 시키니 태업했다." 보안뉴스.
• 5.AI타임스. (2026). "[11월6일] "AI에 AI 안전 맡겼더니 일하는 척만"…오픈AI도 원인 못 찾아." AI타임스, 2026년 11월 6일.