Executive Summary

주요 수치

출처: Nguyen 외, Computer-Use Agents Gain Little Benefit from a World Model When Conditioned on Tutorials, arXiv:2611.04073(2026)

컴퓨터 사용 에이전트는 사람처럼 화면을 보고 마우스와 키보드를 움직여 일을 끝내는 AI다. 파일을 정리하거나, 표 계산 문서의 서식을 고치거나, 설치된 프로그램의 설정을 바꾸는 일을 맡는다. 화면 한 장을 보고 다음 한 수를 두는 구조라, 몇 수 앞을 못 보면 엉뚱한 메뉴로 들어갔다가 돌아오지 못한다.

그래서 나온 처방이 세계 모델이다. 지금 화면에서 이 버튼을 누르면 다음에 무엇이 보일지를 에이전트가 머릿속으로 먼저 그려 보게 하고, 그 상상한 미래가 더 그럴듯한 쪽으로 행동을 고르게 한다. 체스 선수가 수를 두기 전에 몇 수 앞을 읽는 것과 같은 발상이고, 최근 몇 년 사이 이 방식이 성적을 올린다는 보고가 여러 건 나왔다.

그런데 그 보고들은 세계 모델만 따로 넣고 측정한 것이 아니었다. 같은 시스템에 보통 두 가지가 더 들어간다. 하나는 그 과제를 어떻게 하는지 적어 둔 작업 설명서를 검색해 함께 읽히는 것이고, 다른 하나는 후보 행동 여러 개를 만들어 놓고 그중 하나를 고르는 판정자를 두는 것이다. 성적이 올랐다는 사실은 분명한데, 그 공이 상상력에 있는지 설명서에 있는지 고르는 눈에 있는지는 섞여 있었다. 논문의 출발점이 여기다.

부품을 하나씩 떼어 측정하려면 설명서가 딸린 과제 묶음이 먼저 있어야 하는데, 마땅한 것이 없었다. 연구진은 두 벌을 만들었다. OSWorld-Tutorial은 리눅스 데스크톱 과제 360개로 이뤄져 있고, 그중 110개에는 사람이 검증한 온라인 설명서를, 나머지 250개에는 Gemini 3.8 Flash가 생성한 설명서를 붙였다. 바탕이 된 OSWorld는 컴퓨터 사용 에이전트의 성적표로 가장 자주 인용된다. 그 점수를 끌어올리는 경쟁은 페블러스도 에이전트도 데이터다에서 따로 짚었다. ScienceBoard-Tutorial은 과학 소프트웨어 과제 169개로, 여기서 다루는 Celestia·ChimeraX·GrassGIS·KAlgebra·Lean·TeXstudio는 쓰는 사람이 적어 쓸 만한 온라인 설명서가 거의 없다. 그래서 169개 전부 생성 설명서다.

그 위에 세운 비교 기준이 RAG-PolicyJudge, 줄여서 RAG-PJ다. 정책이 현재 화면과 지금까지의 이력과 과제 지시와 설명서를 받아 후보 행동 세 개를 한 번에 내놓고, 같은 모델이 판정자 역할을 맡아 그중 하나를 고른다. 고른 행동을 실제 화면 좌표로 옮기는 일은 UI-Venus-1.5가 맡는다. 판정자가 보는 것은 후보 셋과 과제 지시, 지금까지의 궤적, 그리고 설명서다.

여기에 미래 예측을 얹는 방식이 둘이다. 하나는 다음 상태를 글로 묘사하게 하는 기존 방식이다. 그림을 그려 내는 것이 아니라 '이 버튼을 누르면 이런 창이 뜬다'를 문장으로 적게 하고, 그 문장을 판정자에게 함께 넘긴다. 연구진은 이 계열에서 이미 공개된 방법 두 가지, WebDreamer와 R-WoM을 그대로 가져와 각각 한 스텝 앞과 두 스텝 앞까지 내다보게 했다.

다른 하나가 이 실험의 핵심인 오라클 조건이다. 에이전트가 예측하게 두지 않고, 그 행동을 실제로 실행했을 때 나오는 진짜 스크린샷을 그냥 건네준다. 후보 행동 하나하나마다 가상머신의 상태를 저장해 두고, 한 번 눌러 본 뒤 저장해 둔 지점으로 되돌리는 식으로 모은 화면이다. 세계 모델이 아무리 발전해도 이보다 더 정확할 수는 없는 상한선이고, 예측하는 데 드는 연산은 한 푼도 들지 않는다. 대신 현장에서는 쓸 수 없는 조건이다. 미래를 보려면 미래를 먼저 살아 봐야 하기 때문이다. 이 조건에서조차 성적이 오르지 않는다면 남는 결론은 하나다. 병목은 예측의 정확도에 없다.

OSWorld-Tutorial 과제 360개 전체 성공률이 아래 표다. 위에서 아래로 부품을 하나씩 쌓은 순서로 읽으면 된다. 설명서 없이 정책만 돌린 기본값에서 출발해 설명서를 붙이고, 판정자를 붙이고, 마지막으로 참 미래 화면을 한 스텝부터 세 스텝까지 얹었다.

OSWorld-Tutorial 360개 과제 전체 성공률. 정책과 판정자 모두 Qwen3-VL-32B, 실행 세 번의 평균. 15스텝과 50스텝은 한 과제에 허용한 행동 횟수다. 출처: 논문 부록 A Table 6.

설명서가 5.3%p를 올리고 판정자가 3.9%p를 더 올려 합이 9.2%p다. 그 위에 얹은 참 미래 화면의 몫은 15스텝에서 0.1%p 마이너스, 50스텝에서 0.3%p 플러스다. 어느 쪽이든 실행 세 번 사이의 표준편차보다 작다. 판정자까지 붙인 줄의 표준편차가 15스텝에서 1.4%p, 50스텝에서 3.6%p다. 예측의 품질을 더 높여 해결될 일도 아니었다. 오차 없는 예측을 이미 준 결과가 이것이다. 공짜로 받은 참 미래 화면이 한 일이 없다.

표에 적은 값은 과제 360개를 한데 평균한 것이다. 논문의 같은 표는 과제를 다섯 갈래로 나눈 열도 함께 싣는데, 거기서 두 가지가 더 보인다. 하나는 9.2%p가 고르게 나오지 않았다는 것이다. 15스텝에서 운영체제를 다루는 과제는 65.3%에서 91.7%로, 전문 도구 과제는 60.5%에서 83.7%로 크게 올랐지만, 일상 앱 과제는 63.5%에서 66.6%에 그쳤고 여러 앱을 오가는 복합 과제는 21.0%에서 25.0%로 거의 제자리였다. 설명서와 판정자가 가장 잘 듣는 자리는 절차가 또렷한 과제 쪽이다. 다른 하나는 그럼에도 참 미래 화면이 보탠 것은 어느 갈래에도 없었다는 점이다. 운영체제 과제는 91.7%로 소수점까지 같았고, 나머지 네 갈래는 3.4%p 손해에서 1.0%p 이득 사이에 흩어졌다. 평균이 가려 놓은 이득이 따로 있지는 않았다는 뜻이다.

같은 패턴이 과학 소프트웨어에서도 나온다. ScienceBoard-Tutorial 과제 169개를 Qwen3.8-27B로 돌린 열에서 정책만 쓴 성적은 29.0%였고 설명서가 44.2%로, 판정자가 48.3%로 올렸다. 참 미래 화면을 두 스텝 더해도 49.3%다. 같은 표의 Qwen3-VL-32B 열도 40.2%와 40.4%로 모양이 같다. 논문은 참 미래 화면을 쓴 세 행이 RAG-PJ와 통계적으로 유의하게 다르지 않다고 명시했다. 환경이 바뀌고 모델이 바뀌어도 결론이 따라온다.

한 가지 덧붙일 것이 있다. 글로 묘사하는 방식의 미래 예측은 그냥 도움이 안 된 정도가 아니었다. ScienceBoard에서 설명서와 판정자를 갖춘 조건에 글 예측을 얹자 48.3%였던 성적이 42.6%에서 44.8% 사이로 내려갔다. 상상한 미래가 틀렸을 때, 그 틀린 미래를 근거로 고른 행동이 아무것도 안 하느니 못한 경우가 있다는 뜻이다.

여기까지만 보면 세계 모델 연구 전체가 헛일이었다는 이야기로 읽히기 쉬운데, 논문은 그렇게 적지 않았다. 연구진은 같은 OSWorld-Tutorial 과제에서 설명서만 빼고 다시 돌렸다. 설명서 없이 정책과 판정자만 둔 성적이 15스텝에서 43.8%다. 여기에 참 미래 화면을 두 스텝 얹자 48.0%가 됐다. 50스텝에서도 47.4%가 50.6%로 올랐다. 아까는 사라졌던 이득이 설명서를 치우자 돌아온다.

그런데 오른쪽 막대를 그대로 받아들이기 전에 조건을 봐야 한다. 4.2%p를 만든 것은 참 미래 화면, 곧 실제로 실행해 봐야만 얻을 수 있는 스크린샷이다. 실제로 만들 수 있는 세계 모델을 같은 자리에 넣으면 숫자가 달라진다. 15스텝 기준으로 R-WoM은 한 스텝 앞을 볼 때 0.4%p, 두 스텝 앞을 볼 때 1.1%p를 올렸다. 같은 계열의 WebDreamer는 도리어 2.4%p와 3.7%p를 깎아 먹었다. 설명서가 없어 세계 모델의 자리가 비어 있을 때조차, 글로 적은 예측은 어느 방법을 고르느냐에 따라 부호부터 갈린다.

두 표를 나란히 놓으면 세계 모델의 자리가 보인다. 설명서가 있을 때는 완벽한 예지력도 보탤 것이 없고, 설명서가 없을 때는 완벽한 예지력만 보탤 것이 있다. 세계 모델은 설명서 위에 쌓이는 보너스가 아니라 설명서가 없는 자리의 대체재였고, 대체재로서도 현재 수준은 설명서 한 장에 못 미친다. 설명서와 판정자가 더한 9.2%p 옆에, 가상머신을 되감아야만 나오는 4.2%p가 있다.

참 미래 화면을 보고도 실패했다면 그 실패를 예측 탓으로 돌릴 수 없다. 그래서 연구진이 들여다본 것도 실패한 궤적 전부가 아니라, 참 미래 화면을 받고도 실패로 끝난 궤적이다. OSWorld-Tutorial에서 그런 궤적 2,116건을 모아 Gemini 3.8 Flash로 실패 이유를 아홉 범주로 분류했다. 궤적마다 주된 이유 하나와 부차적인 이유들을 함께 달았다. 미래를 정확히 보여 준 뒤에도 남은 실패만 세어 본 셈이라, 여기 모인 이유들은 예측의 품질로 설명되지 않는다.

가장 많이 나온 범주는 과제가 성공했는지를 알아보지 못하는 것이었다. 지금 화면의 상태가 과제 지시를 충족했는지를 정책도 판정자도 판단하지 못한다. 두 번째로 많은 범주는 판정자 쪽이다. 미래 정보를 받고도 무엇이 끝났고 무엇이 남았는지를 추론하지 못해, 이미 실패한 행동을 다시 고른다. 논문은 이 두 범주의 정확한 비율을 본문에 숫자로 적지 않고 그림으로만 보였으므로, 여기서도 순위까지가 전부다.

논문이 스스로 그은 선도 적어 둘 만하다. 측정은 전부 리눅스 가상머신에서 이뤄졌고 다른 운영체제로 일반화되는지는 확인하지 않았다. 사람이 검증한 설명서와 생성 설명서를 견준 대목은 360개 전체가 아닌 110개 과제에서만 돌렸다. 정책과 판정자는 모두 Qwen 계열의 학습하지 않은 모델이라, 판정만 따로 학습시킨 모델이나 더 큰 상용 모델에서는 결과가 달라질 수 있다. 실패 분류도 사람이 아니라 모델이 붙인 라벨이다. 생성 설명서는 웹 검색이 가능한 모델로 만들었으므로, 사내 문서만 뒤지는 환경에서는 설명서의 품질이 더 떨어질 수 있다는 점도 연구진이 함께 적었다. 조건을 이렇게 하나씩 밝혀 적는 일이 왜 중요한지는 페블러스도 '풀지 않고도 만점'에서 다룬 적이 있다. 같은 벤치마크 이름 아래에서도 무엇을 쥐여 줬느냐에 따라 숫자가 10%p 가까이 움직인다. 그 폭이 이 논문의 표에 그대로 찍혀 있다.

여기부터는 논문 밖이다. 업무 자동화를 검토하는 쪽에 이 측정이 남기는 것은 두 가지다.

첫째, 에이전트의 성적을 바꾼 것은 모델의 상상력이 아니라 곁에 놓인 문서와 그것을 읽고 고르는 눈이었다. 설명서와 판정자가 9.2%p를 만들었고, 같은 자리에 예지력을 거저 들여놔도 숫자는 꿈쩍하지 않았다. 사내에 에이전트를 들일 때 첫 질문은 모델 선택으로 가기 쉽지만, 그보다 먼저 확인할 것이 있다. 우리 업무 절차가 기계도 찾아 읽을 만한 문서로 적혀 있는가다. 사람 머릿속에만 있는 절차, 캡처 화면만 붙어 있고 글이 없는 위키, 세 해 전 화면을 기준으로 쓰인 매뉴얼은 검색해 와도 쓸 자리가 없다.

둘째, 가장 많이 나온 실패가 일이 끝났는지를 못 알아보는 것이었다. 이것은 모델의 추론 능력 문제이기도 하지만, 그 전에 완료 조건이 어디에도 적혀 있지 않은 문제다. 과제 지시가 '보고서를 정리해 둬'로 끝나면 무엇이 충족돼야 끝인지 판정할 근거가 없다. 사람은 눈치로 메우지만 에이전트는 멈출 자리를 모른다. 업무를 에이전트에 넘길 때 절차 문서와 같은 무게로 준비해야 하는 것이 완료 판정 기준이고, 그 기준은 사람이 읽는 문장으로 끝나서는 안 되고, 기계가 확인할 수 있는 조건이어야 한다.

둘 다 모델 선택의 문제가 아니라 데이터 준비의 문제다. 읽을 수 있게 정리된 절차와 확인할 수 있게 적힌 완료 조건은 에이전트 시대의 학습 데이터에 해당한다. 그래서 물어볼 만한 것이 셋이다.

• 우리 업무 절차는 어디에 적혀 있는가. 사람의 경험에 있는가, 검색해서 꺼낼 수 있는 문서에 있는가.
• 그 문서는 지금 화면과 맞는가. 설명서가 낡으면 틀린 미래를 상상한 것과 같은 효과를 낸다.
• '다 됐다'는 누가 무엇을 보고 판정하는가. 그 조건이 글로 적혀 있지 않으면 에이전트는 끝낼 줄도, 멈출 줄도 모른다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2611.04073에서 볼 수 있고, 두 데이터셋과 코드는 GitHub에 공개돼 있다. 사내 업무 문서를 에이전트가 읽을 수 있는 형태로 이미 정리해 본 팀이 있다면, 완료 조건을 어떻게 적어 두었는지 들려주시면 좋겠다.