Executive Summary

주요 수치

출처: Kolab 논문(arXiv:2610.21109, 2026-10-15)과 프로젝트 페이지.

Kolab이 모은 것은 대화 기록이 아니라 화면이다. 전문가는 한 시간짜리 녹화 세션을 두 번 하면서 자기 업무를 처리했고, 그 사이 에이전트형 AI인 Claude와 대화했다. 필요하면 다른 AI 에이전트를 써도 좋다는 조건이 붙었다. 50명이 두 세션씩 치러 100개 워크플로우 세션이 쌓였고, 연구진은 그 안을 508개 단계로 나눴다. 화면에 등장한 소프트웨어는 90개가 넘는다. 구글 문서나 오피스처럼 누구나 쓰는 도구만이 아니라 Revit이나 DaVinci Resolve처럼 그 직종에서만 쓰는 도구가 섞여 있다.

참가자 50명은 O*NET 기준 10개 섹터, 40개 직종에 걸쳐 있다. 논문이 든 예만 훑어도 영상 편집자와 그래픽 디자이너, 음향 엔지니어가 있고 항공우주 엔지니어와 GIS 전문가, 변호사, 생물정보학자가 있다. 한 업종에서 몰아 뽑은 표본이 아니다.

아무 일이나 녹화하지는 않았다. 연구진은 네 가지 조건을 걸었다. 참가자가 실제로 하고 있는 일에서 나온 문제여야 하고, 그 분야의 지식이나 판단이 필요해야 하고, 서로 맞물린 여러 단계를 거쳐야 하고, 끝에 구체적인 산출물이 남아야 한다. 기존 데이터셋에서 가져온 과제나 꾸며 낸 시나리오는 받지 않았다. 그렇게 걸러진 세션 하나가 평균 5.2단계고, 단계 하나가 평균 8.7개 노드로 쪼개진다.

노드는 사람이나 에이전트가 한 행동 하나를 가리키고, 시작 시각과 끝 시각이 붙는다. 이 노드들을 이어 붙이면 작업 하나가 그래프가 된다. 여러 일을 동시에 벌이면 가지가 갈라지고 같은 행동을 되풀이하면 고리가 생기므로, 곧게 뻗지 않는 작업도 모양 그대로 남는다.

논문이 예로 든 건축가의 다섯 단계 작업이 이 구조를 잘 보여 준다. 건축가는 기존 골조 도면을 올리고 전체 실 배치를 요청했다. 녹화 24분 10초부터 25분 28초 사이의 일이다. Claude는 치수가 들어간 평면 레이아웃을 돌려줬다. 그다음이 중요하다. 건축가는 58분 40초부터 72분 59초까지, 마음에 든 조닝은 그대로 두고 로비와 수납 동선만 고쳐 Revit에서 벽과 칸막이를 다시 세웠다. 논문은 이 장면을 두고 에이전트가 직접 관찰할 수 없는 행동이라고 적는다.

초록이 쓴 표현을 빌리면, 에이전트의 기여를 판정하는 일은 그 기여가 채팅창을 떠난 뒤에 일어난다. 모델은 자기 답이 설계 도구 안에서 어떻게 잘리고 붙었는지 볼 수 없고, 다음 질문을 받을 때도 그 사실을 모른 채 받는다. 화면 녹화는 그 보이지 않는 구간을 통째로 담는 유일한 기록이다.

이 설계가 기존 벤치마크와 갈리는 지점도 여기다. WebArena나 OSWorld처럼 널리 쓰이는 에이전트 평가들은 모델이 주어진 과제를 혼자 끝냈는지를 센다. 사람이 그 결과를 받아 무엇을 했는지는 채점표에 없다. 논문은 자동화 벤치마크에서 잘한다고 해서 실제 협업이 잘된다는 뜻은 아니라고 적는다.

논문은 이 차이를 표 하나로 정리한다. Agents' Last Exam, Workflow-GYM, WeaveBench, TheAgentCompany, GDPVal, DeskCraft를 Kolab과 나란히 놓고 다섯 가지를 묻는다. 사람의 실제 워크플로우를 담았는가, 사람과 AI의 협업이 들어 있는가, 소프트웨어가 다양한가. 나머지 둘은 도메인 수와 모달리티다. 앞의 두 칸에 모두 표시가 붙는 것은 Kolab뿐이다. 협업 칸만 보면 DeskCraft도 표시가 붙지만 사람의 실제 워크플로우 칸은 비어 있다. 도메인은 40개로 Agents' Last Exam의 55개와 GDPVal의 44개 다음이고, 영상을 모달리티로 가진 것은 Kolab뿐이다. Kolab이 더 들고 있는 것은 결국 답이 채팅창을 떠난 다음의 구간이다.

주석 작업자들은 에이전트 응답 하나하나에 세 가지 라벨 중 하나를 붙였다. 정의는 짧다. 채택은 사용자가 응답을 고치지 않고 워크플로우에 넣은 경우, 수정은 고친 뒤에 넣은 경우, 폐기는 넣지 않은 경우다. 폐기에는 조건이 하나 더 붙는다. 사용자가 그 응답을 거부한다고 분명히 말한 경우에만 이 라벨을 쓴다.

폐기 라벨에 붙은 그 조건을 그냥 지나치기 어렵다. 거부한다고 말하지 않고 그냥 다음으로 넘어간 응답은 이 15.0%에 들어오지 않는다. 사람이 일하다가 마음에 안 드는 제안을 받으면 대개 아무 말도 하지 않고 창을 닫는다는 점을 생각하면, 입 밖에 낸 거부만 센 수치는 실제 거부의 하한에 가깝다. 이 읽기는 논문의 주장이 아니라 정의에서 따라 나오는 이 글의 해석이다.

직종을 갈라 보면 숫자가 흔들린다. 대부분의 분야는 에이전트 출력을 그대로 쓰는 쪽이 우세하지만, 채택률은 법률의 57%에서 과학과 컴퓨터·수학 분야의 79%까지 벌어진다. 법률은 수정 쪽에서 특히 두드러져서, 에이전트 출력의 41%가 손질을 거쳐 쓰였다. 같은 모델, 같은 과제 난이도라도 받아 드는 사람의 직업에 따라 결과가 달라진다는 뜻이다.

협업이 좋았느냐는 한 번에 묻지 않고 일곱 문항으로 쪼개 1점에서 5점까지 매기게 했다. 에이전트가 과제와 맥락과 지시를 이해했는지, 요청에 적절히 반응하고 피드백을 받아 고쳤는지, 수고와 시간과 인지 부담을 덜어 줬는지를 물었다. 쓸 만한 아이디어나 다음 수를 먼저 내놓았는지, 정확하고 믿을 만한 산출물을 냈는지, 끼어드는 타이밍이 맞아 상호작용이 매끄러웠는지, 필요할 때 유도하거나 되돌리거나 덮어쓸 수 있었는지가 나머지 네 문항이다. 이 일곱 문항과 별개로 전반적인 협업 경험을 묻는 단일 문항도 있었다.

연구진은 작업이 흘러간 모양도 함께 쟀다. 그래프에서 가지가 얼마나 갈라지는지, 작업이 한 구간에 얼마나 몰리는지를 지표로 삼았다. 몰아서 하는 작업일수록 에이전트를 부르기 전에 혼자 계획하는 앞 구간이 길었고(ρ=0.35), AI를 쓰기 전에 계획이 분명했다고 답한 참가자에게서 그 경향이 더 뚜렷했다(ρ=0.53). 한편 가지가 많이 갈라진 작업에서는 협업 평점이 낮게 나왔다(ρ=−0.24). 초록이 언제 어떻게 조율하느냐가 중요하다고 적은 근거가 여기에 있다.

전문가 본인의 평가는 후한 편이었다. 세션이 끝난 뒤 협업 경험을 5점 만점으로 매기라고 하자 5점이 54.9%, 4점이 29.7%였고 3점 이하는 15.3%에 그쳤다. 산출물 품질도 5점 53.5%, 4점 31.0%로 비슷하게 쏠렸다. 점수가 위쪽에 몰려 있다는 사실은 뒤에서 모델 성적을 읽을 때 다시 문제가 된다. 좋은 협업과 나쁜 협업을 가르는 일 자체가, 대부분이 좋다고 적힌 데이터 위에서 벌어지기 때문이다.

연구진은 이 데이터를 두 갈래 과제로 바꿨다. 하나는 사후 인식이다. 전문가가 실제로 어떻게 반응했는지까지 보여 준 다음, 그 반응이 채택인지 수정인지 폐기인지 맞히게 한다. 다른 하나는 사전 예측이다. 에이전트가 응답을 생성한 시점에서 화면을 끊고 사람의 반응을 숨긴 채, 앞으로 어떻게 될지 미리 맞히게 한다. 프런티어 모델 넷과 공개 가중치 모델 둘, 모두 여섯 모델이 두 과제를 치렀다.

두 숫자의 간격이 이 벤치마크의 요점이다. 답이 어떻게 됐는지 보여 주면 가장 잘하는 모델이 0.713까지 가지만, 보여 주지 않고 미리 맞히라고 하면 0.513으로 떨어진다. 그마저도 최빈값만 반복해 찍는 기준선 0.265와 비교해야 의미가 선다. 사람이 그 답을 받아 들고 무엇을 할지, 모델은 아직 어림잡는 수준이다.

틀리는 방식에도 버릇이 있다. 영상 입력을 줬을 때 Gemini 3.8 Flash는 예제의 83.8%를 채택으로 예측했다. 실제 채택 비율은 65.9%다. 자기 답이 받아들여질 가능성을 체계적으로 높게 본다는 뜻이다. Qwen3-VL-32B는 반대쪽으로 쏠려서 87.3%를 수정으로 찍었는데, 실제 수정 비율은 19.1%다. 두 모델 모두 입력을 읽고 판단을 바꾸기보다 한쪽 라벨을 고정해 놓고 반복하는 쪽에 가깝다.

맥락을 늘리면 나아질 것이라는 기대도 데이터가 받쳐 주지 않는다. 연구진은 앞 단계 몇 개를 더 보여 주거나 워크플로우 전체를 보여 주는 설정을 따로 돌렸는데, 대부분의 영상·그래프 설정에서 macro-F1 변화가 0.07 미만에 머물렀다. 더 긴 맥락이 제한적인 개선만 준다는 것이 논문의 표현이다.

사람의 평점을 맞히는 두 번째 과제도 비슷하게 흘렀다. 협업 만족도에서 가장 높은 상관을 낸 GPT-6 Astra가 스피어만 ρ 0.379였고 Gemini 3.1 Pro는 0.078이었다. 산출물 품질 쪽은 GPT-6 Astra 0.352, Claude Opus 5.5 0.208, Gemini 3.1 Pro 0.046이다. 초록은 이 결과를 두고 프런티어 모델들이 전문가와의 협업을 과대평가하며 높은 품질의 협업과 낮은 품질의 협업을 구분하는 데 어려움을 겪는다고 적는다.

논문이 사후 인식 과제를 설명하며 붙인 한 문장이 이 글의 출발점과 닿아 있다. 자기 출력이 나간 뒤 무슨 일이 있었는지 알아보는 능력이 생기면, 자연스럽게 쌓인 화면 녹화를 학습용 신호이자 배포된 에이전트를 감사하는 신호로 바꿀 수 있다는 것이다. 그것도 전문가에게 따로 라벨을 붙여 달라고 하지 않고서 말이다.

라벨 비용이 평가의 발목을 잡는다는 사실은 데이터 품질을 다루는 쪽이라면 익숙하다. 배포한 에이전트가 현장에서 쓸 만한지 확인하려면 누군가 결과물을 보고 좋다 나쁘다를 적어 줘야 하는데, 그 일을 할 사람이 바로 그 에이전트를 쓰느라 바쁜 전문가다. 그래서 평가는 대개 출시 전 벤치마크에서 멈추고, 배포 후의 품질은 설문이나 사용량 지표로 에둘러 가늠한다. Kolab이 가리키는 쪽은 그 사이에 비어 있던 자리다. 사람이 이미 남긴 행동 자체를 라벨로 쓰자는 것이다.

다만 지금 성적이 그 쓰임을 지탱하지 못한다. 사후 인식 F1이 0.713에 머문다는 것은, 사람이 실제로 한 행동을 눈앞에 두고도 모델이 세 라벨을 안정적으로 갈라내지 못한다는 뜻이다. 감사 신호로 쓰려면 이 숫자가 먼저 올라가야 한다. 논문이 Kolab을 평가 도구보다 연구용 데이터셋으로 자리매김한 것도 그 때문으로 보인다.

조직 쪽에서 이 데이터를 읽는다면 질문은 세 개로 줄어든다.

• • 우리 조직이 AI를 쓴 흔적은 어디에 남는가 — 남는 것이 채팅 로그뿐이라면 판정이 일어나는 구간은 기록되지 않는다. 건축가가 Revit에서 벽을 다시 세운 그 14분이 비어 있는 셈이다
• • 그 흔적에 결과가 붙는가 — 요청과 응답만 쌓이면 품질 데이터가 되지 않는다. 그 응답이 그대로 쓰였는지, 고쳐졌는지, 버려졌는지가 붙어야 비로소 학습과 감사에 쓸 수 있다
• • 붙이는 일을 사람에게 떠넘기지 않는가 — 전문가에게 매번 별점을 매기라고 하면 기록은 금세 끊긴다. 이미 하고 있는 행동에서 신호를 뽑아내는 쪽이 오래간다

읽을 때 함께 염두에 둘 제약도 분명하다. 데이터와 코드는 논문 시점 기준 공개 대기 상태다. 관찰된 에이전트는 주로 Claude였고, 라벨이 붙은 인스턴스는 692건으로 자동화 벤치마크에 견주면 작다. 평점이 위쪽에 쏠려 있어 낮은 구간의 변별력이 어디까지인지도 아직 알기 어렵다. 한 시간짜리 세션 둘이 실제 업무의 호흡을 다 담지 못한다는 점도 그대로 남는다.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2610.21109에서 볼 수 있고, 수치와 인용은 그 논문과 미네소타대 프로젝트 페이지에서 직접 확인했다. 사내에서 AI 사용 기록을 품질 데이터로 되돌려 쓰고 계신 팀이 있다면, 어떤 흔적을 어떻게 붙여 두었는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 17일