Executive Summary

2026년 11월 9일, 앤트로픽이 Claude Fable 5.2를 공개하면서 Remote Labor Index 1위가 바뀌었다. 그런데 같은 점수가 적힌 자리마다 다른 수로 보인다. 스케일 AI가 운영하는 공개 리더보드와 벤치마크 공식 사이트 remotelabor.ai는 41.25%로 쓰고, 미국 AI 안전센터(CAIS)의 대시보드와 앤트로픽 시스템 카드는 41.3%로 적는다. 시스템 카드는 그 아래에 분자와 분모를 함께 달아 둔다. 99 of 240이다.

셋은 같은 값을 다르게 표기한 것이다. 99를 240으로 나누면 41.25%이고, 41.3%는 그것을 소수점 첫째 자리로 반올림한 표기다. 이 글은 41.25%를 본값으로 쓴다. 눈여겨볼 것은 표기가 갈린다는 사실보다, 분모가 적힌 자리가 네 곳 가운데 한 곳뿐이라는 점이다. 그리고 그 한 곳의 분모가 논문이 밝힌 분모와 다르다.

순위표의 위쪽은 이렇게 생겼다. Claude Fable 5.2가 41.25%, 2위 Opus 5.5가 21.25%, 3위 GPT 6 Astra가 20.83%다. 1년 전인 2025년 10월 30일 이 시험이 처음 공개됐을 때 가장 높은 점수는 Manus의 2.5%였다. 41.25를 2.5로 나누면 16.5배다. 다만 이 배수는 그대로 읽을 수 없다. 두 점수가 같은 작업대에서 나오지 않았기 때문인데, 그 사정은 3절에서 다룬다.

Remote Labor Index는 이런 시험이다. 스케일 AI와 미국 AI 안전센터가 업워크 등에서 실제로 돈이 오간 프로젝트 240건을 사들여 표준화한 뒤, AI에게 같은 브리프와 입력 파일을 주고 결과물을 받는다. 그 결과물을 사람 전문가의 납품물과 나란히 놓고 평가자 세 명이 "발주자가 의뢰한 작업으로 받아 줄 만한가"를 매겨 다수결로 성공과 실패를 가른다. 설계와 채점 방식을 자세히 보려면 본지가 지난 7월 다룬 글이 있다.

그 7월 글에는 바로잡을 것이 하나 있다. 당시 본지는 Fable 5의 자동화율을 16.1%로 적었고, 한국어판과 영문판 모두 검색 결과 제목에까지 그 수를 걸었다. 오늘 리더보드에 올라 있는 같은 모델의 점수는 15.83%다. 점수가 내려간 것이 아니다. 발표 당일인 2026년 7월 1일에 같은 기관이 두 개의 수를 동시에 냈고, 본지가 받아 적은 것은 그중 분모가 작은 쪽이었다.

논문은 분모를 분명히 밝힌다. "To protect PII and prevent benchmark contamination, we maintain a private test set of 230 projects used for quantitative evaluation. We release a public set of 10 projects along with the open-sourced code for the evaluation platform." 개인정보를 지키고 시험 문제가 학습 데이터로 새어 들어가는 것을 막기 위해 230건은 비공개로 두고 10건만 공개한다는 뜻이고, 정량 점수는 그 230건으로 낸다는 뜻이다.

그런데 공개된 리더보드의 수는 그 설명과 맞지 않는다. 2026년 11월 13일에 스물세 줄을 전부 내려받아 240과 230으로 각각 되곱해 봤다. 240을 곱하면 스물세 줄이 모두 정수로 떨어진다. 230을 곱하면 정수로 떨어지는 줄이 한 줄도 없다. 아래는 그중 다섯 줄이다.

나머지 열여덟 줄도 같다. 스물세 줄 전부가 240분의 정수이고 230분의 정수인 줄은 없다. 논문이 2025년에 내놓은 첫 최고 점수 2.5%도 240분의 6이고, 230으로는 정수가 되지 않는다. 같은 날 리더보드를 두 번 따로 열어 검산을 각각 돌렸고, 두 결과가 완전히 일치했다.

해명을 찾아봤지만 찾지 못했다. 논문 본문과 부록, 리더보드 페이지의 각주, remotelabor.ai, 보도와 집계 사이트를 뒤졌다. 한 집계 사이트는 "리더보드 점수는 비공개 230건으로 낸다"고 쓰면서 같은 문단에서 41.3%가 99 of 240이라고도 적는다. 2차 집계도 두 분모를 섞어 쓰고 있다는 뜻이지 해명은 아니다. 그러니 여기서 "230이 틀렸다"고 단정하지는 않는다. 확인된 사실은 이것이다. 논문의 분모와 리더보드가 실제로 쓰는 분모가 서로 맞지 않는다.

2.1같은 날 같은 기관이 두 개의 분모를 냈다

분모가 둘이면 무슨 일이 생기는지는 지난 7월에 이미 한 번 드러났다. 2026년 7월 1일, 미국 AI 안전센터는 Fable 5의 자동화율을 두 채널에 서로 다르게 올렸다. 기관 블로그에는 15.8%라고 적었고, 같은 날 엑스 게시물에는 16.1%라고 적었다. 엑스 게시물은 그 수에 단서를 달았다. 240건 가운데 22건은 미국 정부 자료에 접근할 수 없어 평가하지 못했다는 것이다.

두 수를 건수로 역산하면 사정이 보인다. 15.8%를 240으로 역산하면 38건이고, 16.1%를 218로 역산하면 35건이다. 갈린 것은 분모만이 아니다. 분자도 38과 35로 다르게 역산된다. 엑스 게시물 쪽은 평가가 끝난 218건만 놓고 센 값이고 블로그 쪽은 240건 전수를 분모로 쓴 값인데, 성공 건수까지 세 건 차이가 나는 이유는 두 채널 어디에도 나와 있지 않다. 오늘 리더보드에 걸린 15.83%는 38을 240으로 나눈 값이니 블로그 쪽 표기와 같은 계열이다.

블로그 쪽 수가 나중에 고쳐졌을 가능성도 생각해 봤지만 확인하지 못했다. 7월 초 시점의 저장본을 보려고 웹 아카이브 두 곳을 시도했는데 이 작업 환경에서 모두 막혔다. 그러니 확인된 진술은 여기까지다. 오늘 열어 보면 두 채널에 서로 다른 값이 담겨 있고, 더 멀리 옮겨진 값은 218을 분모로 쓴 16.1%다.

분모를 모르면 소수점 둘째 자리의 승부도 읽을 수 없다. 2위 21.25%와 3위 20.83%는 역산하면 51건과 50건이다. 두 모델 사이의 거리는 240건 가운데 한 건이다. 분모를 밝히지 않은 채 "21.25 대 20.83"이라고만 옮기면 독자는 그 차이가 한 건인지 열 건인지 알 길이 없다.

41.25%는 모델 혼자 받은 점수가 아니다. 과제를 푸는 쪽은 모델이지만, 모델이 손을 올려놓는 작업대(scaffold)가 따로 있다. 우분투 리눅스 환경이 주어지고 거기에 소프트웨어가 미리 깔려 있으며 과제마다 제한시간이 걸린다. 그 작업대의 성능 일부가 점수에 그대로 들어간다.

Epoch AI가 이 환경을 들여다보고 두 가지를 짚었다. 하나는 전문 도구의 부재다. 업계에서 실제로 쓰는 디자인·설계 도구들이 리눅스를 지원하지 않아, "models must fall back to less capable alternatives like GIMP or FreeCAD"라고 적는다. 모델이 덜 유능한 대체 도구로 내려앉는다는 뜻이다. 다른 하나는 외부 모델 호출이다. "Veo 3 Preview is used to generate videos, and thus the model being assessed inherits Veo's weaknesses." 영상 과제에서는 구글의 영상 생성 모델 Veo 3가 실제 영상을 만들고, 평가받는 모델이 Veo의 약점을 물려받는다는 것이다.

그러면 점수의 해석이 달라진다. 영상 과제에서 떨어진 점수에는 Veo 3의 몫이 섞여 있고, 디자인·CAD 과제에서 떨어진 점수에는 GIMP와 FreeCAD의 몫이 섞여 있다. 반대 방향도 성립한다. 작업대를 더 좋은 도구로 바꾸면 모델을 그대로 두고도 점수가 오른다.

3.1그 작업대가 시계열 중간에 바뀌었다

같은 Epoch AI 글에는 작업대가 교체된 기록이 축자로 남아 있다. "Models were given a one-hour total time limit, and the environments did not come with much relevant software preinstalled. However, the CAIS and Scale AI team conveyed to us that they made significant upgrades to the in-house scaffolds, including an increased suite of pre-installed software and a considerably extended per-task time limit." 처음에는 총 1시간 제한이었고 쓸 만한 소프트웨어가 거의 깔려 있지 않았는데, 이후 사전 설치 소프트웨어가 늘고 과제당 제한시간이 크게 늘었다는 것이다. 그리고 "These improvements were in place for the Opus 4.5 evaluation, where it scored only 4%." 그 개선은 Opus 4.5 평가 때 이미 적용돼 있었다는 것이다.

마지막 문장이 교체 시점을 좁혀 준다. 바뀐 작업대에서 받은 점수로 Epoch AI가 든 예가 4%이고, 오늘 리더보드에서 Opus 4.5는 3.75%에 놓여 있다. 그러니까 작업대가 손질된 것은 리더보드 전체가 아직 한 자릿수에 머물던 구간이고, 15.83%와 21.25%와 41.25%는 모두 그 뒤에 찍힌 값이다. 2.5%와 41.25%를 한 줄에 놓을 때는 단서가 필요하지만, 뒤쪽 구간끼리의 비교는 그만큼 사정이 낫다는 뜻이기도 하다. 다만 그 뒤에 작업대가 또 손질됐는지는 같은 종류의 기록이 공개돼 있지 않아 알 수 없다.

3.2"석 달마다 두 배"는 어느 구간에서나 참인가

remotelabor.ai와 미국 AI 안전센터는 자동화율이 약 석 달마다 두 배가 된다고 공개 채널에 적는다. 이 말을 2차 인용으로 받지 않고 직접 확인했다. 공개된 다섯 시점의 점수를 분모 240으로 통일한 뒤 원점을 지나는 최소자승 회귀를 돌렸다. 하루에 0.00996번 두 배가 되는 기울기가 나왔고, 뒤집으면 배가 주기는 약 100일, 곧 3.3개월이다. 공식 표기와 사실상 같은 값이 나온다.

그런데 같은 점들에서 다른 수도 나온다. 맨 앞과 맨 뒤 두 점만 이으면 375일 동안 16.5배이고, 배가 주기는 약 93일, 곧 3.0개월이다. 다섯 점을 전부 쓴 회귀값인 약 100일과 일주일 넘게 벌어진다. 다섯 점이 한 직선 위에 가지런히 놓여 있다면 두 값이 이렇게 갈릴 이유가 없다.

다만 이 평균을 구간으로 쪼개면 성장이 균일하지 않다는 것이 드러난다. 아래가 그 세 구간이다.

지난여름 한 구간은 배가에 일곱 달 반이 걸릴 만큼 느렸다. 그 느림을 마지막 한 달 남짓의 급등 하나가 상쇄했고, 둘을 섞어 평균을 내면 석 달이 된다. "석 달마다 두 배"라는 문장은 그래서 속도를 묘사하는 말이 아니라 서로 다른 두 속도의 평균이다. Opus 5.5가 리더보드에 올라온 날짜는 출처마다 10월 7일, 10월 18일, 10월 29일로 갈린다. 위 표는 그중 가장 이른 날짜를 넣어 마지막 구간을 가장 길게 잡았으니, 급등이라는 판단은 보수적으로 잡아도 남는다.

240건은 업워크에서 그냥 퍼 온 일감이 아니다. 한 건마다 세 가지가 이미 붙어 있다. 작업 설명과 제공 자료와 산출물 규격을 적은 표준화된 브리프, 작업에 필요한 입력 파일 일체, 그리고 사람 전문가가 실제로 납품한 결과물과 그 사람이 쓴 시간·받은 돈이다. 모델은 요구사항을 알아내는 단계를 건너뛰고 바로 손을 댄다.

일감 한 건의 크기는 중앙값으로 보는 편이 실감에 가깝다. 소요시간 중앙값은 11.5시간, 비용 중앙값은 200달러다. 평균은 28.9시간과 632.6달러로, 각각 중앙값의 2.5배와 3.2배다. 분포가 오른쪽으로 길다는 뜻이고, 열에 다섯은 하루 반나절에 20만 원 남짓인 일이라는 뜻이다. 꼬리가 어디까지 가는지는 논문 그림 4의 캡션이 짚어 둔다. 사람 전문가가 100시간 넘게 쓴 건이 있고 비용이 1만 달러를 넘는 건도 있다. 다만 논문에는 백분위수나 표준편차가 없으니 이 비율과 극값의 존재 이상으로 분포를 말할 수는 없다.

널리 옮겨진 "6,000시간·14만 달러"에도 구멍이 있다. 완료시간 데이터는 240건 가운데 84%에만 있고, 비용 데이터는 95%에만 있다. 평균 28.9시간은 약 202건에서 나온 값이고 평균 632.6달러는 약 228건에서 나온 값이다. 240건 전수를 센 값으로 읽으면 틀린다. 빠진 16%와 5%가 어느 쪽으로 치우쳤는지는 논문이 설명하지 않는다. 가격에는 단서가 하나 더 붙는다. 논문은 비용이 프로젝트를 끝낸 시점의 값이고 물가 보정을 하지 않았다고 쓰며, 그 프로젝트들이 최근 5년 안에 수행됐다고 적는다. 14만 달러는 최대 5년 전 가격표다.

4.1550건에서 310건이 떨어진 그 체

제작진은 프리랜서들에게서 후보 550건을 모았고 그중 240건만 남겼다. 310건, 곧 56%가 떨어졌다. 무엇이 걸러졌는지는 논문 부록 C.2에 조달 기준으로 적혀 있다. 아홉 개 항목 가운데 독자의 업무에 그대로 겹치는 다섯 개를 옮긴다.

• "The work can be completed independently by one freelancer and does not inherently require working on a team" — 프리랜서 한 사람이 혼자 끝낼 수 있어야 하고, 본래 팀 작업을 요구하는 일이면 안 된다.
• "The work does not inherently require interacting with clients" — 중간에 발주자와 주고받아야 하는 일이면 안 된다.
• "The work does not require testing or interacting with live services set up by the client" — 발주자가 운영 중인 시스템을 건드려야 하는 일이면 안 된다.
• "all projects can be evaluated on the spot" — 그 자리에서 판정할 수 있어야 한다.
• "Deliverables must be possible to view in a web-based evaluation platform" — 산출물이 웹 평가 화면에서 열려야 한다.

수집한 뒤의 정제 단계에도 기준이 따로 일곱 개 있고, 그중 하나는 "The brief and input files are complete and sufficient"다. 브리프와 입력 파일이 완전하고 충분해야 한다는 조건이다. 논문 본문은 이 과정을 "To ensure each project is a self-contained, reproducible benchmark instance, we conducted multiple rounds of review, cleaning and standardization."이라고 적는다.

남은 240건이 어떤 분야에 몰려 있는지는 부분적으로만 알 수 있다. 논문은 23개 하위 카테고리를 다룬다고 밝히지만 카테고리별 건수를 담은 표는 어디에도 없다. 그림 3의 캡션은 "Here, we show the top seven categories."이고, 막대는 상위 일곱 개만 보여 준다. 그 일곱 개 안에서는 영상·3D·그래픽처럼 결과물이 파일 하나로 떨어지는 범주가 눈에 띄게 많다. 다만 전체 분포를 모르니 "23개 가운데 몇 퍼센트"라고 쓸 근거는 없다.

4.2자르는 노동은 채점표에 없다

실제 외주에서 시간을 가장 많이 잡아먹는 쪽은 종종 작업 바깥에 있다. 무엇을 만들 것인지 정하고, 어떤 상태가 되면 끝난 것으로 볼지 합의하고, 값을 매기고, 자료를 모아 넘기는 일이다. 240건에서는 그 일이 이미 끝난 채로 시험이 시작된다. 그러니 자동화율이 재는 범위에 그 노동은 들어 있지 않다.

이 간극을 평가 안으로 들여오려는 설계도 있다. 업워크 쪽 연구진이 2025년 11월 공개한 UpBench(arXiv:2511.12306)가 그렇다. 초록 축자는 "expert freelancers decompose each job into detailed, verifiable acceptance criteria and assess AI submissions with per-criterion feedback"다. 전문 프리랜서가 일감을 검증 가능한 수용 기준으로 직접 쪼개고 그 기준마다 평가한다는 것이다. 자르는 일을 평가 바깥에 두느냐 안으로 들이느냐가 두 설계가 갈리는 지점이다. 다만 UpBench 초록이 Remote Labor Index를 지목해 비판하지는 않는다.

일감이 너무 잘 잘려 있다는 지적은 이 글보다 앞서 나왔다. Epoch AI는 같은 글에서 "tasks in all the benchmarks are performed in isolation from any broader business context"라고 적고, "there is far more 'remote labor' than represented in RLI"라고 적는다. 논문 자신도 한계를 달아 둔다. 발주자와의 상호작용이 필요한 일, 팀으로 해야 하는 일, 요건을 맞추지 못한 일이 빠졌고, 따라서 자동화율 100%를 받은 AI라도 평가하지 않은 종류의 일에서는 사람보다 못할 수 있다는 것이다.

이 절은 의혹을 제기하는 자리가 아니다. 누가 어떤 이해관계를 함께 쥐고 있는지만 사실로 적고, 판단은 독자에게 넘긴다.

먼저 널리 퍼진 오해 하나를 정정한다. 1위 점수를 받은 회사가 이 시험을 함께 만들었다는 말이 돌지만 사실과 다르다. Remote Labor Index를 만든 곳은 스케일 AI와 미국 AI 안전센터이고, 논문 저자는 47명이며 책임저자는 Dan Hendrycks다. 저자 명단에 앤트로픽 소속 인사는 없다. 1위를 받은 Claude Fable 5.2를 만든 앤트로픽은 이 시험의 제작에 참여하지 않았다.

그 자리에서 보이는 사실은 따로 있다. 스케일 AI는 아웃라이어(Outlier)를 운영하는 회사다. 프리랜서 90만 명 이상이 AI 학습 자료를 만드는 원격 일감 플랫폼이고, 그 결과물은 메타·오픈AI·구글·xAI와 함께 앤트로픽으로도 간다. 이 플랫폼의 노동자 추적 문제는 본지가 11월 6일 글에서 따로 다뤘다. 정리하면, AI가 원격 프리랜서의 일을 어디까지 해내는지를 재는 쪽이 원격 프리랜서 플랫폼의 당사자이기도 하다.

이번 점수를 실제로 돌린 쪽도 같은 회사다. 앤트로픽 시스템 카드는 Remote Labor Index 측정을 외부 기관이 수행했다고 밝히고, 설정을 함께 적는다. 기본값인 높은 노력 수준, 20만 토큰 맥락창, 3만 2천 토큰 응답 상한이다. 그 외부 기관이 스케일 AI이고, 출시 당일 같은 수가 벤더 발표표와 공개 리더보드에 함께 올랐다. 평가가 유상이었는지 무상 협력이었는지는 시스템 카드 어디에도 적혀 있지 않다.

스케일 AI 자신도 단서를 달아 둔다. 이 지표가 디지털 경제 전체를 대표하지는 않는다는 것이다. 그러니 "41%의 일자리가 사라진다" 같은 문장은 만든 쪽에서 나온 말이 아니다.

4절의 조달 기준은 그대로 뒤집으면 자기 업무를 판정하는 질문이 된다. 새로 지어낸 목록이 아니라 논문 부록에 적힌 조건을 업무 쪽 말로 옮긴 것이다. 머릿속에 업무 하나를 구체적으로 떠올려 놓고 여섯 개를 차례로 물어보면 된다.

• 이 일을 브리프 한 장으로 적을 수 있나. 무엇을 만들고 무엇이 끝난 상태인지가 한 장에 담기나.
• 착수하는 시점에 필요한 자료가 전부 손에 있나. 중간에 누군가에게 받아 와야 할 파일이 남아 있지는 않나.
• 맡은 사람이 되묻지 않고 끝낼 수 있나. 진행 중에 방향을 다시 확인해야 하는 지점이 있나.
• 한 사람이 혼자 할 수 있나. 다른 팀의 손이 한 번이라도 들어가야 하나.
• 우리 쪽에서 돌아가고 있는 시스템을 건드려야 하나. 사내 계정·운영 서버·실제 고객 데이터에 접근해야 하나.
• 결과물이 파일로 떨어져 그 자리에서 합격 여부를 판정할 수 있나. 몇 주 뒤 성과로만 알 수 있는 일은 아닌가.

여섯 개를 모두 통과하는 업무라면 41.25%라는 수치가 대략 그 업무에도 적용된다. 하나라도 걸리면 그 업무는 240건 안에 처음부터 들어 있지 않았다. 낮은 점수를 받았다는 말과는 다르다. 측정 범위 밖이라는 뜻이고, 그 차이를 모른 채 수치만 옮기면 도입이 실패했을 때 원인을 모델 성능으로 오진하게 된다.

그리고 여섯 질문을 다 읽고 나면 진짜 물음이 하나 남는다. 지금 우리 조직에서 일감을 그렇게 잘라 주는 일은 누가 하고 있나. 요구사항을 문장으로 고정하고 자료를 모아 붙이고 완료 기준을 미리 합의하는 사람 말이다. 그 사람이 없어지면 자동화율이 아무리 올라가도 일은 끝나지 않는다. 반대로 그 공정이 탄탄한 조직에서는 같은 모델이 같은 날 더 많은 일을 끝낸다.

페블러스가 이 보고서에서 가장 오래 들여다본 것은 1위 점수가 아니라 4절의 아홉 가지 기준이다. 그 목록을 읽는 순간 익숙했기 때문이다.

7.1240건을 만든 공정이 곧 AI-Ready Data 공정이다

제작진이 240건을 만들며 한 일을 늘어놓으면 이렇다. 브리프를 표준화하고, 입력 파일을 모으고, 정답 산출물을 붙이고, 수용 기준을 문장으로 고정하고, 후보 550건에서 310건을 걸러 냈다. 페블러스가 AI-Ready Data라고 부르는 작업과 공정이 같다. 이 글의 4절은 사실상 데이터셋 하나가 만들어지는 과정을 노동 쪽에서 본 것이고, 우리 관심은 자동화율이라는 결과값보다 그 값을 가능하게 한 전처리가 어디까지 사람 몫이었는지에 있다.

7.2세 축이 모두 측정 장치 쪽에서 생긴 변동이다

이 글이 짚은 세 가지는 공통점이 있다. 같은 모델의 공개 점수가 분모 하나로 16.1%와 15.8% 사이를 오가고, 작업대 교체로 시계열이 끊기고, 240건이라는 모집단 자체가 아홉 가지 체의 산물이다. 셋 다 모델 쪽 변동이 아니라 측정 설계 쪽 변동이다. 데이터클리닉이 고객 데이터셋을 받을 때 라벨 정의와 수집 조건과 분모를 먼저 묻는 이유가 이것이다. 분모를 모르면 올라간 숫자가 능력이 올라간 것인지 세는 방법이 바뀐 것인지 가릴 수 없다.

7.3고객이 "41%면 외주를 줄여도 되나"를 물어 올 때

실무에서 이 수치는 거의 언제나 그 형태로 도착한다. 외부 벤치마크에서 41%가 나왔으니 우리 외주의 40%를 줄일 수 있느냐는 물음이다. 답은 숫자가 아니라 6절의 여섯 질문이다. 업무가 브리프 한 장으로 떨어지고 착수 시점에 자료가 다 있고 되묻지 않고 끝낼 수 있으면 그 수치가 대략 적용되고, 아니면 애초에 측정 범위 밖이다. 이 구분을 주지 않고 수치만 옮기는 것이 도입 실패의 흔한 출발점이다.

7.4병목은 모델 쪽이 아닌 자르는 공정에 있다

Remote Labor Index가 1년 동안 보여 준 것은 자를 수만 있으면 점수가 빠르게 오른다는 사실이다. 그렇다면 남은 병목은 모델이 아니라 업무를 측정 가능한 단위로 자르고 그 수용 기준을 데이터로 고정하는 공정에 있다. 페블러스가 설 자리도 "AI가 대체할 수 있다, 없다"를 판정하는 자리가 아니라 그 공정이다. 고객 업무를 240건처럼 잘라 낼 수 있는 형태로 바꾸는 일이 우리가 하는 일이고, 그 일이 되면 자동화율은 따라온다.

본문 수치의 출처를 성격별로 나눠 적는다. 1번부터 3번까지가 이 글이 다룬 시험의 1차 자료이고, 분모 검산과 조달 기준과 중앙값이 여기서 나왔다. 4번부터 6번까지는 점수를 발표한 쪽의 공개 기록이다. 7번과 8번은 바깥의 분석과 대조군 설계이고, 마지막 묶음은 페블러스 선행 글이다.

1차 — 시험 자체

• 1.Mazeika 외 46인, "Remote Labor Index: Measuring AI Automation of Remote Work" (스케일 AI·미국 AI 안전센터, arXiv:2510.26787, 2025년 10월 30일 v1, 판본은 하나). arxiv.org — 비공개 230건과 공개 10건 축자, 부록 C.2의 조달 기준 아홉 개와 정제 기준 일곱 개, 중앙값 11.5시간·200달러와 평균 28.9시간·632.6달러, 결측률 84%와 95%, 물가 미보정 단서, 그림 3 캡션이 모두 여기서 나왔다.
• 2.스케일 AI 공개 리더보드 (2026년 11월 13일 열람, 같은 날 두 번 따로 확인). labs.scale.com/leaderboard/rli — 2절의 ×240 검산이 이 스물세 줄에서 나왔다. 41.25%·21.25%·20.83%·15.83%와 3절 구간 계산의 등재일도 이 표를 따랐다.
• 3.Remote Labor Index 공식 사이트 (2026년 11월 13일 열람). remotelabor.ai — 41.25% 표기와 "6,000시간 넘게·14만 달러 넘게", 그리고 자동화율이 약 석 달마다 두 배가 된다는 표기의 출처다. 열람 당시 결과 블록이 로드되지 않아 수치는 리더보드로 대조했다.

점수를 발표한 쪽

• 4.앤트로픽, Claude Fable 5.2 / Mythos 5.2 시스템 카드 §8.14.7 (2026년 11월 9일) — 41.3%와 99 of 240, 외부 기관이 평가를 수행했다는 서술, 기본 설정과 맥락창·응답 상한이 여기 있다. 대가 관계는 적혀 있지 않다.
• 5.미국 AI 안전센터, "A Significant Increase in Digital Labor Automation" (2026년 7월 1일). safe.ai — Fable 5를 15.8%로 적은 쪽이다. 같은 글이 Opus 4.6을 4.17%로 적는다.
• 6.미국 AI 안전센터 엑스 게시물 (2026년 7월 1일, 그리고 2026년 11월) — 앞의 것이 Fable 5를 16.1%로 적고 22건 미평가 단서를 단 쪽이고, 뒤의 것이 "약 석 달마다 두 배"를 원격 노동 전반으로 넓혀 말한 쪽이다.

바깥의 분석과 다른 설계

• 7.Florian Brand, Greg Burnham, "What do 'economic value' benchmarks tell us?" (Epoch AI, 2026년 2월 13일). epoch.ai — 3절 작업대 인용 네 개(총 1시간 제한, 사전 설치 소프트웨어 보강, GIMP·FreeCAD, Veo 3 Preview)와 4절의 사업 맥락 분리 지적이 전부 이 글에서 나왔다.
• 8.Darvin Yi 외, "UpBench" (arXiv:2511.12306) — 4.2절의 대조군이다. 프리랜서가 일감을 검증 가능한 수용 기준으로 직접 쪼갠다는 초록 축자를 인용했다. Remote Labor Index를 명시해 비판하는 문장은 없다.

페블러스 선행 글

• 9.AI 에이전트가 끝낸 실제 프리랜서 일감, 여덟 달 만에 6분의 1 (2026년 7월 14일) — 이 시험의 설계와 채점 방식을 다룬 글이다. 그 글이 제목에 건 16.1%를 1절과 2절에서 고쳐 적었다.
• 10.스케일 AI의 일감 플랫폼 아웃라이어, 유럽서 노동자 감시 진정 (2026년 11월 6일) — 5절에서 아웃라이어가 어떤 플랫폼인지 한 사실만 가져왔다.