Executive Summary

20세기 초의 능률 기사 프랭크 길브레스는 조끼 단추를 아래에서 위로 채웠다. 그쪽이 7초 걸리던 일을 3초로 줄여 주기 때문이다. 한동안은 면도기 두 개로 동시에 면도도 했다. 그러다 그만뒀다. 아들이 쓴 회고록에 그의 투덜거림이 남아 있다.

AI가 일을 얼마나 빠르게 해 주는가를 다룬 지난 3년의 연구 더미가 이 한 토막 안에 다 들어 있다. 눈에 보이는 공정을 빠르게 만드는 도구가 있고, 비용은 다른 데서 나타나고, 표본은 작다. 그런데 요즘 연구에 자주 없는 것이 길브레스에게는 있었다. 그는 반창고를 셌다. 논문 제목 『Counting the Bandages』가 거기서 왔다.

요즘 연구가 없는 것은 그 반창고 칸이다. 그래서 같은 질문에 서로 다른 답이 쌓인다. 코파일럿을 쓴 개발자는 범위가 정해진 프로그래밍 과제를 56% 짧은 시간에 끝냈다. 2025년 2월부터 6월까지 커서 프로와 클로드 3.5·3.7 소네트로 측정한 METR의 공개 저장소 실험에서는 숙련 개발자가 오히려 19% 더 오래 걸렸다. 컨설턴트는 모델이 잘하는 영역 안에서는 25% 빨랐고, 일부러 그 바깥에 놓인 과제에서도 빠르기는 했지만 정답률이 19%포인트 낮았다. 오픈AI는 GDPval 발표문에서 최전선 모델이 업계 전문가보다 "대략 100배 빠르고 100배 싸다"고 적었고, 같은 GDPval 논문은 전문가가 결과물을 검토하고 실패분을 다시 만드는 과정까지 넣으면 GPT-5의 값이 1.12~1.39배라고 적었다.

이 숫자들은 서로를 반박하지 않는다. 애초에 같은 것을 측정하지 않았기 때문이다. 논문은 "아낀 시간"을 보는 방식이 둘로 갈라져 있고 그 둘이 한 번도 분리되지 않았다고 지적한다.

한쪽은 시계를 들고 선다. 도구를 쓴 경우와 쓰지 않은 경우를 따로 재서 그 차를 아낀 시간으로 삼고, 시계가 멈추는 순간 측정도 끝난다. 그 뒤에 벌어지는 일은 다른 연구가 맡을 몫으로 남겨 둔다. 다른 쪽은 장부를 편다. 아낀 시간은 양쪽 작업 흐름을 결과물이 실제로 쓰이는 자리까지 밀고 가 본 뒤에야 나오고, 그 사이에 다른 사람 앞으로 넘어간 시간도 같은 장부에 올린다. 앞쪽을 스톱워치 관점, 뒤쪽을 장부 관점이라 부르기로 한다.

논문 1절의 구분을 정리했다. 시계는 시간이 어디서 쓰였는지를 적지만, 그 시간이 무엇을 샀는지는 적지 않는다. 빨라 보이는 시간 중 일부는 옮겨 간 시간이다. 쓰기에서 읽기로, 지금에서 나중으로, 나에게서 내 실수를 찾아낼 사람에게로.

논문이 그 둘을 떼어 놓으려고 세운 사고실험은 짧다. 분석가 두 사람이 같은 모델과 같은 과제를 받는다. 과제는 세 회사의 공시에서 숫자를 뽑아 만드는 한 쪽짜리 보고서이고, 손으로 하면 90분이 걸린다. 첫 번째 분석가는 초안을 공시와 맞춰 읽고 틀린 값 두 개를 찾아 고친 뒤 34분 만에 끝낸다. 두 번째 분석가는 초안을 읽고 마음에 들어 하고 6분 만에 끝낸다. 누가 더 아꼈나.

스톱워치로 보면 두 번째다. 그것도 큰 차이로. 논문의 표현을 빌리면 두 번째 분석가는 세상에서 가장 오래된 생산성 기술을 재발견했다. 확인하지 않기다. 장부로 보면 두 번째 분석가는 아직 아무것도 아끼지 않았다. 틀린 값 두 개를 담보로 28분을 빌렸을 뿐이고, 이자율은 그 값을 나중에 발견할 사람이 정한다.

그 글을 쓴 사람은 솔로몬 샬롬 리호(Solomon Shalom Lijo)다. 소속은 독립 연구자이고, 외부 자금 표시가 없다. arXiv 등록일은 2026년 10월 23일, 분량은 열여덟 쪽이다. 라이선스는 CC BY 4.0이고 제노도에 미러가 걸려 있다. 본업은 AI 소프트웨어를 만드는 회사 Rōmy이고, 이 논문에는 그 제품을 평가하는 대목이 없다고 논문 안에 스스로 밝혀 뒀다. 특이한 이력이 하나 있다. 이 글은 같은 저자가 2026년 4월에 내놓은 자기 제안을 폐기하고 그 자리에 쓴 것이다. 그때 그는 다섯 개 지표로 된 '시간 절약 벤치마크'를 제안했는데, 논문 안에서 그것이 어떻게 틀렸는지를 직접 적는다. 신뢰도 보정 지표가 이미 재작업 시간을 포함한 완료 시간 위에 재작업을 한 번 더 물렸고, 출하된 오류를 재작업 시간이 드는 것처럼 다뤘으며, "내세운 숫자 둘은 출처와 대조하자 살아남지 못했다." 틀린 판을 고쳐 쓰는 대신 통째로 갈아 치웠고, 틀린 코드는 저장소에 남겨 뒀다. 그 오류가 재현 가능한 상태로 남아 있게 하기 위해서다.

본론으로 들어가기 전에 낱말 셋만 정해 둔다. 이 글 전체가 이 셋 위에서 움직인다. 수식은 2절에서 꺼내고, 여기서는 뜻만 적는다.

• 아낀 시간 — 도구를 쓴 쪽의 평균 소요 시간이 안 쓴 쪽의 평균에서 몇 퍼센트 줄었는가. 관리자가 "우리는 시간의 30%를 아꼈다"고 말할 때 뜻하는 그 값이다.
• 빠져나간 결함 — 도구를 쓴 쪽의 결과물에 결함이 남아 있을 확률에서 안 쓴 쪽의 확률을 뺀 값. 결함은 과제를 맡긴 사람이 돌려보낼 만한 것이다. 틀린 값, 실패하는 테스트, 지어낸 인용. 이 값이 음수면 도구가 품질을 올린 것이다.
• 손익분기 결함 비용 — 결함 하나가 하류에서 몇 분을 먹을 때 도구가 남는 장사이기를 그만두는가. 분 단위로 적히는 한 숫자다. 과제당 18분을 아끼고 100건당 결함 세 개를 더 흘려보내는 도구는, 결함 하나가 하류에서 600분보다 적게 먹을 때만 남는다.

세 번째가 이 논문의 설계 중심이다. 논문은 결함 하나의 값을 스스로 정하지 않는다. 이사회 보고서의 틀린 값과 발표 자료의 잘못된 색은 같은 값일 수 없고, 어느 쪽을 기본값으로 정해도 그것은 그냥 선언이기 때문이다. 대신 판단이 뒤집히는 가격을 보고한다. 읽는 쪽이 자기 사정을 알고 있으면, 저자의 가격표를 받아들이지 않고도 결정을 읽어 갈 수 있다. 보건경제학에서 비용 대비 효과를 따질 때 쓰는 증분 비용효과비와 같은 꼴이고, 돈 대신 분, 건강 결과 대신 빠져나간 결함이 들어간 것뿐이다. 새로운 것은 그 도구를 시간 절약 주장에 쓴다는 점 하나다.

3절에서 논문은 검토하는 사람의 행동을 아주 단순한 모형으로 세운다. 결론부터 적으면 이렇다. 검토를 제대로 하는 작업자가 흘려보내는 결함의 비율에는 모델 성능이 들어 있지 않다. 더 좋은 모델이 사는 것은 품질이 아니라 검사 시간이고, 그것도 생각보다 적게 산다. 논문 자신이 이 절에 "이것은 모형이며 그 예측은 예측이라고 라벨을 달았다"고 적어 두었으므로, 아래는 가정 위에서 도출된 결과로 읽는 편이 맞다.

2.1결함을 찾는 일은 물건을 찾는 일과 같다

초안에 결함이 하나 들어 있다고 하자. 그것을 찾는 데 평균 몇 분이 걸리는지를 하나의 수로 적고, 그 평균 소요 시간을 κ(카파)라 부른다. 아무 단서 없이 꾸준히 들여다볼 때 V분 안에 결함을 발견할 확률은 시간이 갈수록 완만해진다. 처음 몇 분이 가장 많이 건지고, 뒤로 갈수록 덜 건진다. 이것은 2차 대전 중 잠수함 탐색에서 나온 지수 발견 법칙이고, 논문은 쿠프먼(1946)의 식을 그대로 가져온다.

여기에 값 두 개를 더 붙인다. 찾아낸 결함을 고치는 데 드는 시간을 R분, 못 찾고 나간 결함이 하류에서 먹는 시간을 c분이라 하자. c는 보통 R보다 훨씬 크고, 더 중요한 것은 그 시간을 대개 다른 사람이 낸다는 점이다. 작업자가 자기 시간과 하류 시간을 합쳐 가장 적게 쓰는 쪽으로 검사 시간을 고른다고 보면, 식 하나가 떨어진다.

이 문턱이 뜻하는 바는 간단하다. 초안의 오차율이 문턱보다 높으면 검사하는 편이 남고, 문턱보다 낮으면 검사하지 않는 편이 남는다. 그리고 이 식 어디에도 모델 성능이 들어 있지 않다. 들어 있는 것은 셋뿐이다. 검사가 얼마나 싼가(κ), 수리가 얼마나 싼가(R), 놓쳤을 때 얼마나 비싼가(c).

2.2좋아진 모델은 품질 대신 검사 시간을 사 준다

모형의 가장 센 결론은 여기다. 오차율을 제대로 알고 있는 작업자가 최종 결과물에 흘려보내는 결함의 비율은 오차율 q와 문턱 q^† 중 작은 쪽이 된다. 오차율이 문턱 위에 있는 동안에는 그 비율이 문턱 값에 고정된다. 모델이 좋아져서 오차율이 내려가도, 작업자가 그만큼 덜 검사하기 때문에 나가는 양은 그대로다. 품질이 실제로 좋아지기 시작하는 것은 오차율이 문턱 아래로 떨어져 아무도 검사하지 않게 된 다음부터다.

그러면 좋아진 모델은 무엇을 사나. 검사 시간을 산다. 최적 검사 시간은 오차율의 로그에 비례해 움직인다. 오차율이 열 배 떨어지면 검사 시간이 약 2.3κ분 줄어든다. 이 한 줄이 순위표를 읽는 방식을 바꾼다. 정확도 90%에서 99%로 가는 것과 99%에서 99.9%로 가는 것은 순위표에서 전혀 다른 사건처럼 보이지만, 둘이 사 주는 검사 시간은 똑같다. 순위표는 정확도에 선형이고, 검사는 오차율의 로그에 선형이기 때문이다.

2.3과신은 시계에서 12분을 벌고 장부에서 33.5분을 잃는다

세 번째 명제가 이 논문의 제목과 가장 가까운 자리다. 작업자가 모델의 실제 오차율을 m배 낙관하고 있다고 하자. 발견 곡선의 모양이 무엇이든, 덜 믿을수록 더 검사하고 더 믿을수록 덜 검사한다. 과신은 언제나 시계를 짧게 하고 유출을 늘린다. 숫자를 붙이면 이렇다. κ가 5분이고 열 배 과신하는 작업자의 시계에는 과제당 약 12분이 절약된 것으로 찍힌다. 같은 작업자의 장부에는 추가로 나간 결함까지 쳐서 33.5분이 손실로 적힌다.

이 손실은 좌우가 대칭이 아니다. 열 배 과신하면 6.7κ만큼 잃고, 열 배 비관하면 1.4κ만큼 잃는다. 다섯 배 가까이 차이가 난다. 논문은 이 비대칭에서 실무 지침 한 줄을 뽑는다. "모델에 대해 틀려야만 한다면, 편집증 쪽으로 틀려라."

2.4그만 검토해도 된다는 말은 몇 건을 세고 나서 할 수 있나

모형대로라면 오차율이 문턱 아래로 내려갔을 때 검토를 멈춰도 된다. 문제는 오차율이 모델에 인쇄되어 있지 않다는 것이다. 감사한 초안에서 추정해야 한다. 한 번도 실패가 나오지 않은 감사를 k건 쌓았을 때 95% 신뢰로 주장할 수 있는 상한은 정해져 있고, 거기서 필요한 건수가 나온다. 대략 3을 문턱으로 나눈 만큼이다. 앞의 예에서 문턱이 0.85%였으니, 그 종류의 과제에서 검토를 그만두려면 깨끗하게 통과한 감사 352건이 필요하다.

이 모형이 가리키는 지렛대도 같은 식에서 바로 읽힌다. 문턱을 내리려면 검사를 싸게 만들거나(κ), 수리를 싸게 만들거나(R), 놓쳤을 때의 값을 크게 잡아야 한다(c). 검사를 싸게 만들면 문턱이 내려가 나가는 결함이 줄고, 하류까지 합한 총소요도 준다. 다만 단서가 하나 붙는다. 시계 시간까지 같이 줄어드는 것은 오차율이 문턱보다 한참 위에 있을 때이고, 문턱 바로 위에서는 검사가 싸진 만큼 오히려 더 많이 들여다보는 편이 남는다. 이 단서를 빼면 틀린 말이 된다.

논문은 이 절의 결과를 예측 네 개로 정리하고, 그중 둘만 7절에서 시험한다. 검사 시간이 오차율의 로그에 따라 움직인다는 것과, 과신하면 결과가 더 빨리 나오고 더 나빠진다는 것이다. 오차율이 문턱 위인 작업자들 사이에서 유출이 모델 개선과 무관하다는 예측과, 검증하기 쉬운 출력이 유출을 줄인다는 예측은 아직 시험되지 않았다. 여러 모델을 써야 하는 설계라 작은 실험으로는 닿지 않는다.

논문이 손에 쥔 실물 자료는 METR이 2025년에 공개한 개발자 실험이다. 숙련 오픈소스 개발자 16명이 자기 저장소의 실제 과제 246건을 받고, 과제마다 AI 사용 허용 여부를 무작위로 배정받아 수행했다. 기간은 2025년 2월부터 6월까지, 도구는 커서 프로와 클로드 3.5·3.7 소네트였다. 공표된 결과는 AI를 쓴 쪽이 19% 더 오래 걸렸다는 것이었고, 이 수치는 발표 당시 널리 인용됐다. 논문은 그 저장소를 내려받아 공표값을 그대로 재현한 다음, 같은 자료에 다른 요약값을 얹어 봤다.

요약값을 바꾼다는 말은 이런 뜻이다. 과제마다 나온 시간의 비를 로그 위에서 평균하면 길이가 제각각인 과제들이 고르게 반영되고, 두 팔의 시간을 각각 평균해서 나누면 오래 걸린 과제가 훨씬 무겁게 실린다. 둘은 서로 다른 질문에 답한다. 여기에 두 팔로 갈린 과제들의 예상 소요 시간이 애초에 고르지 않았던 것을 보정하느냐 마느냐가 겹쳐, 칸이 넷으로 늘어난다.

부호는 전부 '더 오래 걸렸다'는 방향이다. 구간은 개발자 한 명씩 빼 보는 잭나이프 방식으로 잡았다. METR이 공표한 구간은 [+1.6, +39.0]이고 논문이 그대로 재현했다. 네 칸이 갈리는 것은 셈을 달리해서가 아니라 어느 요약값으로 묶는가, 그리고 두 팔 사이의 예보 불균형을 보정하는가에서 온다. 맨 위 요약 카드의 19%·24%·34%가 이 네 칸 가운데 셋이고, 논문 초록이 앞세운 것도 그 셋이다.

네 칸이 벌어지는 이유도 자료 안에 적혀 있다. 과제 길이로는 설명되지 않는다. 처치와 로그 예보의 상호작용은 0.06이고 구간이 [−0.11, 0.23]이라 사실상 0이다. 벌어지는 것은 퍼짐 쪽이다. AI를 쓴 쪽의 소요 시간이 더 넓게 흩어져 있고(로그 척도에서 잔차 표준편차 0.66 대 0.60), 그 차이만으로 18.8%가 23% 근처까지 올라간다. 같은 자료를 묶는 방법이 둘인데 한쪽만 적으면, 읽는 사람은 그것이 선택이었다는 사실을 모른다.

같은 자료 안에 따로 세어 둔 값이 하나 더 있다. 과제를 마친 뒤 결과물을 검토하고 고치는 데 들인 시간이다. 그 시간이 기록된 230건에서 AI를 쓴 쪽은 평균 14.9분, 쓰지 않은 쪽은 9.7분이 걸렸다. 차이 5.2분의 구간은 [−0.6, +12.1]이라 0을 품으므로 방향까지 단정할 수는 없다. 다만 1절의 장부 관점이 가리킨 칸이 바로 이 칸이다. 시계가 멈춘 다음에 쓰이는 시간은 따로 세어 두지 않으면 어느 요약값에도 들어오지 않는다.

METR 자료에서는 세 요약값의 부호가 같은 쪽이었지만, 논문은 부호까지 반대로 나오는 예도 만들어 보인다. 같은 자료에서 기하평균 비는 +10.5%, 비의 평균은 +20.9%, 평균의 비는 −10.4%가 나온다. 도구가 흔한 과제에서는 시간을 까먹고 긴 과제에서만 아껴 줄 때 이렇게 된다. 그래서 논문은 관리자가 묻는 질문에 답하는 평균의 비를 권하되, 무엇보다 헤드라인이 자기가 쓴 요약값의 이름을 밝혀야 한다고 적는다.

그런데 이 표에서 무게가 실리는 줄은 위의 두 줄이 아니라 맨 아래다. "AI가 실제로 도움이 된 과제가 몇 퍼센트였나"는 평균이 답해 줄 수 없는 질문이고, 이 설계로는 아예 구할 수 없다. 각 과제가 둘 중 한쪽 팔에서 한 번만 수행되기 때문에, 같은 과제를 AI 없이 했을 때의 시간이 기록에 없다. 두 시간의 결합 분포를 모르면 "한쪽이 다른 쪽보다 짧았을 확률"은 점으로 정해지지 않고 구간으로만 정해진다. 이것이 마카로프 한계이고, METR 자료에서 그 폭이 2.6%에서 82.1%다. 신뢰구간이 아니다. 표본을 백 배로 늘려도 이 폭은 그대로다. 논문의 문장을 그대로 옮기면, "이 자료는 AI가 과제 대부분에서 도움이 됐다는 것과도, 거의 어디에서도 도움이 되지 않았다는 것과도 똑같이 들어맞는다."

3.1METR은 그 19%에 이미 '낡았다'를 붙여 놨다

이 글이 METR을 깎는 글이 되지 않으려면 반드시 같이 적어야 하는 사실이 있다. METR은 2026년 2월 24일에 개발자 생산성 실험 설계를 바꾸겠다고 공개하면서, 2025년 연구 페이지에 경고 배너를 달았다. "이 결과는 낡았습니다. 2026년 초 기준으로 최신인 결과를 따로 내놓았습니다"라는 문장이 지금 그 페이지 위에 붙어 있다.

더 새 도구로 다시 측정한 값은 이렇다. 원 연구에 참여했다가 돌아온 개발자들에서는 18% 빨라짐, 새로 모집한 개발자들에서는 4% 빨라짐이 나왔다. 부호가 2025년과 반대로 뒤집힌 셈인데, 중요한 것은 부호가 아니다. 두 값 모두 구간이 0을 지난다([−38, +9]와 [−15, +9]). 세 추정치 가운데 구간이 0을 비켜 가는 것은 2025년의 +19% 하나뿐이고, 그 하나에는 METR 자신이 낡았다는 표시를 붙여 뒀다.

설계를 바꾸는 이유로 METR이 적은 것은 세 가지다. AI 없이 일하기 싫어서 연구 참여 자체를 피하는 개발자가 있다는 것, 설문에서 개발자의 30~50%가 "AI 없이 하기 싫은 과제는 아예 제출하지 않았다"고 답했다는 것, 그리고 여러 AI 에이전트를 동시에 돌리는 개발자의 소요 시간 측정은 믿을 수 없다는 것이다. 이 글의 논지와 정확히 같은 자리에서 나온 반성이다. 여기서도 문제는 모델이 아니라 측정 설계였다.

논문 역시 METR 쪽을 편든다. 한 문장이 그 태도를 요약한다. "METR은 방어 가능한 추정량을 골랐고, 보정하지 않은 34%도 스스로 보고했다. 그들이 잘못 골랐다는 것이 요지가 아니다." 덧붙여, 16명 규모에서는 추론 방법 자체가 결론을 흔든다는 점도 같이 적혀 있다. 과제 단위 부트스트랩은 구간 포함률이 87.8%, 개발자 군집 부트스트랩은 91.0%였고, 95.0%를 낸 것은 잭나이프-t 하나였다. 검정력도 넉넉하지 않았다. METR의 표준오차 0.080에서 탐지할 수 있는 최소 효과가 약 25%이고, 10%짜리 효과를 보려면 과제가 약 1,350건 필요하다.

3.2'안정적으로 되는 과제의 비율'은 뽑는 순간 부풀려진다

요약값을 고르는 문제는 다른 모양으로도 나타난다. 모델 평가에서 흔히 쓰는 "이 모델이 안정적으로 해내는 과제의 비율"이 그렇다. 과제마다 초안을 열 개씩 받아 90% 이상 통과하면 안정적이라고 표시한다고 하자. 모든 과제의 참 신뢰도가 똑같이 0.8인 세계에서 이렇게 하면, 과제의 37.6%가 안정적으로 표시되고 그 과제들의 신뢰도는 0.93으로 보고된다. 고른 초안과 평가한 초안이 같아서 생기는 승자의 저주다. 초안을 반으로 갈라 한쪽으로 고르고 다른 쪽으로 평가하면 값은 0.80으로 돌아온다. 요약값 하나가 사라지면 그 자리에 다른 요약값이 들어서고, 그 요약값도 같은 종류의 함정을 달고 온다.

2025년 9월, 오픈AI는 실제 직업 과제로 모델을 평가하는 GDPval을 공개하면서 최전선 모델이 업계 전문가보다 "대략 100배 빠르고 100배 싸다"고 적었다. 이 문장이 지난 1년 동안 가장 많이 인용된 생산성 수치 중 하나다. 논문은 이 수치를 거짓이라고 하지 않는다. 대신 같은 발표문 안에 이미 적혀 있던 단서를 꺼내 놓고, 그 단서를 다 반영하면 숫자가 어디까지 내려오는지를 계산한다.

단서는 이렇다. 100배는 모델의 추론 시간과 API 요금 기준이며, 사람이 결과물을 감독하고 고치고 업무에 붙이는 시간은 거기 들어 있지 않다. 오픈AI 자신이 같은 글에 그렇게 적어 두었다. 그러니 문제는 발표문이 숨겼다는 데 있지 않고, 그 단서가 인용되는 과정에서 떨어져 나갔다는 데 있다.

단서를 되돌려 놓고 계산하면 자리가 금방 좁아진다. GDPval이 공개한 금본위 과제 묶음에서 전문가가 한 과제를 끝내는 데 404분이 걸리고, 그중 결과물을 검토하는 데 109분이 든다. 전체의 27%다. GPT-5의 초안은 약 4.5분 만에 나오고, 전문가 자신의 결과물보다 낫다고 평가받는 비율이 39%다. 실패한 초안을 처음부터 다시 만든다고 가정할 때 GDPval 논문이 내놓은 값은 1.12배(한 번 시도)와 1.39배(반복 시도)다. 아래 숫자들은 전부 이 논문의 저자가 GDPval 부록에서 옮겨 적은 값이다.

논문이 지적하는 것은 1.12배라는 값 자체가 아니라 그 값을 만든 가정이다. "실패한 초안은 전부 다시 만든다"는 수리 비용 가정이 계산의 거의 전부를 하고 있다. 그래서 그 가정을 풀어 놓고, 수리 비용이 0(사소하게 고쳐진다)에서 전면 재작업 사이 어디든 될 수 있다고 두면 속도 향상은 점이 아니라 구간으로 나온다.

3.56배는 측정값이 아니라 상한이다. 이 문장을 같은 자리에서 못 박아 두는 편이 안전하다. GPT-5가 이만큼 빨랐다는 뜻은 아니다. 이 작업 흐름에서 검토 시간이 그대로 남아 있는 한, 아무리 좋은 모델을 넣어도 이보다 빨라질 수 없다는 뜻이다. 생성이 아예 공짜여서 0분에 끝난다고 해도 404를 109로 나눈 약 3.7배에서 막힌다. 발표문의 100배와 실제로 배치했을 때의 1.1~3.6배 사이에 있는 것은 모델의 성능 차이가 아니라 사람이 검토하는 109분이다.

이 천장 자체는 새로울 것이 없고, 논문도 그렇게 적는다. 전체 작업 중 도구가 빠르게 만들 수 없는 부분이 전체의 속도 향상을 묶는다는 암달의 법칙이고, 1967년에 컴퓨터 구조 쪽에서 나온 것이다. 논문의 표현을 빌리면 "목걸이 출입증을 차고 나타난 암달의 법칙"이다. 굳이 다시 꺼내는 이유는 하나다. 정확도 순위표는 과제를 설명하고 결과를 기다리고 결과를 확인하는 시간을 측정하지 않는데, 배치된 속도 향상은 그 시간이 결정한다.

그리고 GDPval 쪽 계산에는 조용한 가정이 하나 더 들어 있다. 검토가 완벽하다는 가정이다. 2절의 발견 곡선 아래에서는 유한한 검토가 언제나 무언가를 놓치므로, GDPval의 장부에서 빠져나간 결함 칸은 아직 비어 있다. 속도 쪽만 구간으로 좁혀 놓아도, 품질 쪽은 측정되지 않은 채로 남는다.

4.1틀린 답 하나를 48분 안에 되돌릴 수 있을 때만 남는 장사

구간이 아니라 값이 하나로 나오는 자리도 있다. 보스턴컨설팅그룹 컨설턴트를 대상으로 한 2026년 실험에서, 연구진은 모델이 잘 못하는 영역에 일부러 놓인 과제를 하나 준비했다. 그 과제에서 시간과 정답률이 따로 보고됐기 때문에, 1절에서 정의한 손익분기 결함 비용을 실제로 계산할 수 있다.

모델이 잘 못하는 영역에 놓인 과제에서의 결과다. 시간은 30%와 18% 줄었고, 오답은 24.5%포인트와 13.9%포인트 늘었다. 맨 오른쪽 칸이 아낀 시간을 늘어난 오답으로 나눈 값, 즉 판단이 뒤집히는 가격이다.

약 48분이라는 값이 뜻하는 바는 이렇다. 이 과제에서 AI 보조가 남는 장사가 되려면, 틀린 답 하나를 나중에 붙잡아 되돌리는 데 컨설턴트 시간 48분보다 적게 들어야 한다. 그런데 그 과제 전체를 사람이 혼자 하는 데 걸린 시간이 37.7분이었다. 결함 하나를 치우는 값이 과제 하나를 통째로 하는 값의 1.2~1.3배라는 뜻이다. "그 조건에 서명할 고객이 많을 것 같지는 않다." 논문이 여기에 붙인 한마디다.

여기까지가 남의 자료를 다시 계산한 결과다. 논문은 마지막으로 2절 모형의 예측 둘을 직접 시험한다. 사람을 대상으로 한 실험이 아니다. AI가 쓴 초안을 AI가 검토하는 설정이고, 논문도 "사람에 대해서는 직접적으로 아무 말도 하지 않는다"고 못 박는다. 다만 이 설정에는 사람 실험이 줄 수 없는 것이 하나 있다. 실험자가 오차율을 직접 정하고, 그 값을 검토자에게 말해 줄 수 있다.

5.1정답이 기계로 확정되는 과제를 골랐다

과제는 1절 사고실험에 나온 그 보고서다. 세 회사의 2026년 6월 30일 마감 분기 매출, 순이익, 영업이익률을 한 쪽으로 정리한다. 세 회사 곱하기 세 항목이니 확인할 수 있는 값이 정확히 아홉 개다. 원문은 2026년 7월 1일 이후 제출된 분기 보고서(10-Q)인데, 이 시점이 설계의 핵심이다. 모델들의 학습 데이터가 수집된 다음에 세상에 나온 문서라 모델이 답을 외우고 있을 수 없다. 정답은 사람이 정하지 않고 XBRL 기계 추출로 확정했다. 표본으로 뽑은 서른 개 회사 전부에서, 회사마다 추출한 값 열두 개가 인쇄된 재무제표에 그대로 있었다.

초안은 작고 빠른 모델(claude-haiku-5-5)이 쓰고, 검토는 그보다 큰 모델(claude-sonnet-5-5)이 맡는다. 초안에는 결함이 없거나 심어 둔 틀린 값이 하나 들어 있다. 틀린 값의 종류는 다섯 가지다. 지난 분기 수치, 연초 누계 수치, 다른 회사 수치, 자릿수 뒤바뀜, 잘못된 분자. 채점은 모델이 아니라 결정론적 감사기가 한다. 고친 값이 참값과 일치할 때만 발견으로 친다.

이 실험에서 가장 깔끔한 설계는 '노력'을 재는 방식이다. 검토자에게는 도구가 딱 하나 주어진다. 재무제표의 한 줄을 열어 보여 주는 조회 도구다. 조회 횟수는 도구 서버가 센다. 추정이 아니라 로그다. 그리고 아홉 번이면 모든 줄을 다 본 것이 된다. 여기에 가격표가 붙는다. 프롬프트가 검토자에게 조회 한 번은 3분, 빠져나간 오류 하나는 10시간이라고 직접 알려 준다. 두 값에서 손익분기 오차율이 떨어진다. 27을 600으로 나눈 4.5%다. 오차율이 이 값보다 높으면 전부 확인하는 편이 남는다.

규모는 작다. 분석에 쓴 세션은 540개이고, 전부 서로 독립된 헤드리스 세션이다. 저자 한 사람의 구독으로 돌렸고 정가로 환산하면 9.27달러다. 가설과 분석 코드는 66회짜리 파일럿을 마친 뒤 저장소 커밋으로 얼렸다. 외부 등록기관에 맡긴 사전 등록은 아니라고 논문이 직접 밝힌다. 실행 중에 계측 사고도 하나 났다. 회사 이름 세 개에 비분리 공백이 들어 있어 그 회사들의 조회가 실패했고, 고친 뒤 영향을 받은 23건을 다시 돌렸다.

5.2한 번만 열어 봐도 셋 중 하나는 걸린다

첫 번째 실험은 검토자에게 조회 횟수를 0회, 1회, 3회, 9회로 고정해 주고 심어 둔 결함을 얼마나 잡는지 본 것이다. 2절이 가정한 지수 발견 법칙이 이 과제에서도 성립하는지를 확인하는 자리다.

눈에 띄는 값은 1회 조회의 32%다. 아홉 줄 중 한 줄을 아무렇게나 열면 틀린 줄에 걸릴 확률이 약 15%인데, 실제 검토자는 그 두 배를 잡았다. 무작위로 고르지 않았다는 뜻이다. 어디가 수상한지 짐작하고 거기를 열었다. 검토자는 부분적으로 확인할 능력이 있었다. 그런데 다음 실험에서 그 능력이 거의 쓰이지 않는다.

5.3평균은 로그를 따르는데, 실제 검토는 전부 아니면 전무다

두 번째 실험은 조회 횟수를 풀어 주고, 대신 초안 작성자의 참 오차율을 사실대로 알려 준 것이다. 2%에서 60%까지 다섯 수준으로 바꿔 가며 120건을 돌렸다. 평균만 보면 모형이 맞았다. 오차율의 로그가 한 단위 올라갈 때마다 조회가 2.2회씩 늘었고, 구간은 [1.8, 2.5]였다.

그런데 개별 검토를 펼쳐 보면 모양이 전혀 다르다. 검토의 96%가 조회 0회 아니면 9회였다(구간 [91, 99]). 중간이 거의 없다. 그리고 그 전환이 일어나는 자리가 오차율 2%와 5% 사이, 즉 프롬프트가 적어 준 손익분기 4.5% 바로 그 지점이다. 오차율 2%에서는 넷 중 셋이 아무것도 열지 않았고, 5%에서는 54%가 아홉 줄을 전부 열었으며, 10%부터는 전부가 전부 열었다. "평균은 로그를 따른다. 어느 검토도 그러지 않는다." 논문이 이 결과를 요약한 말이다.

검토자는 프롬프트가 준 산수를 그대로 수행했다. 조회 한 번이 3분이고 전부 보면 27분이니, 오차율이 4.5% 아래면 기댓값상 안 보는 편이 싸다. 그 계산은 맞다. 다만 전부 아니면 전무가 최적이 되는 것은 부분 확인이 아무 값도 없을 때뿐인데, 부분 확인에 값이 있다는 것은 바로 앞 실험에서 이미 봤다. 한 번 열면 셋 중 하나를 잡는다. 탐색적으로 다시 계산해 보면, 오차율 2%에서 조회 한 번은 두 극단보다 초안당 1분 미만 이득이고 5%에서는 약 4분 이득이다. 검토자는 할 줄 아는 부분 확인을 쓰지 않았다.

5.4열 배 낙관하도록 들은 검토자는 아홉 자리 중 둘도 열지 않았다

세 번째 실험이 이 논문의 제목에 가장 가까운 자리다. 초안의 참 오차율은 30%로 고정해 두고, 검토자에게 말해 주는 값만 바꿨다. 한쪽에는 30%라고 사실대로 말했고, 다른 쪽에는 3%라고 열 배 낙관적으로 말했다. 초안은 양쪽이 같은 것을 짝지어 썼다.

각 조건 마흔 건씩이다. 참값 30%를 3%로 들려줬을 때 조회는 평균 7.15회 줄었고([−8.12, −6.03]) 유출은 22.5%포인트 늘었다([10, 35]). 3%라고 들은 마흔 건 중 스물아홉 건은 아홉 줄 중 단 한 줄도 열지 않았다. 사실대로 들은 마흔 건에는 그런 경우가 없었다.

여기서 반드시 갈라야 하는 것이 있다. 검토자가 무르게 받아 준 것인지, 아니면 아예 보지 않은 것인지다. 논문은 이 둘을 분리하는 가설을 미리 등록해 두고 쟀다. 결과는 한쪽으로 쏠렸다. 같은 노력 수준에서 검토자가 결함을 더 많이 놓쳤는지를 보는 값은 −0.03이고 구간이 [−0.15, 0.10]으로 0을 품는다. 즉 판정은 멀쩡했다. 틀린 값이 드러나는 줄을 실제로 연 경우, 스무 번 가운데 스무 번을 고쳤다. 그리고 빠져나간 열여섯 건은 전부 그 줄을 한 번도 열지 않은 검토에서 나왔다. 논문 표의 판정란에 적힌 답이 "아니다. 전적으로 노력 쪽이다"이다.

프롬프트로 막아 보려는 시도도 미리 설계에 들어 있었다. 3%라는 수치를 주면서 동시에 "그 실적 주장은 검증되지 않은 것으로 취급하라"고 덧붙인 조건이다. 효과는 거의 없었다. 유출이 22.5%에서 17.5%로 내려갔을 뿐이다. 더 눈에 띄는 것은 그다음 숫자다. 마흔 건 중 스물여섯 건이 "3%는 검증되지 않았다"고 글로 적은 다음 아무것도 확인하지 않았다. 경고를 복창하는 일과 경고에 따라 행동하는 일은 같은 일이 아니었다. 선행 연구 둘이 같은 모양을 보고한다고 논문은 적는다. 프롬프트로 "무시하라"고 말하는 것보다, 오해를 부르는 정보를 아예 지워 버리는 쪽이 검출을 되살렸다는 쪽이다.

5.521분을 아끼고 135분을 떠넘겼다

프롬프트가 가격표를 적어 뒀으므로 이 결과는 분으로 환산된다. 과신은 초안 하나당 검사 시간 21.45분을 아꼈다. 줄어든 조회 7.15회에 3분을 곱한 값이고, 논문은 본문에서 21분으로 적는다. 그리고 하류에 135분을 떠넘겼다. 늘어난 유출 0.225에 600분을 곱한 값이다. 둘을 나누면 이 거래가 수지가 맞기 시작하는 지점이 나온다.

이 비교가 이 실험의 결론이다. 검토자는 자기 프롬프트가 적어 준 가격표를 알고 있었고, 그 가격표대로면 과신 상태의 행동은 명백히 손해였다. 그런데도 그렇게 했다. 틀린 수치 하나를 받아들였기 때문이다. 스톱워치에는 21분 절약이 찍히고, 장부에는 135분 손실이 적힌다. 둘 다 참이다. 다만 한쪽만 보고되고 있을 뿐이다.

결함 종류별로 보면 잡히는 정도가 꽤 다르다. 다른 회사의 수치를 가져다 쓴 결함은 89%가 잡혔다. 초안 안에 같은 값이 두 번 나타나 눈에 띄기 때문이다. 나머지 네 종류는 44%에서 67% 사이였다. 항목으로 보면 매출이 74.1%, 영업이익률이 54.2%, 순이익이 50.0%다. 어떤 결함은 구조적으로 더 잘 숨는다.

논문이 스스로 적어 둔 한계도 같이 옮겨 둔다. 심어 둔 결함은 자연적으로 생기는 결함보다 발견율을 높게 보이게 할 수 있고, 자연 오류와 대조하려던 계획은 대조할 자연 오류가 나오지 않아 무산됐다. 오차율 2% 조건에는 결함 초안이 아예 없었고 5% 조건에는 하나뿐이라, 낮은 오차율에서의 유출에 대해서는 이 실험이 말할 수 있는 것이 없다. 그리고 모델 하나, 과제 한 종류, 큰 효과만 잡을 수 있는 검정력이다. 전면 규모의 설계는 저장소에 사전 등록만 되어 있다.

같은 실험에 곁다리로 붙은 비교가 하나 더 있다. 요즘 많이 쓰는 구성, 즉 싼 모델이 초안을 쓰고 비싼 모델이 검토하는 파이프라인이 비싼 모델 혼자 하는 것보다 나은지를 본 것이다. 스무 묶음을 짝지어 돌렸다.

품질 차이가 0인데 비용과 시간이 둘 다 더 들었다. 더 빠르지도 더 낫지도 않았다는 뜻이고, 1절의 분류를 쓰면 이런 파이프라인이 '열등'이다.

이 결과가 나온 이유는 간단하다. 작은 모델이 쓴 초안 140건에 자연적으로 생긴 오류가 하나도 없었다. 검토자는 초안 작성자에 대해 아무 정보도 듣지 못한 채 스무 건의 모든 줄을 확인했고, 고칠 것을 하나도 찾지 못했다. 고칠 것이 없는 초안을 꼼꼼히 확인한 대가가 비용 2.2배와 시간 3.2배였다. 덤으로, 고를 결함이 없어서 승자의 저주를 시험하려던 실험도 성립하지 않았다.

여기서 글의 방향이 "그러니 검토를 빼라"로 꺾이기 쉬운데, 논문은 정확히 반대 방향으로 한 걸음 더 간다. 2절의 인증 규칙이 이 검토의 값을 매긴다. 깨끗하게 통과한 140건을 독립 감사로 치면(스무 묶음에 군집되어 있으니 후하게 쳐 준 것이다) 95% 신뢰로 오차율을 2.1% 아래로 묶을 수 있다. 프롬프트가 적어 둔 손익분기 4.5%보다 낮다. 그 4.5%를 인증하는 데 필요한 깨끗한 감사는 약 67건이었다. 이 비교가 성립하려면 누군가 140건을 세어 뒀어야 한다.

검토를 그만둬도 된다는 판단과 검토를 그냥 안 하는 행동은 겉보기에 같고 장부에서는 전혀 다르다. 앞쪽은 세어 본 결과이고 뒤쪽은 세지 않은 결과다. 이 논문의 작은 실험이 보여 준 두 장면이 정확히 그 둘이다. 5절에서 3%라고 들은 검토자는 세지 않고 건너뛰었고 22.5%를 흘려보냈으며, 6절의 파이프라인은 140건을 센 끝에 건너뛰어도 된다는 결론을 얻었다.

6.1논문이 내놓은 보고 기준 열 줄 가운데 셋

8절에서 논문은 시간 절약 주장이 갖춰야 할 항목을 열 줄로 정리한다. 대부분 돈이 들지 않고 장부 기입에 가깝다. 이 글의 논지와 직접 맞물리는 셋만 옮긴다.

• 요약값의 이름을 밝히고, 무엇을 평균한 것인지 적는다. 평균의 비인지 기하평균 비인지, 그리고 어떤 과제와 어떤 작업자를 평균한 값인지.
• 자기 보고를 관측 시간 대신 쓰지 않는다. 2025년 METR 실험의 개발자들은 자기 속도 향상을 약 40포인트 어긋나게 판단했다. 일을 마친 뒤 스스로는 20% 빨라졌다고 했는데, 2025년 2~6월 기록에서 측정된 값은 19% 더 오래였다.
• "이제 검토가 필요 없다"는 주장에는 깨끗한 감사 건수를 붙인다. 그 종류의 과제에서 대략 3을 문턱으로 나눈 만큼이다. 문턱이 4.5%면 약 67건, 0.85%면 352건이다.

논문은 자기 글에도 같은 기준을 들이댄다. 열거해 둔 한계가 길다. "새로 수집한 사람 대상 자료는 하나도 보고하지 않는다." 3절의 모형은 초안당 결함이 하나뿐이라 가정하고, 거짓 경보가 없다고 가정하고, 위험 중립적인 작업자를 가정한다. METR 자료에 얹은 마카로프 한계는 표본 오차를 넣지 않은 대입값이다. 그리고 가장 솔직한 대목은 맨 끝에 있다. "검토자와 초안 작성자는 모두 클로드 모델이고, 이 논문을 준비하는 데에도 클로드가 거들었다."

남는 것은 이 글이 처음에 꺼낸 그 빈칸이다. 같은 246건에서 요약값마다 숫자가 갈린 것도, 3.6배가 측정값이 아니라 상한인 것도, AI 검토자가 멀쩡한 판단력으로 아홉 자리 중 둘도 열지 않은 것도, 전부 한 사실에서 나온다. 1분을 아끼는 일과 틀린 값 하나를 흘려보내는 일 사이의 환율이 어디에도 적혀 있지 않다. 환율이 없으면 아낀 시간은 금액이 아니라 눈금일 뿐이다. 그리고 2절이 보탠 한 가지가 더 무겁다. 그 환율의 한쪽 끝, 즉 결과물에 남는 결함의 양은 모델을 바꿔도 움직이지 않는다.

AI-Ready Data는 "이 데이터가 지금 쓸 수 있는 상태인가"를 묻는다. 이 논문은 그 질문 옆에 칸을 하나 더 세운다. 쓸 수 있는 상태가 아니었을 때, 그 한 건이 하류에서 몇 분을 먹는가. 그 숫자가 없으면 2절의 검사 문턱이 정해지지 않고, 문턱이 없으면 "이만하면 됐다"는 말은 계산이 아니라 느낌이 된다. 데이터 준비도 점수가 백분율로만 나오고 분 단위 가격표가 붙지 않는 것이 지금 비어 있는 자리다.

7.1품질을 올리는 지렛대는 더 좋은 모델이 아니라 더 싼 검사다

데이터 품질 쪽에서 가장 쓸모 있는 대목은 2절의 고정 구간이다. 모델만 갈아 끼워서는 결과물에 남는 결함 비율이 꿈쩍하지 않는다. 그 식에 모델 성능이 들어 있지 않아서다. 움직일 수 있는 값은 셋인데, 하류 비용과 수리 비용은 대개 바깥에서 정해진다. 조직이 실제로 손대는 자리는 남은 하나뿐이다. 결함 하나를 찾는 데 드는 평균 검사 시간이다. 검사가 싸지면 문턱이 내려가고, 내려간 문턱만큼 나가는 결함이 준다. 다만 2절이 달아 둔 단서를 떼고 쓰면 틀린 말이 된다. 스톱워치에 찍히는 시간까지 같이 줄어드는 구간은 오차율이 문턱보다 한참 높을 때이고, 문턱 언저리에서는 검사가 싸질수록 검사를 더 하는 쪽이 이득이다.

7.2오늘 당장 확인할 수 있는 세 가지

셋 다 새 도구가 필요 없다. 첫째, 우리가 쓰고 있는 "N% 단축"이 평균의 비인지 기하평균 비인지 비의 평균인지 한 줄로 적어 본다. 셋이 부호까지 반대로 나올 수 있다는 것은 3절에서 본 그대로다. 둘째, 결함 하나가 하류에서 몇 분을 먹는지 한 숫자로 적어 본다. 그 숫자가 있어야 "이제 검토를 줄여도 된다"는 말이 계산이 된다. 셋째, 검토를 줄이기 전에 깨끗하게 통과한 감사를 몇 건 쌓았는지 센다. 문턱이 5%라면 약 60건, 1%라면 약 300건이다.

이 셋은 잘하고 있는지를 채점하는 점검표가 아니다. 지금 던지는 질문에 답이 나올 수 있는지를 먼저 확인하는 일이다. 3절의 마카로프 한계가 그 구분의 가장 선명한 예다. 설계가 답을 줄 수 없는 질문에는 자료를 아무리 쌓아도 답이 나오지 않는다.

7.3품질에 분 단위 가격표를 붙이는 자리

이 논문에서 결론이 뒤집힌 자리는 전부 분모가 아니라 가격표였다. 모델을 고르는 시장은 이미 붐빈다. 데이터가 틀렸을 때의 값을 분으로 적어 두고, 그 값으로 검사 문턱을 정하고, 검토를 줄여도 되는 시점을 세어서 증명하는 자리는 아직 비어 있다. 페블러스가 데이터 품질을 다루며 서 있는 곳이 거기다. 데이터클리닉이 데이터셋을 진단할 때 점수 하나보다 그 점수가 어떤 조건에서 나왔는지를 같이 내놓는 이유도 같다. 조건이 없으면 점수는 재현되지 않고, 가격표가 없으면 품질은 결정으로 바뀌지 않는다.

본문 수치의 출처를 성격별로 나눠 적는다. 1번이 이 글이 다룬 논문이고, 2번부터 8번까지가 그 논문이 다시 계산하거나 빌려 온 1차 문헌이다. 9번부터 14번까지는 기관이 직접 낸 공지와 공개 저장소다. 15번부터는 같은 질문을 다른 자리에서 다룬 페블러스 블로그 글이다.

학술 문헌

• 1.Solomon Shalom Lijo, "Counting the Bandages: On measuring the time that AI saves", arXiv:2610.35942v1, 2026년 10월 23일. arxiv.org/abs/2610.35942 · 제노도 미러 doi:10.5281/zenodo.23557773. 이 글의 모든 절이 이 논문을 따라간다.
• 2.Joel Becker, Nate Rush, Elizabeth Barnes, David Rein, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", arXiv:2507.09089v2, 2025년. arxiv.org/abs/2507.09089 3절의 246건·16명·19%와 6절 체크리스트의 자기평가 40포인트가 여기서 나왔다.
• 3.Tejal Patwardhan 외, "GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks", arXiv:2510.04374, 2025년. arxiv.org/abs/2510.04374 4절의 404분·109분·4.5분·39%·0.61은 1번 논문이 이 자료의 부록에서 옮겨 적은 값이다.
• 4.Fabrizio Dell'Acqua 외, "Navigating the Jagged Technological Frontier", Organization Science 37(2), 403–423, 2026년. 4.1절의 정답률·소요 시간과 손익분기 결함 비용 약 48분이 여기서 나왔다.
• 5.Bernard O. Koopman, "Search and Screening", 1946/1957. 2절의 지수 발견 법칙이 이 연구의 식이다.
• 6.G. D. Makarov (1981) · Charles F. Manski, "Partial Identification of Probability Distributions" (2003). 3절의 마카로프 한계와 부분 식별이 여기서 나왔다.
• 7.Gene M. Amdahl, "Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities", AFIPS, 1967. 4절의 천장 명제가 이 법칙의 변형이다.
• 8.Frank B. Gilbreth Jr. & Ernestine Gilbreth Carey, 『Cheaper by the Dozen』, 1948. 1절의 면도기 두 개와 반창고, 그리고 논문 제목의 출처다.

기관 공지와 공개 저장소

• 9.METR, "We are Changing our Developer Productivity Experiment Design", 2026년 2월 24일. metr.org/blog/2026-02-24-uplift-update/ 3.1절의 재측정 값과 설계 변경 사유 셋이 여기 있다.
• 10.METR, 2025년 원 연구 블로그(2025년 7월 10일). metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/ 3.1절에 인용한 "이 결과는 낡았습니다" 배너가 이 페이지 위에 붙어 있다.
• 11.OpenAI, "Measuring the performance of our models on real-world tasks"(GDPval 발표문), 2025년 9월. openai.com/index/gdpval/ 4절의 100배와, 그것이 모델 추론 시간과 API 요금 기준이라는 단서가 같은 글에 함께 있다.
• 12.github.com/solomonshalom/tsb-bench — 1번 논문의 저장소. 사전 등록 커밋, 일탈 기록, 폐기된 2026년 4월 판 코드가 함께 들어 있다. 2026년 10월 30일 확인 시점에 별·포크·이슈가 모두 0이다.
• 13.github.com/METR/Measuring-Early-2025-AI-on-Exp-OSS-Devs — 3절의 재계산에 쓰인 METR 공개 데이터(커밋 7ff2d76).
• 14.Solomon Shalom Lijo, "TSB", SSRN 6682338, 2026년 4월. 저자가 1절에서 폐기한다고 밝힌 자기 제안이다.

페블러스 블로그 인접 글

• 15.같은 저장소에서 검증 비율이 셋 나온다 — 한 자료에서 비율이 여럿 나온 또 다른 사례. 그 글이 다룬 것은 무엇을 한 건으로 셀 것인가이고, 이 글이 다룬 것은 아무리 세어도 정해지지 않는 양이 있다는 쪽이다.
• 16.토르스텐 슬로크의 'AI 효과 0', 없을까 안 보일까? — 같은 질문을 거시 지표 쪽에서 본 글이다.
• 17.AI 지출 옆에 재작업률을 놓은 점수표 — 품질을 비용 옆에 놓은 사례. 이 글의 환율이 빠진 자리가 거기다.
• 18.METR이 어떤 곳인지 한 줄로 — METR의 평가 작업을 다룬 글이다.
• 19.전문가 둘의 판정이 71%만 일치할 때 — 4절이 지적한 "검토가 완벽하다"는 가정을 흔드는 보강 자료다.