Executive Summary

주요 수치

앞의 두 숫자는 이 파이프라인이 무엇을 재료로 삼았는지를, 뒤의 두 숫자는 그 재료에서 무엇이 나왔고 어디까지 검증됐는지를 보여 줍니다.

출처: Prunty 외(2026), arXiv:2608.25623

이 보고서가 붙잡은 문제의 이름은 스코핑 문제입니다. 조직이 AI를 들일 때 어떤 업무를 자동화하고, 어떤 업무를 사람에게 남기고, 어떤 업무를 둘이 나눠 맡을지 가르는 일입니다. 저자들은 지금 이 결정을 받쳐 주는 두 가지 근거가 모두 부실하다고 봅니다.

하나는 집계 벤치마크 점수입니다. MMLU 85%라는 숫자는 전체적인 성능에 대해 무언가를 말해 주지만, 그 시스템이 특정 문항에서 왜 틀렸는지, 평가 분포와 다른 새로운 과제에서 어떻게 할지는 알려 주지 않습니다. 저자들이 든 비유가 높이뛰기입니다. 어떤 선수가 2미터를 넘는다는 사실을 알면 3미터 바 앞에서 어떻게 될지 예측할 수 있지만, 전체 시도의 85%를 성공했다는 집계 수치는 바의 높이가 어떻게 분포했는지를 모르는 한 거의 아무것도 말해 주지 않습니다.

다른 하나는 사람의 직관입니다. AI 시스템은 사람과 다른 방식으로 강하고 약해서, 어디서 무너질지에 대한 우리의 감이 잘 맞지 않습니다. 저자들은 이 성질을 들쭉날쭉한 능력 프로파일이라고 부릅니다. 논문이 인용한 앤트로픽의 사용자 8만 1천 명 조사에서도 응답자의 최대 우려는 신뢰성이었습니다.

핵심은 실패를 없애는 것이 아니라 예측 가능하게 만드는 데 있습니다. 저자들은 벤치마크 정확도가 더 높지만 실패 양상을 알 수 없는 시스템보다, 덜 유능해도 실패가 특정 과제 요구에 안정적으로 묶여 있는 시스템이 훨씬 배치하기 좋다고 적었습니다. 실패가 예측되면 사람의 감독을 어디에 걸지, 가드레일과 인계 절차를 어떻게 설계할지가 함께 정해집니다.

직업 단위로 AI 노출을 추정해 온 기존 연구도 같은 이유로 이 결정에는 잘 맞지 않습니다. 실제 사용 기록에서 노출을 역산하는 방식은 오늘 이미 쓰이고 있는 용도만 담아 뒤를 봅니다. 전문가에게 "AI가 이 일을 할 수 있겠는가"를 묻는 방식은 앞을 보지만, 불투명하고 사람과 닮지 않은 시스템에 대한 예측이라 빗나가기 쉽습니다. 둘 다 현세대 모델에 묶여 있어서 새 모델이 나올 때마다 낡습니다.

파이프라인은 세 단계입니다. 인지 능력 프로파일링으로 AI의 능력치를 추정하고, 직무 요구 가중치로 업무가 어떤 능력을 얼마나 중요하게 쓰는지를 모으고, 적합도 매핑으로 둘을 곱해 봅니다. 두 데이터가 성질이 다르다는 점은 저자들이 먼저 밝혀 둡니다. 앞쪽은 능력 수준이고, 뒤쪽은 중요도 가중치입니다.

첫 단계의 재료는 이미 있는 벤치마크입니다. 새 시험을 만들지 않았습니다. 연구진은 심리측정과 인지과학 문헌에서 직장 활동에 두루 관련되는 핵심 인지 능력 18개를 골라내고, 각 능력마다 0단계에서 5단계까지 여섯 칸짜리 채점 루브릭을 만들었습니다. 0단계는 그 능력이 필요 없다는 뜻이고, 5단계는 아주 높은 수준이 필요하다는 뜻입니다. 칸의 간격은 사람 중 얼마나 많은 비율이 그 수준을 갖추고 있을지를 어림해 잡았습니다. 1단계는 성인 대부분이 넘는 수준, 5단계는 소수만 넘는 수준입니다. 다만 저자들은 이 눈금이 실제 인구 비율에 대응한다고 주장하지는 않는다고 적어 두었습니다.

그다음 기존 벤치마크에서 문항을 뽑아 2만 문항 규모의 배터리를 조립하고, 문항 하나하나에 대해 "이 문항은 각 능력을 몇 단계로 요구하는가"를 주석했습니다. 주석자는 사람이 아니라 LLM입니다. 방법론은 Zhou 등의 ADeLe 프레임워크를 따르는데, 여기서 LLM은 평가 대상이 아니라 전문가가 만든 루브릭을 대신 적용하는 분류기 역할을 맡습니다. 자동 채점이 되지 않는 데이터셋을 걷어내고 벤치마크 22종, 19,576문항이 남았습니다.

주석은 서로 다른 모델 계열의 두 주석자에게 따로 시켰습니다. GPT-4o와 Gemini 3 Flash입니다. 둘의 일치도를 보니 주의 및 억제 통제, 전망 기억 두 차원에서는 합의가 기준선 아래로 떨어져 제외했고, 남은 16개는 순위 상관 0.38에서 0.81 사이였습니다. 낮은 쪽 차원에서도 두 주석자가 한 단계 이내로 일치한 문항이 최소 74%였습니다. 두 주석을 평균해 하나의 요구 행렬로 만들고, 어느 한쪽이 유효하지 않은 값을 낸 41개 문항을 빼면서 최종 배터리는 19,535문항이 됐습니다.

남은 문제는 능력들이 서로 뒤엉킨다는 점입니다. 어려운 문항은 여러 능력을 동시에 요구하기 때문에 요구 프로파일끼리 강하게 상관하고, 그러면 추론 모델이 어느 능력의 몫인지 가려낼 근거가 사라집니다. 연구진은 요구 프로파일의 상관 행렬로 계층적 군집화를 돌려 여덟 개 복합 차원으로 묶었습니다. 이 여덟 개가 AI 능력 추정의 축이 됩니다. 직무 설문은 묶기 전의 능력 단위로 중요도를 받으므로, 두 데이터의 눈금을 맞추는 일은 마지막 단계에 다시 등장합니다.

여덟 차원은 배터리 안에서 등장 빈도가 크게 다릅니다. 언어는 모든 문항이 요구하지만 그중 97%가 1~2단계에 머물고, 대상 영속성은 문항의 36%에서만 등장하는 대신 높은 요구가 꼬리처럼 붙습니다. 배터리 전체에서 5단계 요구가 걸린 문항은 하나도 없고 4단계도 일부뿐인데, 저자들은 이것이 선택된 벤치마크가 담고 있는 요구의 상한이라고 적었습니다.

▲ 여덟 개 복합 인지 차원의 배터리 커버리지와, 여섯 시스템에 걸친 평균 사후 로그 능력치. 능력치는 요구 단계와 같은 로그 척도라 값이 클수록 더 높은 요구 단계까지 여유가 있다는 뜻입니다. 단, 단계는 능력 안에서 정의된 눈금이라 차원이 다른 두 값을 절대적으로 같은 수준으로 읽어서는 안 됩니다 | 출처: Prunty 외(2026), arXiv:2608.25623, 표 2·표 6

마지막으로 각 시스템의 문항별 정답 기록을 베이지안 문항반응 모델에 넣어 능력치를 추정합니다. 결과는 사후분포입니다. 점수 하나로 나오지 않습니다. 근거가 희박한 차원은 넓은 불확실성으로 드러나고, 그 불확실성이 뒤쪽 적합도 점수까지 그대로 따라갑니다.

프로파일링 대상은 두 개발사의 여섯 시스템입니다. 구글 쪽은 Gemini 2.5 Flash, Gemini 3 Flash, Gemini 3.1 Pro이고 OpenAI 쪽은 GPT-4o-mini, GPT-5-nano, o4-mini입니다. 전체 평균 능력치로 보면 Gemini 3.1 Pro가 3.70, Gemini 3 Flash가 3.38이고 나머지 네 개는 2.6에서 2.9 사이에 몰려 있습니다.

여기서 이 논문의 첫 번째 발견이 나옵니다. 전체 수준은 이렇게 갈리는데도 여섯 시스템의 프로파일 모양은 놀랄 만큼 닮았고, 능력 차원 사이의 편차가 시스템 사이의 편차를 상당히 넘어섭니다. 어느 모델이냐보다 어느 인지 차원이냐가 성패를 더 크게 가른다는 뜻입니다.

강점과 약점의 위치는 여섯 개가 공유합니다. 의미 기억, 언어, 사회 인지가 위쪽에 있고 행동 계획 및 시뮬레이션, 도구적 추론, 대상 영속성이 아래쪽에 있습니다. 의미 기억은 여섯 중 다섯에서 가장 높은 차원이었고, 예외인 Gemini 2.5 Flash는 사회 인지가 정점이었습니다. 지금의 챗봇이 잘하는 일과 그대로 겹칩니다.

상위 시스템이 갈라서는 지점은 그 공통 모양 안에서도 두 군데로 좁혀집니다. 정보 통합 및 통제에서 Gemini 3 Flash가 5.06, Gemini 3.1 Pro가 4.90으로 나머지(대략 2에서 4)와 분명히 떨어졌고, 행동 계획 및 시뮬레이션에서는 간격이 더 벌어져 Gemini 3.1 Pro가 4.25, 차순위인 Gemini 3 Flash가 2.37이었습니다.

직무 쪽 데이터는 설문에서 나옵니다. 연구진이 이 대목에서 내린 선택 하나가 이 파이프라인의 성격을 크게 정합니다. 벤치마크 문항에 매긴 것과 같은 루브릭을 실제 업무에도 적용하는 것이 가장 곧은 길이지만, 조직 규모에서 모든 업무 인스턴스에 난이도를 매기는 일은 현실적으로 불가능합니다. 그래서 난이도 대신 중요도를 물었습니다.

설문은 네 단계로 진행됩니다. 응답자는 자기 직군과 경력을 밝히고, O*NET 활동 범주를 다듬어 만든 18개 활동 목록에서 자기 역할에 가장 중요한 다섯 개를 고른 뒤 순위와 주당 투입 시간을 적습니다. 그다음 18개 인지 능력을 정의와 예시, 그림으로 하나씩 익히고 짝맞추기 퀴즈를 풉니다. 마지막으로 앞서 고른 활동마다 가장 필수적인 능력 다섯 개를 고르고 100점을 나눠 배분합니다. 전체 소요 시간은 30분 안팎입니다.

표본은 협력 기업을 통해 모은 125명과 온라인 패널 Prolific에서 모은 414명을 합쳐 539건이었고, 완료 여부와 능력 퀴즈 50% 이상, 응답 시간 10분 이상이라는 세 가지 조건을 통과한 410건을 분석에 썼습니다. 평균 연령은 40.3세, 현 직무 경력은 평균 5.7년이고 해당 분야 경력은 11.8년입니다. 성격이 다른 두 표본을 합쳐도 되는지는 따로 검증했습니다. 활동별 능력 중요도 프로파일에서 코사인 유사도가 평균 0.91, 피어슨 상관이 0.80이었습니다. 측정 오차를 감안한 상한에 견주면 두 표본은 같은 표본을 무작위로 반 갈랐을 때만큼 서로 일치한 셈입니다.

4.1공통 코어와 2차 특화

여섯 직군을 평균했을 때 가장 중요한 활동은 문제 해결(2.04)과 의사 결정(1.78)이었고 확인·점검(1.44), 조사(1.35), 컴퓨터 사용(0.96)이 뒤를 이었습니다. 문제 해결과 의사 결정은 여섯 직군 모두에서 최상위권이라, 저자들은 이를 직군을 가리지 않는 판단 집약적 업무의 공통 코어라고 불렀습니다.

코어는 직군을 가르지 않습니다. 직군을 가르는 것은 그 주변에 붙는 활동입니다. 창고·물류와 제조·정비·수리는 확인·점검과 도구 사용이 전체 평균을 크게 웃돌고, 수치·데이터·프로그래밍 직군은 컴퓨터 사용과 데이터 분석이 나란히 1.89까지 올라섭니다. 접객·영업·고객관리에서는 관계 형성이 1.83으로 여섯 직군 중 가장 높습니다.

▲ 빈도 보정 중요도 점수 기준. 응답자가 다섯 개 활동에 5점부터 1점까지를 주고 직군별로 평균한 값입니다 | 출처: Prunty 외(2026), arXiv:2608.25623, §4.3.3

중요도와 시간 배분이 다르다는 점도 이 설문이 따로 잡아냅니다. 확인·점검은 중요도 상위권이지만 주당 10.2시간에 그치고, 컴퓨터 사용은 중요도가 중간인데도 주당 15.7시간으로 가장 많은 시간을 씁니다. 어느 쪽을 자동화 대상으로 볼지에 따라 후보 목록이 달라집니다.

능력 쪽으로 내려가면 이 논문의 두 번째 발견이 나옵니다. 활동별 능력 중요도 행렬을 보면 계획, 의미 기억, 작업 기억, 언어, 절차 기억이 거의 모든 활동에서 가장 큰 가중치를 받습니다. 활동을 구별해 주는 것은 그 위에 얹히는 2차 능력입니다. 대인 업무는 사회 인지, 분석 업무는 패턴 인식, 창의 업무는 심적 시뮬레이션 쪽으로 기웁니다. 저자들의 표현으로 활동의 능력 프로파일은 과제별 2차 요구로 조율된 공통 인지 코어입니다.

직군을 갈라도 이 구조는 유지됐습니다. 직군별 행렬끼리 셀 단위로 비교하면 상관이 0.53에서 0.77 사이, 평균 0.63입니다. 차이가 나는 곳은 역시 2차 능력이라, 창고·물류는 공간 추론과 길찾기가 평균보다 2.1점 높고 제조·정비·수리는 계획이 2.5점, 접객·영업·고객관리는 마음 이론이 1.7점, 감정 지각과 공감이 1.2점 높습니다.

마지막 단계는 두 데이터를 곱하는 일입니다. 곱하기 전에 눈금부터 맞춰야 합니다. 능력치는 여덟 개 묶음 단위로 추정됐는데 설문의 중요도는 묶기 전 능력 단위로 매겨져 있으니, 연구진은 묶음에서 나온 능력치를 그 안에 든 능력들에 하나씩 그대로 펼친 다음 곱합니다. 그렇게 활동의 중요도 가중치로 시스템의 능력치를 가중 평균해 적합도 점수를 냅니다. 여기에는 데이터에서 추정되지 않는 조절 손잡이가 두 개 있습니다. 강점이 약점을 얼마나 상쇄할 수 있는지를 정하는 보완성과, 중요도 가중치를 얼마나 날카롭게 세울지 정하는 예리도입니다. 이 값들은 데이터가 아니라 배치 방침에서 나온다고 저자들은 따로 강조합니다.

중립 설정으로 계산한 결과, 18개 활동 전부에서 Gemini 3.1 Pro가 가장 적합했고(로그 적합도 4.1~4.6) Gemini 3 Flash가 3.3~4.1로 뒤따랐습니다. 나머지 네 개는 1.7~3.4 구간에 겹쳐 있습니다. 순위 자체는 업무를 바꿔도 거의 변하지 않았습니다.

이유는 앞의 두 발견이 정확히 포개지기 때문입니다. 거의 모든 업무가 지식과 언어, 계획과 통제에 큰 비중을 둡니다. 그런데 시스템끼리 지식과 언어에서는 별로 다르지 않고, 정보 통합 및 통제와 행동 계획 및 시뮬레이션에서 크게 갈립니다. 업무 쪽이 공통 코어로 수렴한 상태에서 모델 쪽 차이가 그 코어의 특정 지점에만 몰려 있으니, 어떤 업무를 대입해도 같은 순서가 나옵니다.

예외는 사회적 성격이 강한 활동입니다. 관계 형성, 경청, 의사소통은 사회 인지와 언어에 다른 활동보다 큰 가중치를 실어 순서를 부분적으로 흔듭니다. 특히 GPT-4o-mini가 관계 형성에서 중위권의 맨 위로 올라섭니다. 불확실성도 활동마다 다릅니다. 응답자가 20명 남짓뿐이었던 코딩은 신뢰구간이 가장 넓었고, 표본이 두터운 문제 해결은 좁았습니다.

조절 손잡이를 넓게 흔들어 봐도 결론은 크게 흔들리지 않았습니다. 15개 쌍별 순위 중 평균 12개 가까이가 유지됐고, Gemini 3.1 Pro는 18개 활동 중 17개에서 1위를 지켰습니다. 순위가 바뀐 유일한 활동은 가장 극단적인 보완성 설정에서의 행정이었습니다.

적합도만으로는 절반의 답입니다. AI가 잘할 수 있는 일과 자동화했을 때 효과가 큰 일이 같지 않기 때문입니다. 그래서 저자들은 적합도에 활동 중요도를 곱해 배치 우선순위 점수를 따로 냅니다. 이 우선순위에서 위로 올라온 것은 조사, 행정, 데이터 분석이었습니다.

같은 계산을 조직 하나에 적용한 사례도 있습니다. 품질관리를 통과한 응답 35건이 행정·조직·기획과 고객서비스·마케팅·인사 직군에 몰려 있던 익명의 기업 X입니다. 이 회사의 가중치로 다시 계산하니 의사소통과 조사가 가장 뚜렷한 배치 기회로 떠올랐고, 문제 해결과 컴퓨터 사용은 중요하지만 현재 카탈로그의 AI가 아직 못 미치는 영역으로 남았습니다. 같은 파이프라인을 직무 단위, 개별 직무 활동 단위로 더 잘게 돌릴 수도 있습니다. 연구진은 기업 X의 선임 고객서비스 직원을 인터뷰해 역할 전체와 핵심 업무 세 가지 각각에 대한 능력 가중치를 따로 받아 냈습니다.

이 파이프라인에서 실무적으로 가장 오래 남을 부분은 여섯 모델의 순위표가 아닙니다. 그 순위표는 다음 모델이 나오면 바뀝니다. 오래 남는 것은 두 흐름이 서로 독립적으로 갱신된다는 구조입니다. 초록에 그대로 적혀 있습니다. 두 흐름은 같은 인지 차원 집합을 쓰기 때문에 모델과 직무가 변할 때 각자 독립적으로 갱신될 수 있고, 필요할 때 결합해 직군, 조직, 직무, 개별 업무 단위의 적합도를 추정합니다.

새 모델이 나오면 그 모델에게 배터리를 한 번 더 풀리면 됩니다. 조직이 재편되면 설문을 다시 돌리면 됩니다. 한쪽이 낡았다고 다른 쪽을 통째로 다시 만들 필요가 없습니다. 저자들이 사용 기록 기반 추정과 전문가 예측을 비판했던 이유가 여기서 뒤집혀 장점이 됩니다. 그 두 방식은 측정 대상이 현세대 AI라서 모델이 바뀌면 기록이 통째로 낡지만, 인지 요구는 일의 성질이라 모델 교체와 무관하게 살아남습니다.

그러면 실무자가 자기 조직에 던져 볼 만한 질문이 하나 생깁니다. 우리 회사에서 오갔던 "어떤 업무를 AI에게 맡길까" 논의는 어떤 축으로 기록되어 있습니까. 모델 이름과 데모 결과로 기록되어 있다면 그 기록의 수명은 다음 모델 발표일까지입니다. 논의에서 실제로 쓸모 있었던 판단, 즉 이 업무가 무엇을 요구하는지에 대한 판단은 그 기록 안에 남아 있는지 확인해 볼 만합니다.

6.1아직 비어 있는 칸

가장 먼저 적어야 할 한계는 검증 단계입니다. 실제 모델의 참 능력치는 아무도 모르기 때문에, 연구진은 능력 프로파일을 미리 정해 둔 합성 에이전트 20개를 사전분포에서 뽑아 배터리 응답을 시뮬레이션하고 추론이 그 참값을 되찾는지 확인했습니다. 프로파일의 모양은 잘 복원됐고(상관 0.92), 시스템 간 공통 절편을 쓰면 전체 수준까지 0.98로 복원됐습니다. 그런데 시뮬레이션과 추론에 같은 모델링 파라미터를 썼기 때문에, 저자들은 이 분석이 내적 복원 가능성만 입증할 뿐 그 가정의 경험적 타당성을 입증하지는 않는다고 직접 적었습니다. 실제 과제 수행이 같은 방식으로 결합하는지는 향후 과제로 남겼습니다.

추정의 선명도는 차원마다 다릅니다. 앞의 능력치를 옮겨 온 논문 표 6에는 각 차원이 다른 능력과 얼마나 얽혀 있는지를 나타내는 사후 상관 최댓값이 함께 실려 있습니다. 값이 1에 가까울수록 그 차원만 따로 떼어 내기 어렵다는 뜻입니다. 이 값이 가장 큰 셋이 대상 영속성 0.73, 도구적 추론 0.66, 행동 계획 및 시뮬레이션 0.61입니다. 시스템들이 공통으로 가장 약한 세 차원이자, 이 기사가 앞에서 모델 간 차이의 근거로 든 차원이 여기 들어 있습니다.

요구 측정 쪽에도 같은 종류의 유보가 붙습니다. 이 파이프라인이 잰 것은 요구 수준이 아니라 중요도이므로, 적합도 점수는 비교용이지 성공 확률이 아닙니다. 어느 시스템이 이 업무에 더 잘 맞는지는 말해 주지만 그 시스템이 이 업무를 해낼 확률은 말해 주지 않습니다.

응답자의 자기보고에 기댄다는 점도 저자들이 스스로 꼽은 약점입니다. 인지 과정 상당수는 자동적으로 일어나 정확히 보고하기 어렵습니다. 메타인지, 공간 추론, 대상 영속성이 상대적으로 드물게 선택된 것은 기여가 적어서가 아니라 의식적 반성에 덜 걸리기 때문일 수 있다고 봤습니다. 활동당 능력을 다섯 개로 제한한 설계가 이 경향을 키웠을 가능성도 함께 언급합니다.

능력 측정 쪽에는 재료의 한계가 있습니다. 배터리가 텍스트 기반 평가로 주로 조립돼 있어 멀티모달 지각, 긴 시간에 걸친 계획, 도구를 쓰는 상호작용을 덜 담습니다. 하필 지금 시스템들이 가장 약하고 가장 크게 갈리는 영역과 겹칩니다. 그래서 연구진은 시스템 간 진짜 차이가 지금 프로파일이 보여 주는 것보다 클 수 있다는 단서를 달았습니다. 프로파일링 대상이 기반 모델 단독이라는 점도 같이 걸립니다. 실제 배치에서는 외부 메모리와 계획 모듈, 도구가 모델의 약점을 메웁니다. 배경 상태를 추적하는 모니터를 붙이면 대상 영속성을 사실상 공급하는 셈이고, 잘 정의된 도구는 가능한 행동을 명시해 주어 지각 부담을 덜어 줍니다.

마지막 한계는 틀 안에서 풀리지 않습니다. 요구 프로파일은 결국 사람에게 그 일이 무엇을 요구하는지를 기술한 것인데, AI는 다른 경로로 같은 결과에 도달할 수 있습니다. 저자들이 든 예가 코딩입니다. 사람 프로그래머는 계획과 절차 기억에 크게 기대지만 지금의 AI는 통계적 패턴 매칭으로 성공하는 경우가 많습니다. 이 어긋남은 실제 배치 결과와 대조해 보는 방법으로만 확인됩니다.

• 1.Prunty, J., Tešić, M., Quinn, P., Hernández-Orallo, J., & Cheke, L. (2026). "Using profiles of cognitive capability to assess AI suitability for workplace tasks." arXiv:2608.25623.
• 2.Kinds of Intelligence (CFI), University of Cambridge. "Task-Suitability-Profiles" (코드·루브릭 공개 저장소).