Executive Summary

주요 수치

출처: Song Yao, arXiv:2608.17111 (2026-08-17)

생성 AI가 자격의 값을 무너뜨렸다는 이야기에는 근거가 있습니다. 프리랜서 플랫폼에서는 제안서의 문장이 좋아졌지만 그 문장이 실제 실력을 알려 주는 힘은 줄었고, 감독 없이 치르는 시험에서는 점수가 부풀었습니다. 두 경우 모두 검증되지 않는 말이 싸졌기 때문입니다. 잘 쓴 자기소개서와 잘 푼 답안지가 누구나 몇 초 만에 만들 수 있는 물건이 되면, 그것을 보고 사람을 고르던 관행이 흔들립니다.

캐글 메달은 그런 종류의 신호가 아닙니다. 참가자가 낸 예측은 공개되지 않은 정답과 대조돼 점수가 매겨지고, 순위는 같은 문제를 푼 다른 사람들과의 상대 비교로 결정됩니다. 문장을 다듬는 능력으로는 리더보드 상단에 갈 수 없습니다. 생성 AI가 그럴듯한 제출물을 싸게 만들어 준 것은 맞지만, 상위 순위를 싸게 만들어 주지는 않았습니다.

그래서 이 연구가 던지는 질문은 조금 다릅니다. 검증되는 신호는 AI 시대에도 무사한가. 저자의 답은 그렇다에 가깝지만, 그렇다고 안심할 만한 답은 아닙니다. 검증이 막아 주지 못하는 것이 따로 있었습니다.

결정적인 조건은 캐글이 두 가지 채점 방식을 오랫동안 나란히 돌렸다는 사실입니다. 업로드형 대회에서는 참가자가 예측값만 제출합니다. 그 예측을 어떤 과정으로 만들었는지는 아무도 확인하지 않습니다. 코드형 대회에서는 참가자가 코드를 제출하고, 플랫폼이 그 코드를 숨겨 둔 데이터 위에서 직접 실행해 점수를 매깁니다. 결과물만 보는 채점과 과정까지 실행해 보는 채점이 같은 사람들, 같은 리더보드 위에서 공존한 셈입니다.

비교에 쓸 기록도 두껍게 쌓여 있습니다. 캐글은 2010년 이후 1,867만 건의 대회 제출을 기록했고, 메달과 함께 생애 등급(Expert, Master, Grandmaster)을 부여합니다. 많은 데이터 사이언티스트가 이 등급을 이력서와 프로필에 적습니다. 저자가 분석에 쓴 패널은 2018년부터 2025년 사이에 마감된 214개 메달 대회, 참가자 197,561명, 참가 기록 444,698건입니다. 챗GPT가 공개된 분기인 2022년 4분기는 경계로 두고 양쪽 어디에도 넣지 않았고, 2010년부터 2017년까지의 기록은 성적이 아니라 각 참가자가 그 시점까지 쌓아 둔 메달 이력으로만 들어갔습니다.

성적은 최종 리더보드 백분위로 잡았고, 예측 변수는 참가자가 그 대회에 들어가기 전까지 쌓아 둔 메달 수입니다. 메달은 딴 지 얼마나 됐는지와 어느 형식에서 땄는지에 따라 밴드로 나뉩니다. 각 밴드의 기울기가 곧 그 메달이 성적에 대해 갖는 정보량입니다.

패널을 만들면서 걸러 낸 것도 있습니다. 마감이 지난 뒤에 만들어지는 데이터로 순위가 갈리는 세 형식은 분석에서 뺐습니다. 참가자들의 프로그램끼리 겨루는 시뮬레이션 대회, 최종 테스트 데이터가 마감 후에 도착하는 2단계 대회, 아직 오지 않은 사건을 맞히는 예측 대회입니다. 참가의 73%는 혼자 나온 경우였고 팀 성적은 팀원 전원에게 똑같이 귀속했는데, 솔로 참가만 남기거나 실제로 제출한 사람에게만 성적을 몰아 줘도 결론은 바뀌지 않았습니다.

딴 지 1년이 안 된 메달의 기울기는 로그 메달당 0.15에서 0.18 사이였습니다. 메달 하나를 가진 참가자와 하나도 없는 참가자의 성적이 리더보드 백분위로 10점에서 12점 벌어진다는 뜻입니다. 1년을 넘긴 메달의 기울기는 0.01에서 0.03으로 떨어집니다. 사실상 없는 것과 구분되지 않는 수준입니다.

정보량 쪽에서 보면 쏠림이 더 뚜렷합니다. 모든 나이대와 두 형식의 메달을 전부 넣어 성적을 예측할 때, 1년 미만 밴드 둘만으로 전체가 설명하는 몫의 99%가 확보됩니다. AI 시대 성적으로 다시 계산해도 95%입니다. 나머지 밴드를 전부 더해도 남는 몫은 얼마 되지 않습니다.

이 감쇠는 두 형식 모두에서 같은 모양으로 나타났고, 참가자가 가진 다른 메달과 참가 이력을 함께 넣어 계산해도 그대로였습니다. 고용주가 옆에서 지켜보며 실력을 알아 가기 때문에 학력의 값이 떨어진다는 노동경제학의 설명과는 결이 다릅니다. 여기에는 지켜보는 고용주도 없고, 값이 떨어지는 데 1년이면 충분했습니다.

AI 시대에 두 형식의 메달은 정반대로 움직였습니다. 챗GPT 이전 성적에서는 업로드형 메달과 코드형 메달의 기울기가 0.067과 0.065로 사실상 같았습니다. 2023년 이후 마감된 대회 성적에서 업로드형은 0.012로 내려앉았고, 코드형은 0.087로 올라갔습니다. 업로드형 기준으로 82% 손실입니다.

여기까지만 보면 확인 안 되는 예측값은 AI 때문에 못 믿게 됐다는 이야기로 읽힙니다. 저자가 반대 방향의 증거를 먼저 꺼냅니다. AI가 분야 전체를 흔들었다면 모든 신호의 기울기가 같은 방향으로 움직여야 하는데, 같은 대회 안에서 두 재고가 반대로 갔습니다. 메달을 주지 않는 커뮤니티 대회 344,181건에서도 같은 하락과 상승이 재현됐습니다. 업로드형 기울기는 0.046 내려갔고(P값 0.001), 코드형은 0.074 올라갔습니다. 메달이라는 표시 자체가 만든 효과도 아니라는 뜻입니다.

결정적인 사실은 대회 구성에 있습니다. 2016년에 캐글의 메달 대회는 연간 업로드형 26개에 코드형 0개였는데, 2024년에는 업로드형 3개에 코드형 24개로 뒤집혔습니다. 검증되지 않은 제출과 리더보드 조작 문제 때문에 플랫폼이 실행 기반 채점으로 옮겨 간 결과이고, 이 이동은 생성 AI가 등장하기 몇 해 전부터 진행됐습니다. 업로드형 메달은 새로 발급되지 않는 재고가 됐고, 그 재고는 3절에서 본 감가 곡선을 따라 그냥 늙었습니다.

분해 결과는 이렇습니다. 하락분 가운데 재고가 늙어서 생긴 몫은 귀속 기준을 노화에 가장 불리하게 잡아도 43~62%, 가장 유리하게 잡으면 64~87%였습니다. 부트스트랩을 어떻게 돌려도 이 성분이 가장 컸습니다. AI가 예측값의 값어치를 다시 매겼다는 설명은 남는 부분을 채울 뿐입니다. 저자는 이 상태를 좌초 자산에 빗댑니다. 발전소가 나빠져서 멈춘 게 아니라 전력망이 바뀌어서 멈추듯이, 메달 소지자의 실력이 아니라 그 메달을 발급하던 제도가 퇴장했습니다.

그렇다고 AI 효과가 없었다는 말은 아닙니다. 업로드형 재고가 잃은 0.055를 성분별로 뜯어보면 재고의 나이 구성이 늙은 쪽으로 밀려서 생긴 몫이 0.028로 가장 크고, 밴드 자체의 기울기가 내려앉은 몫은 0.015로 전체의 4분의 1입니다. 발급이 계속되던 시절에 딴 신선한 업로드형 메달만 따로 봐도 AI 시대에 기울기의 4분의 1가량이 실제로 깎였습니다. 0.122에서 0.033만큼 줄었고 P값은 0.002입니다. 같은 조건에서 신선한 코드형 메달은 줄지 않았습니다. 검증이 AI의 영향을 완전히 막아 주지는 못한 셈이고, 다만 그 크기가 82%라는 숫자가 주는 인상보다 훨씬 작았습니다.

참가자 쪽에서 변화를 찾으려는 시도도 있었습니다. 저자는 연구를 시작할 때 두 가지를 미리 예측해 두었습니다. AI를 쓰는 사람 특유의 작업 방식이 코드형과 업로드형에서 다른 성적을 낼 것이라는 예측, 그리고 최근에 들어온 참가자일수록 실행 실패가 늘 것이라는 예측입니다. 둘 다 빗나갔습니다. 작업 방식 지수의 효과는 0.006에 P값 0.28이었고, 두 형식을 모두 경험한 2,431명 안에서 비교해도 마찬가지였습니다. 실행 실패는 원자료에서는 늘어난 것처럼 보였지만 대회를 고정해 놓고 비교하자 사라졌습니다. 실패가 늘어난 것은 참가자가 달라져서가 아니라 대회가 어려워져서였습니다.

오래된 업로드형 메달이 AI 시대에 더 귀해 보이는 현상도 있는데, 이건 읽는 방식의 문제였습니다. 메달 개수만 세어 보면 값이 오른 것처럼 나오지만, 그 사람이 가진 다른 메달과 참가 이력을 함께 넣으면 효과가 사라집니다. 오래된 메달은 경력이 길다는 다른 신호를 대신 나타냈을 뿐입니다. 살아남은 사람만 남아서 생긴 착시일 가능성도 검토됐습니다. AI 이전 참가자 중 무메달 참가자는 7.8%만 AI 시대까지 남았고 메달 여섯 개 이상인 참가자는 56.5%가 남았을 만큼 격차가 컸지만, 두 시대에 모두 참가한 사람들만 놓고 봐도 결과는 그대로였습니다.

캐글의 공식 등급은 생애 누적 메달 수의 결정론적 함수입니다. Expert는 메달 두 개, Master는 금메달 하나에 은메달 이상 둘, Grandmaster는 솔로 금메달 하나를 포함한 금메달 다섯 개를 요구합니다. 메달을 언제 땄는지, 어느 형식에서 땄는지는 계산에 들어가지 않고, 누적 합계가 네 개 계급으로 접힙니다. 저자는 이 규칙을 복원해 실제 등급과 97.7% 일치시킨 다음, 같은 메달 이력으로 최근 메달에 더 큰 가중치를 주는 인덱스를 만들어 나란히 비교했습니다. 3절의 감가 패턴이 사실이라면 나이를 보지 않는 합계는 정보를 버릴 수밖에 없기 때문입니다.

인덱스는 등급보다 성적을 15%(AI 이전)와 19%(AI 시대) 더 잘 맞혔습니다. 뒤집어 말하면 공식 등급이 손에 든 정보의 13%와 16%를 쓰지 않고 버린다는 뜻입니다. 인덱스가 등급보다 가중치를 많이 쓰니 유리했던 것 아니냐는 반론이 있을 수 있는데, 저자는 두 가지로 답합니다. 둘을 같은 회귀에 함께 넣으면 인덱스가 등급 위에 더하는 설명력이 그 반대 방향보다 서너 배 컸고, 메달 날짜가 완전히 남아 있어 등급 복원이 정확한 사용자만 놓고 봐도 차이는 그대로였습니다.

더 눈에 띄는 대목은 그다음입니다. AI 이전 데이터로만 가중치를 학습해 그대로 얼려 둔 인덱스가, AI 시대 성적을 예측할 때도 공식 등급을 앞섰습니다. 설명력은 0.053 대 0.047이고, 대회 단위로 다시 뽑은 부트스트랩 95% 구간은 0.004에서 0.009였습니다. 플랫폼이 표시 방식을 개선하는 데 AI 시대 이후에 얻은 새 정보는 필요하지 않았다는 이야기입니다.

저자가 논문을 닫으며 정리한 자격의 성질은 네 가지입니다. 자격은 정보를 담고 있고, 상하고, 발급하는 제도에 매여 있고, 다른 신호와 얽혀 있습니다. 첫 번째는 이 논문이 통념에 내놓은 답이고, 설계 교훈은 나머지 셋에서 나옵니다.

• • 자격은 상한다. 예측력이 첫 해에 몰려 있으므로, 생애 총량을 그대로 보여 주는 표시는 오래된 신호를 구조적으로 과대평가합니다. 캐글 등급만의 문제가 아니라 전문가 프로필의 배지도 같습니다.
• • 자격 제도는 발급이 멈추면서 죽는다. 채점 형식이 퇴장하면 재고는 소지자의 실력이 바뀌지 않아도 원래 속도대로 늙습니다. 그래서 핵심 질문은 어떤 형식을 계속 운영할 수 있느냐가 됩니다.
• • 신호는 포트폴리오 안에서 산다. 하나의 발급이 멈추면 통계적 가중치가 옆의 신호로 옮겨 갑니다. 신호를 하나씩 따로 뜯어보는 감사는 이 이동을 그 신호 자체의 변화로 잘못 읽습니다.

저자도 선을 그어 둡니다. 여기서 잰 값은 전부 하나의 측정 체계 안에서 관찰된 연관성이고, AI 시대 추정치는 계속 대회에 나온 소수 위에서 계산됐습니다. 캐글에서 확인된 감가 속도를 다른 자격 제도에 그대로 옮겨 적을 수는 없습니다. 옮길 수 있는 것은 속도가 아니라 질문입니다.

원 논문은 arXiv:2608.17111에서 볼 수 있습니다.