Executive Summary

주요 수치

앞의 두 수치는 가장 잘 맞힌 모델이 어디까지 갔는지를 보여 준다. 뒤의 둘은 그 성적이 과제와 모델에 따라 얼마나 흔들리는지, 그리고 이 판정이 무엇에 근거하는지를 말한다.

출처: arXiv:2610.22599 · autolab-ai/EV-estimation (2026년 10월 15일)

AI가 연구를 거드는 이야기는 대개 "얼마나 잘 푸는가"로 간다. MLE-bench도 그런 잣대다. 캐글 경진대회 과제를 모아 두고 에이전트가 거기서 얼마나 높은 점수를 내는지 본다. 이 논문의 저자들이 비어 있다고 본 자리는 그 앞이다. 무엇을 돌릴지 고르는 일은 점수가 나오기 전에 끝나는데, 그 선택이 맞았는지를 재는 잣대는 없었다.

비어 있는 이유는 학습이 느리기 때문이다. 설계 선택지는 끝없이 많고 한 번 돌리는 데는 시간과 비용이 든다. 그래서 사람이든 AI든 전부 돌려 보고 고르지 못한다. 어느 쪽이 통할지에 대한 감으로 후보를 줄인 다음 남은 것만 돌린다. 그 감이 얼마나 맞는지를 아무도 숫자로 적어 두지 않았다는 것이 저자들의 지적이다.

재는 방법으로 흔히 쓰이는 것은 두 아이디어를 나란히 놓고 어느 쪽이 나은지 묻는 방식이다. 저자들은 이 방식을 택하지 않았다. 선호만 묻는 질문은 어느 쪽이 위인지 알려 줄 뿐 그 차이가 얼마나 큰지는 알려 주지 않기 때문이다. 대신 모델에게 점수가 얼마나 바뀔지를 숫자로 적어 내게 했다.

절차는 이렇다. MLE-bench 과제 8개에서 AI가 스스로 제안한 개선 아이디어 288건을 모았다. 아이디어를 낸 쪽도 사람이 아니라 모델이라, 나중에 자기가 낸 아이디어와 남이 낸 아이디어를 갈라서 견주는 일도 가능했다. 과제 여덟은 글을 다루는 둘(스푸키 작가 식별, 유해 댓글 분류), 표로 된 넷(피자 요청 수락 예측, 2022년 5월 표 데이터 연습 과제, 잎사귀 분류, 뉴욕 택시 요금 예측), 이미지가 섞인 둘(견종 식별, 문서 잡티 제거)로 나뉜다. 그다음 아이디어마다 코드를 고쳐 실제로 학습시키고, 손대지 않은 기준 모델과 점수를 견줘 변화를 기록했다. 모델 다섯(GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1, Kimi K3, GLM-5.3)은 그 결과를 보기 전에 자기 예측값을 적었다. 아이디어 설명과 코드 수정 내용은 받았지만 학습 결과는 받지 않았다. 원본 데이터와 예측값은 저장소에 그대로 공개돼 있다.

점수를 재는 잣대가 과제마다 다르다는 점은 짚어 둘 만하다. 로그 손실로 재는 과제가 있고 ROC AUC나 평균제곱근오차로 재는 과제가 있다. 낮을수록 좋은 지표와 높을수록 좋은 지표가 섞여 있고 눈금 간격도 제각각이라, 여덟 과제를 한 줄에 놓고 더하거나 평균 내려면 잣대를 먼저 통일해야 한다. 그래서 이 논문은 변화의 크기를 과제의 원래 점수가 아니라 표준편차 단위로 적는다. 뒤에 나오는 "표준편차의 두 배"는 그 과제에서 아이디어들이 만들어 낸 변화의 폭을 기준으로 두 배만큼 움직였다는 뜻이다.

성적은 결정계수(R²)로 나왔다. 아이디어마다 실제 결과가 제각각 갈리는데, 모델의 예측이 그 갈림을 몇 할이나 따라갔는지를 나타내는 값이다. 1이면 완벽하게 따라간 것이고, 0이면 매번 평균만 말한 것과 다를 바 없다는 뜻이다. 아래가 모델별 성적이다. 기울기는 바로 다음 절에서 다룬다.

0.49는 애매한 자리에 있다. 아무 감도 없이 찍는 것보다는 분명히 낫다. 그러면 이 예측만 보고 무엇을 돌릴지 정해도 될까? 저자들의 답은 아직 아니다. 지금의 예측은 어떤 아이디어를 먼저 돌릴지 순서를 매기는 데는 이미 도움이 되지만, 실험을 돌리는 일 자체를 대신하지는 못한다.

평균 하나로 보면 놓치는 것이 있다. 과제를 나눠서 보면 한 모델의 성적이 과제마다 통째로 달라진다. Claude Opus 5.5는 유해 댓글 분류에서 0.94, 표 데이터 과제에서 0.81까지 올라가지만 이미지가 섞인 견종 식별과 문서 잡티 제거에서는 0.39에서 0.43 사이에 머물렀다. 한 모델 안에서만 봐도 위아래가 이만큼 벌어진다. 모델까지 바꿔 보면 바닥은 더 내려간다. GPT-6 Astra는 잎사귀 분류에서 0.02에 그쳤다. 한 영역에서 잘 맞혔다고 다른 영역에서도 잘 맞히는 것은 아니다.

생각할 시간을 더 주면 달라지는지도 시험했다. 추론 강도를 올리자 상위 세 모델만 올랐다. Claude Opus 5.5는 0.35에서 0.49로, Claude Fable 5.1은 0.31에서 0.41로, GPT-6 Astra는 0.28에서 0.38로 움직였다. Kimi K3와 GLM-5.3은 거의 그대로였다. 맥락을 더 주는 경우도 비슷하게 갈렸다. 코드 수정 내용을 빼면 상위 세 모델의 성적이 떨어졌고, 데이터 설명과 표본 스무 줄을 더해 주자 Claude Opus 5.5만 나아졌다.

결정계수가 얼마나 맞혔는지를 말한다면, 회귀 기울기는 어느 쪽으로 틀렸는지를 말한다. 예측값과 실측값을 한 그래프에 찍고 직선을 그었을 때 그 직선이 얼마나 가파른지를 나타내는 값이다. 1.0이면 변화의 크기까지 제대로 맞힌 것이고, 1.0보다 작으면 실제보다 작게 본 것이다. 다섯 모델의 기울기는 0.61에서 0.21 사이에 있다. 한 모델의 버릇이 아니라 다섯 모두에게 같은 방향으로 나타난 쏠림이다.

앞 절 표의 두 열을 나란히 놓고 보면 순서가 똑같다. 결정계수가 낮은 모델일수록 기울기도 낮다. 덜 맞히는 쪽이 더 많이 깎아 본다는 말이고, 뒤집으면 감이 나아질 때 두 가지가 같이 나아진다는 뜻이기도 하다. 다만 가장 앞선 모델의 기울기도 아직 0.61이라 깎아 보는 버릇 자체는 남아 있다.

이 기울기를 실제 숫자로 풀면 폭이 드러난다. 실제로는 표준편차의 두 배만큼 점수를 끌어올린 아이디어를 두고, 가장 나은 모델이 적어 낸 예측은 표준편차의 1.2배 언저리였다. 가장 못한 모델은 0.5배 언저리에 그쳤다. 방향은 맞혔는데 크기를 절반 가까이 깎아 본 셈이다.

AI에게 아이디어를 내게 하고 그 아이디어를 다시 AI에게 평가시키면 자기가 낸 것에 후한 점수를 주지 않겠느냐는 걱정이 따라붙는다. 저자들은 이것을 따로 확인했다. 아이디어 자체의 질과 모델마다 다른 낙관 정도를 걷어 내고 보니, 자기 아이디어를 예측할 때의 오차가 남의 아이디어를 예측할 때보다 표준편차의 0.01배 높았다. 신뢰구간은 −0.06배에서 +0.08배 사이로, 사실상 차이가 없다는 쪽이다.

구현하는 쪽이 바뀌면 결과도 바뀌는지 살펴봤다. 같은 아이디어 66건을 Claude Fable 5.1과 Kimi K3가 서로 바꿔 구현해 보게 했더니 58건이 표준편차 0.25배 안에서 일치했고 그중 25건은 점수가 완전히 같았다. 다만 모두 그렇지는 않았다. 무엇을 하라는 것인지 느슨하게 적힌 아이디어 일부에서는 구현하는 쪽의 해석이 결과를 갈랐다. 아이디어가 모호할수록 재고 있는 것이 아이디어인지 구현 솜씨인지 흐려진다.

한계는 저자들이 먼저 적어 뒀다. 아이디어마다 학습을 한 번씩만 돌렸기 때문에 기록된 변화 중 일부는 학습 자체의 흔들림일 수 있다. 완벽한 예측기라도 넘지 못할 상한이 어디인지는 아직 모른다. 과제도 여덟 개뿐이고 전부 규모가 작은 문제다. 모델 하나를 새로 학습시키는 큰 실험은 여기 들어 있지 않다. 저자들은 여러 번 돌려 흔들림의 크기를 재고, 더 큰 과제와 아이디어 여러 개가 이어지는 경우로 넓히는 것을 다음 과제로 적었다.

이 한계가 왜 중요한지는 저자들이 무엇을 겨눴는지 보면 드러난다. 그들은 이 결과가 재귀적 자기개선, 그러니까 AI가 자기를 더 낫게 만드는 실험을 스스로 고르고 돌리는 상황에서 가장 크게 걸린다고 적었다. 그 상황에서는 실험 하나가 모델 하나를 새로 학습시키는 일이 되니, 잘못 고른 대가도 그만큼 커진다.

비싼 작업을 시작하기 전에 무엇부터 할지 고르는 일은 데이터 쪽에서도 매일 벌어진다. 어떤 구간을 더 모을지, 어떤 묶음에 라벨 비용을 쓸지, 어떤 데이터를 버릴지 고르는 판단이 그것이다. 수집과 라벨링도 학습만큼 비싸고, 전부 모아 두고 고르는 방식은 똑같이 불가능하다. 그래서 여기서도 결과를 보기 전에 가치를 어림하는 감이 먼저 움직인다.

이 논문이 한 일은 그 감을 숫자로 바꿔 둔 것이다. 미리 적어 낸 예측을 모아 두고 나중에 실측과 맞춰 봤기 때문에 적중률이 나왔다. 데이터 쪽에서 같은 숫자를 뽑으려면 같은 순서가 필요하다. 그런데 현장에서는 이 기록이 대개 남지 않는다. 어떤 데이터가 모델을 얼마나 바꿀 것이라 보고 그 작업을 승인했는지는 회의에서 말로 오가고, 작업이 끝난 뒤에는 결과만 남는다. 예측을 적어 두지 않으면 적중률은 계산할 수 없다.

AI에게 데이터 수집이나 보강의 우선순위를 맡기기 시작한 팀이라면 확인해 둘 것이 세 가지다.

• 그 판단이 예측값과 함께 기록되는가. 어떤 선택을 했는지만 남고 얼마나 좋아질 것이라 봤는지가 빠지면 나중에 맞춰 볼 대상이 없다
• 영역을 바꾸면 적중률을 다시 확인하는가. 이 논문에서는 가장 잘 맞힌 모델조차 과제가 바뀌자 0.94에서 0.4 언저리까지 내려앉았다. 한 종류의 데이터에서 잘 맞혔다는 기록이 다른 종류를 보증하지 않는다
• 크게 바뀔 후보를 작게 보고 있지는 않은가. 다섯 모델 모두 변화의 크기를 작게 봤다면, 판을 바꿀 만한 수집 계획이 조용히 뒤로 밀리고 있는지 사람이 따로 볼 자리가 필요하다

여기까지 읽어 주셔서 감사하다. 이 글의 수치는 arXiv 논문 2610.22599와 저자들이 공개한 저장소에서 직접 확인했다. 데이터 수집이나 보강의 우선순위를 정할 때 그 판단을 어떤 형태로 남기고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 22일