Executive Summary

주요 수치

네 칸 모두 과제 36개를 대상으로 한 본 실험에서 나온 값이다. 앞의 둘은 자동 기준선이 얼마나 강했는지를, 뒤의 둘은 그 기준선이 어떤 조건에서 만들어졌고 어디서 약했는지를 보여 준다.

출처: Ellington 외, Automatic Construction of Strong Simple Baselines (arXiv:2610.40700, 2026-10-28)

"따라잡았다"는 말은 눈금이 있어야 뜻이 선다. 연구진은 과제마다 점수 세 개를 놓았다. 아무것도 학습하지 않은 예측기의 점수, 원 논문이 보고한 딥러닝 모델의 점수, 그리고 자동으로 지은 기준선의 점수다. 아무것도 학습하지 않은 예측기란 분류 문제에서는 학습 데이터에 가장 많이 나온 범주를 언제나 답으로 내놓는 쪽, 회귀 문제에서는 학습 데이터 목푯값의 평균을 언제나 답으로 내놓는 쪽을 말한다.

이 셋으로 기준선 강도(simple baseline strength, SBS)를 정의한다. 아무것도 학습하지 않은 예측기를 0, 딥러닝 모델을 1로 놓고 자동 기준선이 그 사이 어디에 서는지를 재는 값이다. 0이면 간단한 방법이 아무 보탬도 되지 않았다는 뜻이고, 1이면 딥러닝과 같은 자리에 섰다는 뜻이다. 1을 넘으면 간단한 방법이 더 잘한 것이다.

과제 36개에서 이 값의 중앙값이 0.955였다. 평균은 0.857로 조금 낮은데, 몇몇 과제가 유난히 낮은 쪽으로 평균을 끌어내렸기 때문이다. 채점되지 않은 시도를 0점으로 쳐서 다시 세면 평균은 0.796까지 내려가지만 중앙값은 0.955 그대로다. 그리고 과제 열두 개에서 기준선 강도가 1 이상이었다. 논문은 이 대목을 "12 studies"라고 적었지만, 묶음을 이루는 단위는 거기서 뽑아낸 과제 36개다.

기준선이 유난히 약했던 쪽도 분명하다. 기준선 강도 중앙값이 0.5에 못 미친 과제가 여섯 개 있었는데, 여섯 다 입력이 표 형태가 아니었다. 원서열이나 구조처럼 그대로는 표에 담기지 않는 데이터를 다루는 과제들이다.

다만 저자들은 입력 형태만으로 이 여섯의 낮은 점수를 설명할 수는 없다고 못 박았다. 같은 종류의 입력, 그러니까 원서열이나 구조나 원자 좌표를 받고도 기준선 강도가 1에 가까이 간 과제가 여럿 있기 때문이다. 게다가 여섯 과제는 모두 채점되지 않은 시도를 하나 이상 냈고, 그중 둘은 채점된 반복이 두 번뿐이었다. 딥러닝이 제 몫을 하는 자리를 이 여섯으로 가르기에는 근거가 얇다.

이 논문이 기계에게 맡긴 일은 더 정직한 비교를 세우는 쪽이다. 더 좋은 모델을 찾는 일과는 겨냥이 다르다. 기준선을 짠 것은 클로드 오푸스 5 한 종이고, 과제마다 중간 수준의 추론 노력으로 서로 독립적인 시도를 다섯 번 돌렸다. 시도 180번 가운데 점수가 매겨진 것은 157번이다. 나머지는 돌아가지 않았거나 채점할 예측을 내놓지 못했다.

제약이 촘촘하다. 사전학습 가중치는 쓸 수 없고, GPU 없이 CPU만 쓰며, 스크립트 한 개를 써서 30분 안에 실행을 끝내야 한다. 사전학습 가중치를 막은 것은 시험 데이터가 모델 안으로 새어 들어오는 길을 끊기 위해서다.

한 가지 짚어 둘 것이 있다. 에이전트에게 준 지시는 "단순한" 모델을 만들라는 것이 아니었다. 합리적인 기준선 모델을 만들라고 했을 뿐이고, 신경망을 학습시키는 것도 허용했다. 단순함을 만든 쪽은 지시가 아니라 환경이다. 그렇게 나온 157개 스크립트 가운데 47개가 파이토치를, 85개가 그래디언트 부스팅 트리를 썼다. 신경망을 써도 되는 조건에서 절반 이상이 딥러닝 이전부터 표 데이터에 잘 통하던 방법으로 돌아갔다.

그렇다면 모델이 원 논문에서 본 답을 옮겨 적은 것은 아닐까. 연구진은 모델에게 주는 정보를 단계별로 덜어 내며 이 물음을 건드렸다. 논문 전문과 학습 데이터를 다 준 조건에서 시작해, 초록만 남기고, 학습 데이터를 줄이고, 끝내 데이터를 빼는 순서다. 다만 이 실험의 무대는 따로 있다. 앞 절의 36개 대신 보조로 추린 과제 아홉 개에서 돌렸다. 아래 표를 읽기 전에 그것부터 알아 두는 편이 낫다.

과제 아홉 개 묶음에서 잰 값을 논문이 보고한 대로 옮겼다. 통계적으로 L1과 뚜렷이 갈린 것은 마지막 세 조건뿐이다.

학습 데이터를 빼는 순간 기준선이 무너진다. 논문 전문을 줬을 때와 초록만 줬을 때의 차이는 0.88과 0.83으로 크지 않은데, 학습 데이터를 거둬들이면 0.17로 떨어지고 시험 입력까지 빼면 0이 된다. 모델이 논문을 읽어서 점수를 재현한 것이 아니라 데이터를 받아서 모델을 돌렸다는 쪽을 가리키는 결과다.

시간을 더 주면 나아지는지도 같은 아홉 개에서 확인했다. 30분 한 번이 평균 0.88, 150분으로 늘려도 0.88이었다. 채점된 다섯 시도 가운데 검증 점수로 하나를 고르면 0.90, 열 번에 걸쳐 되돌려 다듬으면 0.92, 다섯 시간을 통째로 주면 0.96이었다. 다만 저자들은 이 차이가 통계적으로 유의하지 않다고 적었다. 조정한 p값 가운데 가장 작은 것이 0.16이다.

조건마다 에이전트가 읽을 수 있던 문서가 달랐다는 점도 저자들이 함께 밝혔다. 30분 한 번과 다섯 중 고르기는 과제 설명 문서를 가린 환경에서 돌았고, 나머지 조건은 원 논문이 보고한 점수가 적힌 문서를 볼 수 있었다. 다섯 시간짜리 시도 두 번에서는 에이전트가 실제로 그 점수를 보고 제 성적을 가늠했다. 시간을 늘린 효과만 따로 떼어 낸 비교는 아니라는 뜻이다. 그럼에도 한 번 30분짜리 단순한 구성이 관찰된 성능의 대부분을 이미 담아냈다는 것이 이들의 정리다.

허술한 비교가 최고 수준 학술지의 심사를 통과한다는 것이 이상하게 들린다. 저자들은 심사자 개인의 성실함보다 심사가 처리해야 하는 양에서 원인을 찾는다. 강한 기준선을 하나 세우려면 과제마다 데이터를 들여다보고 방법을 고르고 돌려 보는 시간이 든다. 심사자에게 그만한 여력이 주어지는 경우는 드물다.

간단한 기준선이 딥러닝과 대등하게 나온 일도 이번이 처음은 아니다. 논문 서론이 분야별 사례를 모아 두었다. 단일세포 섭동 예측에서는 기반 모델 다섯과 딥러닝 모델 둘을 간단한 기준선과 나란히 놓았더니 어느 쪽도 기준선을 넘지 못했다. 장기 시계열 예측에서는 한 층짜리 선형 모델이 데이터셋 아홉 개 전부에서 비교 대상 트랜스포머를 앞섰고, 표 데이터 45종을 모은 평가에서는 하이퍼파라미터를 넓게 뒤진 뒤에도 중간 규모 데이터에서 트리 기반 방법이 신경망 방법보다 강했다. 추천 시스템에서는 재현 가능한 신경망 방법 일곱 가운데 여섯이 더 간단한 어림 규칙에 밀리는 경우가 잦았다.

심사가 감당해야 하는 양을 보여 주는 숫자도 논문이 함께 들었다. 슈프링거 네이처는 2025년 투고 310만 건을 보고했고, 이는 전년보다 30% 넘게 늘어난 수치다. 기계학습 분야 학회도 같은 방향이다. ICLR 투고는 2025년 11,603건에서 2026년 19,525건으로 늘었고, NeurIPS 투고는 2020년 9,467건에서 2025년 21,575건이 됐다.

이 수치들이 논문의 제안을 떠받친다. 기준선을 세우는 일이 사람의 시간을 많이 먹는 작업이고 그 시간이 부족한 것이 문제라면, 그 작업을 기계에게 넘겨 심사 과정에 실용적이고 확장 가능한 점검 장치를 붙일 수 있다는 것이다.

이 결과를 "딥러닝은 거품이었다"로 옮기면 논문이 하지 않은 말이 된다. 저자들이 한계 절에 적은 문장이 그 경계를 먼저 긋는다. 범위는 평가하기 쉽고 연산이 비교적 가벼운 지도 예측 과제로 한정했고, 표현 학습이나 생성 모델링처럼 더 복잡한 과제는 다루지 않았다. 과제는 공개 접근 논문에서 뽑은 36개뿐이고 학술지의 폭도 좁으며, 모델도 클로드 오푸스 5 하나뿐이다.

비교의 방식에도 금이 그어져 있다. 기준선 강도는 딥러닝 방법을 다시 돌려 얻은 점수가 아니라 원 논문이 보고한 점수와 견준 값이다. 보고된 점수가 어떤 조건에서 나왔는지까지 똑같이 맞추지는 않았다. 자동 기준선은 과제마다 분할 하나로만 평가했는데, 원 논문이 여러 분할로 평가한 13개 과제에서도 상대로 삼은 것은 단일 값으로 보고된 점수다. 그리고 기준선 강도는 아무것도 학습하지 않은 예측기를 무엇으로 잡느냐에 따라 값이 달라지므로 신중히 읽어야 한다고 저자들은 덧붙였다.

가장 솔직한 대목은 오염 가능성이다. 모델이 사전학습 과정에서 원본 데이터셋이나 논문을 이미 보았을 수 있고, 에이전트에게 주어진 과제 설명 문서에 원 논문이 보고한 점수가 그대로 적혀 있는 경우도 흔했다. 2절의 정보 제거 실험이 이 걱정을 얼마간 덜어 주지만, 그 실험 역시 과제 아홉 개짜리 별도 묶음에서 돌아갔다.

분야나 학술지에 따라 결과가 갈리는지는 아직 답이 나와 있지 않다. 학술지마다 과제가 3개에서 18개, 분야마다 3개에서 6개라 집단 사이의 차이는 검정하지 않았다고 논문은 밝혔다. 어느 분야가 더 허술하다는 식의 문장은 이 논문에서 나올 수 없다.

사내에서 모델 성능을 보고할 때 검토가 몰리는 곳은 대개 모델 쪽이다. 어떤 구조를 썼는지, 하이퍼파라미터를 어떻게 잡았는지, 검증을 몇 겹으로 했는지를 묻는다. 비교 대상은 그에 비해 조용히 지나간다. 기존 방식 대비 몇 퍼센트 올랐다는 문장에서 "기존 방식"이 무엇이었는지를 되묻는 자리는 흔치 않다.

그런데 이 논문이 보여 준 대로, 개선분의 크기는 모델만큼이나 비교 대상이 결정한다. 같은 모델이라도 상대가 약하면 성과가 커 보이고 상대가 강하면 작아 보인다. 비교 대상을 고르는 일은 그 자체로 측정의 한 부분이다.

논문이 기준선 에이전트에게 건 제약이 그대로 점검 항목이 된다. 사내 프로젝트에서 다음 세 가지를 확인해 볼 만하다.

• 우리가 이긴 상대는 누구였는가. 아무것도 학습하지 않은 예측기와 지금 쓰는 모델 사이에서, 제안한 방법이 어느 지점에 서 있는지를 하나의 수로 적어 둔다
• 그 상대를 만드는 데 얼마나 들였는가. 모델에는 몇 주를 쓰고 기준선에는 반나절을 썼다면, 둘의 점수 차이에는 공들인 시간의 차이가 섞여 있다
• 표로 정리되는 데이터인가. 기준선이 약했던 여섯 과제는 모두 표가 아닌 입력을 다뤘다. 다만 같은 입력에서 기준선이 딥러닝에 닿은 과제도 있으니 입력 형태를 면죄부로 삼을 일은 아니고, 표에 담기는 문제라면 오래된 방법부터 한 번 돌려 보는 편이 빠르다

이 논문이 자동화한 것을 한 번 더 짚으면, 모델이 아니라 비교 대상이다. 어떤 방법이 좋아 보이는 이유가 그 방법이 뛰어나서인지 견준 상대가 허술해서인지를 기계가 대신 가려 주었고, 36개 중 12개에서 답은 뒤쪽이었다. 데이터로 무언가를 증명했다고 말할 때 우리가 무엇과 견주었는지는 그 문장에 거의 적히지 않는다. 적어 두는 쪽이 낫다.

여기까지 읽어 주셔서 감사하다. 논문의 제목·저자·제출일, 과제 36개와 기준선 강도 중앙값 95.5%·평균 85.7%·12개 과제, 채점되지 않은 시도를 0으로 셌을 때의 평균 79.6%, 기준선 강도의 정의와 아무것도 학습하지 않은 예측기의 정의, 클로드 오푸스 5와 다섯 번 반복·시도 180번 중 157번 채점·파이토치 47개와 그래디언트 부스팅 트리 85개, 30분과 CPU 전용과 사전학습 가중치 금지, 지시가 "단순한"이 아니라 "합리적인" 기준선을 요구했고 신경망 학습을 허용했다는 점, 중앙값 0.5 미만 과제 여섯 개가 모두 비표 형태 입력이지만 입력 형태만으로는 그 점수를 설명할 수 없다는 저자들의 문장과 여섯 과제의 미채점 시도·두 반복, 서론이 모은 분야별 재평가 사례(단일세포 섭동 예측, 장기 시계열 예측의 데이터셋 아홉 개, 표 데이터 45종, 추천 시스템 일곱 중 여섯), L1부터 L8까지의 값과 아홉 개 과제 묶음의 구성, 시간을 늘린 실험의 0.88·0.88·0.90·0.92·0.96과 최소 조정 p값 0.16 및 조건별 문서 가림, 슈프링거 네이처 310만 건과 ICLR·NeurIPS 투고 수, 한계 절의 문장들과 분할 하나로 평가한 13개 과제·학술지별 3~18개·분야별 3~6개라는 분포는 arXiv:2610.40700 원문에서 확인했다. 비교 대상을 세우는 일을 사내 측정 절차의 한 단계로 옮겨 적은 5절과 세 가지 점검 항목은 이 글의 해석이다. 사내에서 기준선을 어떻게 세우고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 11월 3일

원 논문과 코드

• 1.Ellington, C. N., Wang, J., Addagudi, S., & Cole, E. (2026). "Automatic Construction of Strong Simple Baselines." arXiv:2610.40700 [cs.LG], 2026-10-28.
• 2.Ellington, C. N. "cnellington/automatic-baselines." GitHub. (논문이 공개한 코드 저장소)

같은 계보의 연구

• 3."Simple Baselines are Competitive with Code Evolution." arXiv:2602.16805, 2026-02. (수학적 경계 탐색·에이전트 스캐폴드·기계학습 경진대회에서 단순한 기준선이 정교한 자동 진화 방법과 겨룬 사례)