Executive Summary

주요 수치

출처: Qin 외, What Are LLM Agents Actually Learning on Low-Budget Molecular Optimization Benchmarks?, arXiv:2611.08522(2026-10-30)

아래 첫 칸의 두 숫자는 같은 에이전트가 같은 과제를 푼 성적이고, 둘을 가른 것은 프롬프트에 무엇이 적혀 있었는지뿐이다. 둘째 칸은 그 정보만 있으면 LLM이 없어도 된다는 것을 보여주고, 셋째 칸은 시험지에 힌트가 얼마나 적혀 있었는지를 말한다. 넷째 칸은 논문이 이 전부를 확인하는 데 쓴 돈이다.

PMO(Practical Molecular Optimization)는 신약 후보 분자를 찾는 알고리즘을 한자리에서 비교하려고 2022년에 만들어진 공통 시험대다. 23개 과제가 하나의 오라클 인터페이스로 묶여 있다. 오라클은 분자 하나를 받아 점수 하나를 돌려주는 채점기다. 과제에 따라 특정 약물과 얼마나 닮았는지, 특정 표적 단백질에 얼마나 잘 붙을 것 같은지가 그 점수에 담긴다. 응시자는 분자를 제출하고 점수를 받아 다음 분자를 고치는 일을 반복한다.

이 시험은 호출 횟수를 묶어 둔다. 실제 신약 개발에서는 분자 하나를 평가하는 일 자체가 비싸기 때문에, 몇 번 물어보고 좋은 답에 닿는지가 알고리즘의 가치를 가른다. 그래서 오라클을 50번만 부를 수 있게 하고, 그동안 최고 점수가 올라가는 곡선 아래 면적을 잰 다음 23개 과제의 값을 모두 더한다. 빨리 좋은 분자에 닿을수록 합이 커진다.

최근 이 시험에서 LLM 에이전트가 고전 알고리즘을 크게 앞섰다는 보고가 이어졌다. 이번 논문이 서두에 꼽은 것은 SEISMO다. 클로드 오푸스 4.5를 쓰는 워크플로이고, 2026년 8월 v3 기준으로 50회 호출에서 합산 AUC 18.12를 보고했다. 2017년에 나온 강화학습 기법 REINVENT가 같은 예산에서 받는 7.06의 두 배를 훌쩍 넘는 수치다. 1,000회 호출 설정에서 15.42를 보고한 연구도 함께 인용돼 있다.

그런데 이 시험지에는 응시자가 읽을 수 있는 글자가 적지 않다. 23개 과제 가운데 14개는 과제 식별자 안에 약 이름이나 표적 이름이 그대로 들어 있다. celecoxib_rediscovery처럼 찾아야 할 약 이름이 과제 이름에 박혀 있거나, drd2와 jnk3처럼 표적 단백질의 약칭이 그대로 과제 이름인 식이다. 사전학습 때 인터넷의 화학 문헌을 읽은 모델이라면 그 이름만으로 정답에 가까운 분자를 떠올릴 수 있다. 표준 프롬프트는 거기에 오라클 설명과 참조 화합물까지 함께 보여준다. 참조 화합물은 그 과제가 닮기를 바라는 본보기 분자이고, 유사도를 재는 과제에서는 사실상 정답 근처의 좌표다.

연구진은 자기 에이전트를 하나 세워 표준 조건을 그대로 재현했다. GPT-4o 미니를 쓰고, 과제 이름과 오라클 설명과 참조 화합물을 모두 프롬프트에 넣은 상태에서 합산 AUC 14.44가 나왔다. 앞 절의 18.12와는 모델도 구조도 다르다. 아래 네 숫자는 전부 이 에이전트 하나를 두고 조건만 바꿔 가며 잰 값이다. 바꾼 축은 둘이다. 과제 이름과 설명을 보여주느냐, 참조 화합물을 보여주느냐다.

두 축을 갈라 보면 비대칭이 분명하다. 과제 이름과 설명을 가짜 번호로 바꿔치기해도 점수는 14.44에서 13.98로 0.46밖에 내려가지 않고, 참조 화합물이 없는 상태에서 이름까지 지워도 1.22가 더 빠질 뿐이다. 반대로 참조 화합물을 치우면 8.37과 9.13이 한꺼번에 날아간다. 평균을 내면 참조 화합물이 8.75점을, 과제 이름이 0.84점을 가져간다. "이름을 가리자 성적이 무너졌다"는 한 줄 요약은 절반만 맞는다. 성적을 떠받친 쪽은 본보기 분자였다.

연구진은 그 사이에 한 조건을 더 끼워 넣었다. 참조 화합물 자체는 숨기고 "숨겨진 참조와의 ECFP4 타니모토 유사도를 최대화하라"처럼 오라클의 형태만 알려주는 조건이다. 무엇을 최적화하는 문제인지는 알지만 목표물이 무엇인지는 모르는 상태다. 점수는 5.39였고, 완전 익명 조건의 4.85보다 0.54 높다. 문제의 꼴을 아는 것만으로 벌 수 있는 점수가 그 정도라는 뜻이다.

한 번 재서 나온 수치가 아니다. 23개 과제 전체를 2×2로 돌린 데 더해, 대표 과제 8개를 시드 3개로 반복했다. 표준 조건이 완전 익명 조건을 앞선 과제는 8개 가운데 8개였고, 부호 검정 단측 p값은 0.0039였다. 평균 낙폭은 3.78점으로 68% 감소에 해당한다.

참조 화합물이 점수의 대부분을 설명한다면, 그 참조 화합물만 들고 LLM 없이 시험을 치면 몇 점이 나올까. 연구진의 검색 전용 베이스라인은 그 물음에 답하려고 만든 장치다. 동작은 세 단계로 끝난다. 먼저 프롬프트에 들어 있던 참조 화합물을 그대로 제출한다. 다음으로 미리 정해 둔 씨앗 분자를 다섯 개까지 제출한다. 그다음부터는 지금까지 가장 점수가 높았던 분자에 RDKit으로 원자 하나를 바꾼 변형을 만들어 정해진 순서대로 내보낸다. LLM 호출은 0회이고, 같은 입력에는 언제나 같은 제출 순서가 나온다.

이 절차가 받은 점수가 12.16이다. 표준 조건에서 50회를 다 쓴 에이전트의 14.44 가운데 84%에 해당한다. 모델도, 추론도, 계획도 없이 받은 정보를 되돌려 주는 것만으로 점수의 대부분을 채운 셈이다. 에이전트가 50번의 호출 동안 한 일 가운데 점수로 환산되는 몫은 나머지 16%에 가깝다.

이 절차가 에이전트 가까이 올라선 데는 까닭이 있다. 연구진이 세운 에이전트도 마지막 다듬기 단계에서 LLM 제안이 형식에 어긋나거나 앞서 낸 것과 겹치면, 남은 호출을 원자 하나를 더하는 결정론적 변형으로 메운다. 검색 전용 베이스라인이 하는 일이 에이전트 안에도 이미 한 조각 들어 있다. 게다가 23개 과제 가운데 일곱 개는 참조 화합물과 씨앗 분자를 제출한 시점에 AUC가 0.98 근처에 닿는다. 과제별 AUC는 50회 동안의 최고 점수 곡선을 사다리꼴로 적분해 50으로 나눈 값이라 천장이 49/50, 곧 0.98이다. 그 일곱 과제는 첫 몇 번의 제출로 이미 천장에 올라서 있어서 남은 호출로 더 올릴 자리가 없다.

논문은 양성 대조군을 하나 세워 균형을 잡는다. MolLEO-v4는 개체군 기반 유전 알고리즘에 LLM 변이 연산자와 구조화된 메모리, 적응적 계획을 붙인 에이전트인데, 참조 화합물을 끌어다 쓰지 않는다. 이 에이전트가 50회 호출에서 7.39를 받아 REINVENT의 7.06을 넘었고, 100회로 예산을 늘리면 10.24까지 올라간다. 정보 누출을 걷어내도 의미 있는 최적화는 가능하다는 뜻이다. 이 논문의 주장은 LLM이 쓸모없다는 쪽이 아니라, 지금의 시험이 실력과 정보 접근을 구분하지 못한다는 쪽이다.

4.1아무것도 배우지 않는 절차가 에이전트를 이긴다

두 번째 트랙은 PMO보다 어려워 보이는 설정이다. ProteinLeadOpt-50은 의학적으로 중요한 단백질 표적 10종에 시작 분자를 5개씩 붙여 50쌍을 만들고, 쌍마다 오라클 호출 30회를 준다. 채점은 AutoDock Vina 도킹 점수의 개선분에 약물다움 지표(QED)를 0.5 가중으로 더하고, 시작 분자에서 너무 멀어지면 감점하는 복합 점수다. 여기에 연구진은 학습이라 부를 것이 하나도 없는 베이스라인을 세웠다. 방향족 고리의 수소 자리 하나를 골라 F, Cl, Br, CF3, OMe, Me, OH, NH2 여덟 개 중 하나를 무작위로 붙이는 고정 규칙, 곧 무작위 걷기다.

아래 표는 그 무작위 걷기를 LLM 에이전트, 유전 알고리즘 GraphGA, GPT에 그냥 물어보는 방식과 같은 50쌍 위에서 맞대 본 결과다. 네 행 모두 시드를 하나로 맞춘 비교이고, 시드를 늘려 평균 낸 값은 표 아래 문단에 따로 적는다.

도킹 점수는 낮을수록 잘 붙는다는 뜻이라, 도킹 개선 열은 음수가 클수록 좋다. 아무 전략 없이 치환기를 붙이기만 한 절차가 수치 세 칸 모두에서 맨 위에 있다. 50쌍 가운데 33쌍에서 무작위 걷기가 LLM 에이전트를 이겼고, 시드를 세 개로 늘려 평균을 내면 도킹 개선은 -1.11±0.04, 복합 점수는 0.636±0.008로 오히려 올라간다.

이유는 채점기 쪽에 있다. 방향족 자리에 염소나 브롬, CF3 하나를 붙이면 Vina 점수가 보통 0.5에서 1.5 kcal/mol 내려간다. 골격은 그대로라 유사도 감점도 피해 간다. 30회라는 짧은 예산과 이 복합 점수의 조합이 국소적인 치환을 체계적으로 보상하도록 돼 있어서, 특별한 전략 없이도 상당한 점수가 쌓인다. PMO의 문제가 시험지에 적힌 힌트였다면 이쪽의 문제는 채점 방식 자체의 단순함이다. 같은 병이 다른 증상으로 나타난 자리에 가깝다. 논문은 이 결과가 AutoDock Vina와 복합 점수, 30회 예산이라는 조합에 한정된 이야기라고 못 박고, 더 가려내는 평가를 하려면 FEP나 Boltz-2 같은 더 강한 채점기와 표적 선택성 조건, 뼈대를 바꾸도록 요구하는 새로움 기준이 필요하다고 적는다.

논문이 내놓은 처방은 더 좋은 모델이 아니라 더 정직한 측정이다. 두 가지인데, 둘 다 추가 학습이나 특별한 장비 없이 기존 코드에 조건 몇 개를 얹으면 끝난다. 이 확인 전체에 든 API 비용이 0.63달러였다는 사실이 그 점을 뒷받침한다.

• 검색 안전 프로토콜: 결과를 낼 때 표준 프롬프트, 오라클 형태만 알려주는 조건, 완전 익명 조건 세 수치를 나란히 보고한다. 세 칸을 함께 두면 분자 정체성으로 번 점수와 문제의 꼴로 번 점수, 그리고 순수한 피드백 최적화로 번 점수가 저절로 갈린다. 참조 화합물을 그대로 보여주는 설정이라면 LLM 없이 받은 검색 전용 점수도 같은 자리에 적으라고 논문은 덧붙인다.
• 무작위 걷기 바닥선: 도킹 기반 과제에서는 같은 시작 분자와 같은 호출 예산으로 아무 전략 없는 변형을 돌려 그 점수를 함께 싣는다. 이 바닥선을 넘지 못하면 에이전트가 무언가를 배웠다는 주장 자체가 성립하지 않는다. 도킹 개선과 성공률, 복합 점수에 더해 QED와 유사도, 뼈대 보존율까지 나란히 싣고 어떤 치환기를 어느 자리에 붙일 수 있게 했는지도 밝혀 두면, 다른 연구가 같은 바닥선을 다시 세울 수 있다.

기업이 쓰는 평가 데이터도 사정이 다르지 않다. 모델을 고르거나 성능 개선을 보고할 때 근거가 되는 숫자는 평가셋이 만든 것인데, 그 평가셋에 어떤 정보가 함께 실려 있는지는 좀처럼 따로 기록되지 않는다. 항목 이름이 정답을 암시하거나, 프롬프트에 붙은 예시가 정답 근처에 있거나, 공개 데이터에서 가져온 문항이 모델의 사전학습에 이미 들어가 있는 경우가 모두 같은 자리에 해당한다. 이런 누수가 실제로 점수를 얼마나 끌어올리는지는 분석을 대신해 주는 AI는 데이터 누수가 있을수록 성적이 좋다에서도 다뤘고, 시험지 자체가 망가진 경우는 이상 징후 찾는 AI의 시험지, 같은 줄에 정답이 둘에서 짚었다.

이번 논문의 두 점검을 조직의 평가 데이터로 옮기면 질문 세 개가 된다.

• 평가 항목의 이름과 설명을 지워도 같은 점수가 나오는가. 이름만 가린 조건은 코드 한 줄이면 만들 수 있고, 점수가 그대로라면 적어도 이름은 힌트가 아니었다는 증거가 남는다.
• 프롬프트에 함께 넣는 예시가 정답에서 얼마나 떨어져 있는가. 본보기를 빼고 다시 재 본 수치가 없다면, 지금 보고 있는 성능에는 본보기가 기여한 몫이 섞여 있다.
• 아무것도 학습하지 않는 절차가 이 평가셋에서 몇 점을 받는가. 그 바닥선이 없으면 모델이 올린 점수가 어디서부터 올라간 것인지 말할 수 없다.

세 질문 모두 모델을 묻지 않고 평가셋을 묻는다. AI-Ready Data라는 말이 가리키는 자리도 여기다. 데이터 옆에 그 값이 어떤 조건에서 생겼는지가 나란히 적혀 있어야, 그 데이터로 잰 점수가 무엇을 증명하는지도 말할 수 있다.

여기까지 읽어 주셔서 감사하다. 논문 전문은 arXiv:2611.08522에서 볼 수 있다. 쓰고 있는 평가셋에서 이름이나 예시를 가려 본 적이 있다면, 그때 점수가 얼마나 움직였는지 들려주시면 좋겠다.

• 1.Qin, J., Luo, Z., Chen, C., & Xu, Z. (2026). “What Are LLM Agents Actually Learning on Low-Budget Molecular Optimization Benchmarks?” arXiv:2611.08522.
• 2.Krüger, F. P., Hunklinger, A., Wolny, A., Adler, T. J., Tetko, I., & Villalba, S. D. (2026). “SEISMO: Explanation-Aware, Trajectory-Conditioned LLM Agents for Sample-Efficient Molecular Optimisation”. arXiv:2602.00663.
• 3.Gao, W., Fu, T., Sun, J., & Coley, C. W. (2022). “Sample Efficiency Matters: A Benchmark for Practical Molecular Optimization”. NeurIPS 2022 Datasets and Benchmarks Track.