Executive Summary

단백질과 리간드(약물 후보 분자)가 결합하는지, 그리고 얼마나 세게 붙는지를 예측하는 일은 계산 기반 신약 개발의 핵심이다. 지금까지의 벤치마크는 이 두 가지를 재는 데 집중했다. 하나는 이진 결합 예측으로, 특정 단백질과 리간드가 결합하는지 여부를 맞히는 문제다. 다른 하나는 친화도 회귀로, 결합의 세기를 수치로 예측해 실제 실험값과 얼마나 상관되는지를 본다. 리더보드의 화려한 점수는 대부분 이 두 지표에서 나온다.

문제는 이 지표들이 "결합한다"는 사실만 확인할 뿐, 모델이 왜, 어디서 결합한다고 판단했는지는 묻지 않는다는 데 있다. 약물이 단백질의 특정 주머니(포켓)에 들어가 수소결합이나 소수성 접촉 같은 화학적 상호작용을 이룰 때 결합이 일어난다. 결합 여부를 맞히는 것과 이 상호작용의 위치·유형을 짚는 것은 전혀 다른 능력이다. 앞의 능력은 통계적 패턴만으로도 흉내 낼 수 있지만, 뒤의 능력은 분자 인식의 기전을 이해해야 가능하다.

2026년 NeurIPS 데이터셋·벤치마크 트랙에 제출된 InteractBind는 바로 이 공백을 정면으로 겨눈다. 제목부터 질문이다. "단백질-리간드 모델은 결합 부위를 학습하는가, 아니면 결합 확률만 학습하는가."

InteractBind는 단백질 데이터 뱅크(PDB)에서 추출한 99,391개의 단백질-리간드 쌍으로 구성된다. 고유 단백질 11,473개, 고유 리간드 9,017개가 담겼고, 각 결합에 대해 수소결합·염다리·반데르발스·소수성 접촉·π-π 스태킹·양이온-π의 여섯 가지 비공유 상호작용 유형이 표시돼 있다. 연구진은 서열 기반 모델 셋과 상호작용 인식형 모델 다섯을 포함한 여덟 개 모델을 같은 데이터로 재평가했다.

결과의 대비가 뚜렷하다. 최고 성능 모델인 FusionDTI는 이진 결합 예측에서 AUROC 98.3%를 기록했다. 결합하는지 여부만 놓고 보면 거의 완벽에 가깝다. 그런데 같은 모델이 결합 부위를 정확히 짚는 능력, 즉 상위 후보 하나가 실제 결합 잔기에 맞는 비율(BRHR@1)은 21.6%에 그쳤다. 후보를 다섯 개까지 넓혀도(BRHR@5) 35.6%로 절반을 넘지 못했다. 상위 세 모델을 나란히 두어도 FusionDTI 35.6%, DrugBAN 31.4%, GraphBAN 30.4%로 모두 절반 미만이다.

게다가 이 낮은 국소화 정확도는 결합의 종류에 따라 고르지 않았다. 논문은 수소결합·염다리·소수성 접촉 같은 여섯 가지 비공유 상호작용을 유형별로 나눠 평가했을 때 성능이 유형마다 뚜렷하게 갈렸다고 보고한다. 어떤 결합 방식은 그나마 짚어 내지만 다른 방식은 거의 놓친다는 뜻이다. 모델이 분자 인식의 일반 원리를 익혔다면 상호작용 유형에 관계없이 고르게 짚어야 하는데, 실제로는 데이터에서 자주 본 특정 결합 방식에 성능이 쏠려 있었다.

해석은 하나로 모인다. 결합 여부를 거의 완벽히 맞히는 모델이 그 결합이 어디서 일어나는지는 대부분 놓친다면, 모델이 학습한 것은 분자 인식의 화학적 기전이 아니라 "이런 단백질에는 이런 리간드가 붙더라"는 통계적 분포일 가능성이 크다. 논문의 결론 문장이 이를 그대로 적는다. 강력한 이진 결합 예측 성능이 곧 신뢰할 만한 결합 부위 국소화로 이어지지는 않는다.

InteractBind가 "무엇을 놓치는가"를 보였다면, Kopko 연구진(체코공대 CIIRC·ETH 취리히·마사리크대)은 "언제 무너지는가"를 정량으로 증명했다. 이들은 학습 가능한 스코어링 함수 네 종을 두 가지 방식으로 평가했다. 하나는 업계 표준 벤치마크인 CASF-2016이고, 다른 하나는 학습 데이터와 포켓 유사도가 낮은 진짜 신규 표적만 골라낸 유사도 통제 분할이다.

표준 벤치마크에서 모델들은 훌륭했다. GEMS는 상관계수(Pearson R) 0.815, GEMSATOMICA 0.808, GenScore 0.807을 기록했다. 그런데 유사도 통제 분할로 옮기자 같은 모델들의 성능이 절반 안팎으로 주저앉았다. GenScore는 평균 R 0.422까지 떨어졌고, 가장 나쁜 표적에서는 0.047, 사실상 무상관에 가까운 값을 냈다. 표준 벤치마크에서 0.8을 자랑하던 모델이 처음 보는 포켓 앞에서는 동전 던지기와 크게 다르지 않았다.

연구진의 결론은 방법론을 겨눈다. 표준 벤치마크는 유사한 표적 위주로 데이터를 나누기 때문에 신규 타깃 일반화의 진짜 난이도를 반영하지 못한다. 즉 CASF-2016의 0.8은 모델이 신약 현장에서 낼 성능이 아니라, 평가셋이 학습셋과 얼마나 닮았는지를 잰 숫자에 가까웠다. 이들은 해법으로 유사도를 통제한 누수 없는 분할을 널리 채택할 것을 제안한다.

두 논문은 다른 태스크, 다른 데이터, 다른 연구진에서 나왔다. InteractBind는 결합 부위 국소화의 실패를, Kopko 연구진은 신규 표적에서의 성능 붕괴를 보고한다. 그러나 두 증상의 뿌리는 같다. 현재의 모델들은 결합의 기전이 아니라 학습 데이터의 분포를 학습했고, 그래서 평가셋이 학습셋과 닮았을 때만 좋은 점수를 낸다. 벤치마크 점수는 모델의 실력과 "벤치마크-학습셋 유사성"을 구분하지 못한다.

그렇다면 더 나은 표현 학습으로 격차를 메울 수 있을까. Kopko 연구진은 자기지도 사전학습 임베딩(ATOMICA)을 GEMS에 결합해 보았다. 효과는 있었다. 미지의 포켓에서 평균 R이 0.470에서 0.498로 약 6% 올랐고, 특히 가장 나쁜 표적의 최저 R은 0.236에서 0.311로 약 32% 개선됐다. 방향은 맞다. 다만 개선된 값조차 표준 벤치마크의 0.8에는 한참 못 미친다. 사전학습은 격차를 줄이지만 메우지는 못한다.

과학 AI의 실력은 두 종류의 데이터가 결정한다. 무엇으로 학습했는가, 그리고 무엇으로 측정했는가다. 신약처럼 실패 비용이 큰 도메인일수록 뒤쪽이 중요해진다. 유망해 보이던 후보 물질이 임상에서 무너지는 값비싼 실패는, 애초에 부풀려진 벤치마크 점수를 실력으로 오인한 데서 시작되기 때문이다. 두 논문이 겨눈 것은 모델의 결함이 아니라 평가셋의 설계다.

그래서 'AI-Ready Data'의 정의가 한 칸 넓어진다. 학습 데이터가 깨끗한가, 라벨이 정확한가에서 멈추지 않고, 평가셋이 학습셋과 시점·구조상 겹치지 않는지까지 관리 범위에 들어온다. 유사도 통제 분할로 나뉘었는지, 결합 여부뿐 아니라 결합 부위까지 검증하는지, 정말 처음 보는 표적으로 시험했는지. 누수 없는 평가셋을 설계하는 일이 모델을 한 번 더 키우는 것보다 신뢰도를 크게 끌어올린다.

같은 문제는 도메인을 옮겨 반복된다. 성공한 실험만 학습해 과대평가되는 신약 AI의 출판 편향, 구조 예측이 놓친 결합 부위를 측정 데이터로 되찾은 숨은 포켓 사례, 그리고 평가 문제가 학습 데이터에 새어 든 LLM 벤치마크 오염까지. 원인은 조금씩 다르지만 결론은 하나로 모인다. 점수를 만드는 것은 모델만이 아니라, 그 점수를 재는 데이터의 품질이다.

• 1.Meng, Z., Bai, Z., Yuan, K., Ounis, I., Meng, Z., Xu, H., & Loscalzo, J. (2026). "A Large-Scale Dataset and Benchmark: Do Protein-Ligand Models Learn Binding Sites or Just Binding Likelihood?" NeurIPS 2026 Datasets & Benchmarks Track. arXiv:2605.24045. 99,391쌍·8개 모델 재평가; FusionDTI AUROC 98.3% 대 결합 부위 top-1 21.6%.
• 2.Kopko, J., Graber, D., Eyrilmez, S. M., Mazurenko, S., Bednar, D., Sedlar, J., & Sivic, J. (2025). "Generalization Beyond Benchmarks: Evaluating Learnable Protein-Ligand Scoring Functions on Unseen Targets." arXiv:2512.05386. 유사도 통제 분할; CASF-2016 R 0.807이 미지의 포켓에서 최저 R 0.047로 붕괴.