Executive Summary

주요 수치

늘어난 화합물의 출처와 설정별 R² 변화를 나란히 놓으면, 값이 움직인 자리가 약물 축 한쪽에 몰려 있습니다.

출처: arXiv:2608.11444 표 1·표 3·표 4

약물 반응 예측은 암 세포에 어떤 화합물을 넣었을 때 세포가 얼마나 죽는지를 모델이 미리 맞히는 문제입니다. 후보 물질을 실험대에 올리기 전에 걸러 낼 수 있으니 신약 개발 쪽에서 오래 기대를 받아 왔지만, 논문들끼리 결과를 견주기가 어려웠습니다. 각 연구가 데이터를 저마다 다르게 자르고 다르게 정규화하고 다른 지표로 보고했기 때문입니다. IMPROVE는 그 문제를 데이터 스키마와 평가 프로토콜을 통일하는 방식으로 다루는 프레임워크입니다.

이번 연구는 그 표준 벤치마크의 몸집을 키웠습니다. 원본 벤치마크의 학습 데이터는 CCLE, GDSC v1과 v2, gCSI, CTRPv2 네 계열의 세포주 스크리닝이었습니다. 확장판은 여기에 NCI60과 PRISM, FIMM을 학습 소스로 더했고, 환자에게서 떼어 낸 조직으로 키운 오가노이드 연구 네 건까지 같은 스키마로 정리해 넣었습니다. 원시 측정치와 화합물 주석은 PharmacoDB에서 PharmacoGx 패키지로 뽑아 하나의 전처리 흐름에 통과시켰습니다.

통일이라는 말이 실제로 무엇을 뜻하는지는 그 전처리 목록에 드러납니다. 화합물 쪽에서는 SMILES 문자열에서 깨진 항목을 걷어 내고 염과 짝이온을 떼어 낸 뒤 정규 SMILES로 바꾸고, 표기만 다른 토토머는 하나로 합쳤습니다. 세포주 쪽에서는 소스마다 다르게 적혀 있던 이름을 Cellosaurus 등록번호로 매핑해 같은 세포를 가리키는 이름들을 한데 모았고, 유전자 식별자도 NCBI 유전자 정보 표를 기준으로 맞췄습니다. 반응값은 생물학적으로 설명되지 않는 극단값을 버리는 대신 생존율 200%에서 잘라 낸 다음, 4-파라미터 로지스틱 곡선을 맞춰 곡선 아래 면적으로 요약했습니다.

이 정리를 거쳤기 때문에 표 1의 화합물 수를 행끼리 더한 55,282종이 고유 화합물 53,949종으로 줄어듭니다. 이름이 아니라 구조를 기준으로 같은 화합물을 하나로 셌다는 뜻입니다. 늘어난 양의 출처를 소스별로 갈라 보면 그림이 더 분명해집니다.

arXiv:2608.11444 표 1에서 발췌했습니다. 화합물 합계는 중복을 제거한 고유 개수여서 각 행의 단순 합(55,282종)보다 작고, 실험 건수 합계는 각 행을 더한 값과 같습니다. 오가노이드 네 건은 개별 행을 묶어 계산했습니다.

확장판 화합물 53,949종 가운데 53,323종이 NCI60 한 소스에 들어 있고, 실험 545만 건 가운데 427만 건도 같은 소스에서 나왔습니다. 화합물 수로는 99%에 가깝고 실험 건수로는 78%입니다. 화합물 5만 종을 더했다는 문장의 실체는 여러 곳에서 골고루 모았다는 쪽이 아니라, 미국 국립암연구소가 수십 년간 돌려 온 NCI60 스크리닝을 IMPROVE 표준으로 편입시켰다는 쪽에 가깝습니다.

원본이 학습에 쓴 다섯 행, 곧 CCLE와 CTRPv2, GDSC v1과 v2, gCSI의 실험 건수를 그대로 더하면 약 69만 건입니다. 논문이 원본 쪽 총량을 따로 적어 두지는 않아 표 1의 행을 더한 값이고, 확장판 545만 건과 견주면 학습에 쓸 수 있는 실험이 여덟 배 가까이 늘어난 셈입니다.

암 모델 쪽 다양성은 사정이 달랐습니다. 중복을 제거한 암 모델 수는 1,362개인데, 화합물 수를 홀로 끌어올린 NCI60이 정작 세포주는 85개뿐입니다. 세포주 수를 실제로 받쳐 주는 것은 원본부터 있던 GDSC(986개, 808개)와 CTRPv2(845개)입니다. 다중 오믹스는 여섯 종을 갖춰 두었습니다. 유전자 발현 1,907개 샘플, 복제수 변이 1,764개, 돌연변이 1,769개, 단백질 894개, miRNA 946개, DNA 메틸화 839개입니다. 이 가운데 약물 반응 측정과 실제로 연결되는 샘플은 더 적어, 유전자 발현은 1,354개, DNA 메틸화는 803개까지 줄어듭니다. 다만 이번 평가에서 모델이 실제로 본 것은 전사체와 화학 특징뿐입니다.

데이터를 늘린 효과를 하나의 숫자로 보고했다면 이 논문은 별 이야깃거리가 없었을 것입니다. 저자들은 테스트를 네 갈래로 나눴습니다. 기준은 두 가지, 곧 시험에 나온 약물을 학습에서 봤는가와 그 세포주를 학습에서 봤는가입니다.

• 혼합(mixed): 약물도 세포주도 학습에서 본 것이고, 그 둘의 조합만 새롭습니다. 가장 쉬운 설정입니다.
• 처음 보는 약물(drug-blind): 시험에 나온 약물을 학습에서 한 번도 보지 못했습니다.
• 처음 보는 세포주(cancer-blind): 시험에 나온 암 세포주를 학습에서 보지 못했습니다.
• 둘 다 처음(disjoint): 약물과 세포주가 모두 처음입니다. 가장 엄격한 설정입니다.

신약 개발 쪽에서 정말 쓸모 있는 자리는 두 번째와 네 번째입니다. 이미 잘 아는 약의 반응을 맞히는 일은 실험 기록을 조회하는 것으로도 상당 부분 대신할 수 있지만, 아직 아무도 시험해 본 적 없는 화합물의 반응을 맞히는 일은 그럴 수 없습니다. 모델이 화학 구조와 활성 사이의 관계를 학습 데이터 밖으로 밀고 나갈 수 있는지가 여기서 드러납니다.

비교가 성립하려면 두 벤치마크가 같은 시험지를 받아야 합니다. 저자들은 10겹 교차검증의 평가 폴드를 GDSC와 CCLE, CTRPv2에서만 만들었습니다. 원본과 확장판에 모두 들어 있는 세 소스라서, 시험지를 그대로 두고 학습 데이터만 바꿔 볼 수 있습니다. 확장판이 새로 들인 NCI60과 PRISM, FIMM은 학습에만 쓰이고 테스트 폴드를 정의하는 데에는 쓰이지 않았습니다.

네 설정은 따로 만든 시험지가 아니라 하나의 분할에서 함께 나옵니다. 저자들은 세 소스에 등장하는 고유 약물 식별자와 고유 세포주 식별자를 각각 열 조각으로 무작위 분할했습니다. 어느 폴드에서 빼 둔 약물이 들어간 실험은 처음 보는 약물 시험지가 되고, 빼 둔 세포주가 들어간 실험은 처음 보는 세포주 시험지가 되며, 둘 다 들어간 실험이 자연히 둘 다 처음인 시험지로 남습니다. 이렇게 빼는 작업을 마친 뒤 남은 실험에서 10%를 혼합 시험지로, 다른 10%를 조기 종료용 검증셋으로 떼어 냈습니다.

누설을 막는 처리도 눈여겨볼 만합니다. 어떤 폴드에서 특정 약물과 세포주를 빼 두기로 정하면, 그 약물이나 세포주가 등장하는 실험은 소스를 가리지 않고 전부 학습에서 지웠습니다. NCI60에 같은 화합물이 다른 이름으로 남아 있다면 확장판은 그것을 보고 시험을 치르는 셈이 되므로, 이 처리가 없으면 앞의 개선 폭을 신뢰하기 어렵습니다. 두 모델은 아르곤 국립연구소의 8-GPU 클러스터에서 같은 분할과 같은 프로토콜로 학습됐습니다.

평가에는 성격이 아주 다른 두 모델을 올렸습니다. UNO는 세포주의 유전자 발현과 약물의 물리화학적 기술자를 각각 완전연결 서브네트워크로 인코딩합니다. GraphDRP는 약물을 원자와 결합으로 이뤄진 분자 그래프로 놓고 그래프 컨볼루션으로 읽습니다. 약을 숫자 목록으로 보는 쪽과 그림으로 보는 쪽입니다.

열 겹 교차검증의 평균 R²는 다음과 같습니다. 같은 행에서 원본과 확장 열을 비교하면 그 설정에서 데이터를 늘린 효과가 나옵니다.

arXiv:2608.11444 표 3. 10겹 교차검증 평균값입니다.

R²가 음수라는 것은 모델이 그 설정에서 관측값의 평균을 답으로 내놓는 것보다 못했다는 뜻입니다. 원본 벤치마크로 학습한 GraphDRP는 처음 보는 약물에서 −0.11, 둘 다 처음인 설정에서 −0.26이었습니다. 예측력이 낮았다기보다 예측이라고 부를 수 없는 상태였습니다. 확장판으로 학습하자 각각 0.12와 0.08이 되어 부호가 바뀌었고, UNO도 0.03에서 0.22, −0.10에서 0.20으로 올라갑니다. 피어슨 상관계수로 봐도 방향은 같습니다. UNO의 처음 보는 약물이 0.39에서 0.51, 둘 다 처음이 0.34에서 0.49로 올랐습니다.

그런데 나머지 두 축은 움직이지 않았습니다. 처음 보는 세포주에서 UNO는 0.60에서 0.58, GraphDRP는 0.60에서 0.57로 오히려 조금 내려갔습니다. 이미 다 본 약과 다 본 세포주를 짝만 바꿔 물어보는 혼합 설정에서는 하락 폭이 더 컸습니다. GraphDRP가 0.75에서 0.66입니다. 데이터를 545만 건까지 늘리면서 쉬운 문제에서 조금 잃고 어려운 문제에서 크게 얻었습니다.

저자들은 이 하락의 한 가지 원인으로 이질적인 데이터가 섞여 들면서 변동이 커진 점을 듭니다. 처음 보는 대상에 대한 일반화가 좋아지는 사이, 이미 익숙한 대상의 성능은 내려갈 수 있다는 것입니다.

네 설정은 약물을 봤는가와 세포주를 봤는가라는 두 축이 만드는 2×2 격자입니다. 아래는 그 격자에 UNO의 R² 변화를 얹은 것으로, 값이 오른 칸과 멈춘 칸이 축을 따라 갈립니다.

폴드 사이의 흔들림도 함께 봐야 합니다. UNO는 둘 다 처음인 설정의 R² 표준편차가 0.39에서 0.18로, 처음 보는 약물에서는 0.31에서 0.18로 줄었습니다. 평균만 오른 것이 아니라 폴드를 바꿔도 결과가 덜 튄다는 뜻입니다. 다만 GraphDRP는 사정이 달라, 같은 두 설정에서 0.27에서 0.28, 0.19에서 0.28로 오히려 변동이 커졌습니다. 안정성까지 함께 얻은 것은 두 모델 가운데 하나뿐입니다.

폴드를 하나씩 열어 보면 개선이 모든 조각에서 일어난 것도 아닙니다. 처음 보는 약물과 둘 다 처음인 설정의 값은 대부분의 폴드에서 올랐지만 일부 폴드는 확장판에서 더 낮았고, 어떤 폴드는 GraphDRP에서 크게 나빠지면서 UNO에서는 반대로 움직였습니다. 그래서 저자들은 이 결과를 몇 개의 유리한 분할이 만들어 준 개선이 아니라, 완전히 균일하지는 않아도 견고한 흐름으로 봅니다.

여기까지는 화학 다양성이 이겼다는 이야기로 읽힙니다. 저자들은 그 해석을 스스로 흔듭니다. 확장판은 실험의 대부분이 NCI60에서 온 탓에 소스 사이의 균형이 원본보다 나빠졌고, 그래서 모델이 NCI60에 특유한 패턴 쪽으로 기울었을 수 있다고 적었습니다. 공유 테스트셋은 CCLE와 CTRPv2, GDSC로 만들었는데, 이 세 소스는 NCI60과 세포 생존율을 재는 어세이 자체가 다릅니다. 혼합 설정의 성능이 내려간 것도 이 이질성 때문일 수 있다는 것입니다.

정리하면 두 설명이 같은 결과를 놓고 겹쳐 있습니다. 하나는 화학 공간이 넓어져 모델이 구조와 활성의 관계를 학습 데이터 밖으로 밀고 나갈 수 있게 됐다는 설명입니다. 다른 하나는 학습 분포가 규모와 화학 다양성 쪽으로 옮겨 가면서 소스 사이의 균형을 내주었고, 그 대가가 혼합과 세포주 축의 하락으로 나타났다는 설명입니다. 이 실험 설계만으로는 둘을 갈라내지 못합니다. 저자들이 결론을 다양성의 승리로 닫지 않고 이 단서를 남긴 대목이 이 논문에서 가장 정직한 자리입니다.

데이터를 다루는 쪽에서 이 결과를 가져가는 방법은 셋으로 정리됩니다.

첫째, 늘렸다는 말을 축 단위로 쪼개서 해야 합니다. 이 연구가 늘린 것은 화합물 축이었고, 값이 오른 것도 화합물 축이 처음인 두 설정뿐이었습니다. 세포주 축은 원본과 크게 다르지 않았고 그 축의 성능도 그대로였습니다. 데이터를 여덟 배 늘렸다는 보고는 어느 축을 늘렸는지 밝히지 않으면 성능이 어디서 오를지도 말해 주지 않습니다.

둘째, 확장 전과 후를 같은 시험지로 재야 합니다. 이 논문의 비교가 성립한 이유는 테스트 폴드를 두 벤치마크에 공통으로 있는 세 소스에서만 만들고, 빼 둔 약물이나 세포주가 등장하는 실험을 소스 불문 전부 학습에서 지웠기 때문입니다. 데이터를 늘린 뒤 테스트셋도 같이 커지면 성능 변화의 원인을 되짚을 자리가 사라집니다.

셋째, 한 소스가 데이터를 지배하는지 세어 봐야 합니다. 실험 건수의 78%가 한 소스에서 왔다면 그 소스의 측정 방식이 모델의 기준이 됩니다. 여기서는 어세이 종류가 그 차이를 만들었고, 다른 현장에서는 라벨링 지침이나 수집 장비, 특정 고객사 데이터가 같은 자리에 놓입니다. 소스별 비중을 세어 두지 않으면 나중에 성능이 흔들릴 때 원인을 찾을 곳이 없습니다.

저자들이 적어 둔 한계도 함께 읽어야 합니다. 데이터가 커지면서 학습에 필요한 자원이 크게 늘어 다중 GPU 없이는 다루기 어려워졌고, 하이퍼파라미터 탐색의 여유도 그만큼 줄었습니다. 이질적인 소스를 모은 자원이라 잔여 노이즈와 계통적 편향을 완전히 없애기는 어렵습니다. 오믹스 여섯 종을 갖춰 놓고도 이번 평가는 전사체와 화학 특징만 썼으므로, 돌연변이나 복제수 변이, 단백질을 함께 넣었을 때 어느 축이 움직이는지는 아직 열린 질문입니다. 저자들은 이 규모가 사전학습에 어울리는 크기라고도 봅니다. 넓고 다양한 데이터로 먼저 학습해 두고 과제별로 미세조정하는 방식이라면, 앞에서 본 교환을 얼마간 누그러뜨릴 수 있다는 것입니다. 확장 데이터셋과 큐레이션 코드, 두 모델 구현은 모두 공개돼 있어 그 질문은 누구든 이어서 물어볼 수 있습니다.

학술

• 1.Lavelle, V., Zhu, Y., Marlor, K., Brettin, T., Stevens, R. (2026). Large-scale AI-Ready Data for Anti-Cancer Drug Response Modeling. arXiv:2608.11444, Argonne National Laboratory.
• 2.Weil, M., Partin, A., Kousa, N. 외 (2024). The IMPROVE framework for automating and standardizing tumor drug response prediction modeling. European Journal of Cancer 초록 PB003.
• 3.Xia, F., Allen, J., Balaprakash, P., Brettin, T. 외 (2021). A cross-study analysis of drug response prediction in cancer cell lines. Briefings in Bioinformatics (UNO 모델).
• 4.Nguyen, T., Nguyen, G. T. T. 외 (2021). Graph convolutional networks for drug response prediction. IEEE/ACM Transactions on Computational Biology and Bioinformatics (GraphDRP 모델).
• 5.Smirnov, P., Kofia, V., Maru, A. 외 (2017). PharmacoDB: an integrative database for mining in vitro anticancer drug screening studies. Nucleic Acids Research.

코드·데이터

• 6.AI-Ready Drug Response Dataset figshare 공개 데이터 (확장 벤치마크 전체).
• 7.vincevelle/CSA-and-PharmacoGx-Integration GitHub 저장소 (데이터 큐레이션·처리 코드).
• 8.JDACS4C-IMPROVE 프로젝트 저장소 (UNO·GraphDRP 구현과 표준 워크플로).