Executive Summary

주요 수치

바꾼 것과 달라진 것을 나란히 놓아 보면, 움직인 쪽은 규모가 아니라 배치입니다.

출처: Talaei 외, Communications AI & Computing 1, 7 (2026)

항체는 Y자 모양의 단백질입니다. 무거운 사슬과 가벼운 사슬의 가변 도메인이 짝을 이뤄 항원과 맞닿는 결합 부위를 만듭니다. 각 가변 도메인 안에는 구조를 지탱하는 골격 영역 네 개와, 항원에 직접 닿는 상보성 결정 부위 세 개가 번갈아 놓여 있습니다. 사슬이 둘이니 이 부위는 모두 여섯 개이고, 흔히 CDR이라고 줄여 부릅니다. 논문은 여섯 고리가 전체 잔기의 약 20%를 차지한다고 적었습니다.

나머지 80%는 대체로 항체마다 비슷합니다. 어떤 병원체를 알아보는지, 얼마나 단단히 붙잡는지를 정하는 것은 여섯 고리 쪽입니다. 이번 연구의 공저자인 존 미사시 보스턴대 의대 조교수는 보도자료에서 항체를 드라이버에 비유했습니다. 자루가 길든 짧든 상관없고 끝의 모양이 어떤 나사에 맞을지를 결정하며, CDR이 바로 그 끝이라는 설명입니다. 그러면서 이 고리들이 항체마다 워낙 달라 AI가 다루기 가장 어려운 부분이기도 하다고 덧붙였습니다.

일반 단백질 언어모델은 이 비대칭을 모릅니다. 모든 잔기를 똑같이 중요한 것으로 놓고 학습하기 때문입니다. 대부분의 단백질에서는 그것이 합리적인 가정입니다. 생물학적으로 중요한 정보가 분자 전체에 흩어져 있으니, 아무 데나 가리고 복원시켜도 구조와 기능의 패턴이 잡힙니다. 항체는 그 가정이 깨지는 예외입니다.

깨진 결과는 숫자로 드러납니다. 공개된 ESM2-3B 모델에 가려진 잔기를 맞히게 하면 골격 영역에서는 72%에서 92%를 맞히는데, 무거운 사슬의 세 번째 고리인 HCDR3에서는 35.69%, 가벼운 사슬의 LCDR3에서는 46.06%에 그쳤습니다. 모델이 잘 맞히는 자리와 항체의 정체를 결정하는 자리가 정확히 어긋나 있습니다. HCDR3가 유독 어려운 데에는 이유가 있습니다. 이 고리는 세 종류의 유전자 조각이 무작위로 이어 붙으며 만들어져, 두 조각만 잇는 나머지 고리보다 훨씬 다양합니다.

어긋남은 하나 더 있습니다. ESM2와 ESM C 같은 범용 모델은 단일 사슬 서열로 사전학습됩니다. 무거운 사슬과 가벼운 사슬이 어떻게 맞물려 결합 부위를 만드는지는 애초에 학습 신호에 들어 있지 않습니다.

연구진이 바꾼 것은 학습 목표의 문법이 아니라 마스킹 정책 한 줄입니다. 표준 방식은 전체 서열에서 잔기의 15%를 무작위로 고른 다음, 그중 80%를 마스크 토큰으로 바꾸고 10%는 다른 아미노산으로 바꿔치기하고 10%는 그대로 둡니다. 새 방식은 고르는 범위를 여섯 고리 안으로 한정하고 그 안에서 50%를 가립니다. 80대 10대 10의 처리 방식은 똑같이 유지했습니다.

50%라는 숫자의 근거가 이 연구의 핵심입니다. 논문은 이 비율을 전체 마스킹 15% 방식에서 가려지는 잔기의 개수와 맞추기 위해 경험적으로 골랐다고 밝혔습니다. 여섯 고리가 전체의 약 20%이니, 그 안의 절반이면 전체의 10% 남짓입니다. 즉 모델이 복원해야 할 문제의 개수는 두 방식이 거의 같고, 달라진 것은 그 문제들이 서열의 어디에 놓이느냐뿐입니다. 자원을 더 쓴 것이 아니라 같은 자원을 다른 곳에 배치한 실험입니다.

학습 데이터는 항체 서열 데이터베이스인 OAS에서 가져왔습니다. 사람에게서 온 서열만 남기고 자가면역 질환 환자의 레퍼토리는 제외한 뒤, 95% 서열 유사도로 군집화해 대표 서열만 골랐습니다. 이렇게 남은 짝지어진 무거운 사슬과 가벼운 사슬은 1,617,948쌍입니다. 여섯 고리의 경계는 OAS가 IMGT 기준으로 붙여 둔 주석을 그대로 썼습니다. 어디를 더 가릴지 지정하려면 그 자리에 이름이 붙어 있어야 하는데, 그 이름표가 이미 데이터에 들어 있었던 셈입니다.

연구진은 마스킹 방식을 세 가지로 놓고 비교했습니다. 전체 서열 15%, 고리 안 50%, 그리고 배치의 80%는 고리 방식으로 20%는 전체 방식으로 섞는 혼합입니다. 혼합을 넣은 이유는 고리만 계속 가리면 모델이 골격 영역을 잊어버릴 위험이 있기 때문입니다. 이 우려는 실제로 확인됐습니다. 고리만 가리는 학습을 오래 끌면 골격 복원 정확도가 떨어지고, 그러면 모델이 고리를 예측할 때 기댈 문맥도 함께 얇아집니다.

그래서 체크포인트를 고르는 규칙을 따로 두었습니다. 골격 평균 정확도가 직전 단계보다 0.1%포인트 넘게 떨어지지 않는 선에서, 고리 평균 정확도가 가장 높은 가장 이른 에폭을 택하는 방식입니다. 성능을 최대로 밀어붙이는 대신 두 영역의 균형점에서 멈추는 규칙이고, 다운스트림 성능을 보지 않고 정하기 때문에 평가 데이터에 기대지 않습니다. 이 규칙으로 뽑힌 두 체크포인트가 30억 파라미터 ESM2 기반의 AbCDR-ESM2와 6억 파라미터 ESM C 기반의 AbCDR-ESMC입니다.

효과가 어디서 왔는지는 단계를 갈라 보면 드러납니다. 고리 마스킹을 얹기 전, 짝 데이터로 전체 마스킹 적응만 마친 1단계에서 이미 고리 평균 복원 정확도가 35%포인트 올라 85.65%가 됐습니다. 가장 어려운 HCDR3도 35.69%에서 62.38%로 올랐습니다. 짝지어진 사람 항체 서열을 보여 준 것만으로 상당 부분이 회복된 셈이고, 고리 마스킹은 그 위에 얹는 층입니다.

그 층의 효과는 복원 정확도에서 먼저 나타납니다. 고리 안 50%를 가린 시험에서 이 방식으로 학습한 모델은 무거운 사슬 고리 74.87%, 가벼운 사슬 고리 89.88%로 모든 고리 영역에서 가장 높았습니다. 다만 저자들은 비교 대상인 IgBERT와 IgT5의 시험 분할이 자신들과 달라 직접 비교가 근사적이며, 이 시험에서 나온 기존 모델 값은 그 모델들에 유리하게 잡힌 상한으로 봐야 한다고 덧붙였습니다.

안전장치로 넣은 혼합 전략의 결말도 같은 방향입니다. 혼합은 골격 정확도를 지키면서 고리도 조금 올렸지만(HCDR3 62.38%에서 63.09%), 고리만 가리는 쪽도 골격 손실이 0.1%포인트에 그쳐 지켜 낼 것이 많지 않았습니다. 결합력 예측으로 넘어가면 차이가 더 분명해집니다. 고리만 가린 모델이 여섯 데이터셋 가운데 셋에서 혼합을 앞섰고 나머지 셋에서는 표준오차 안에서 같았습니다. ESM C 쪽에는 혼합 변형을 아예 만들지 않았습니다.

가려진 아미노산을 잘 맞힌다고 해서 결합력을 잘 예측한다는 보장은 없습니다. 연구진은 그 연결을 따로 확인했습니다. 미세조정한 언어모델로 항체 서열을 임베딩으로 바꾸고, 모든 위치의 벡터를 평균 낸 다음, 그 위에 릿지 회귀 하나만 얹어 해리상수의 로그값을 예측하게 했습니다. 언어모델은 얼려 두고 선형 회귀만 학습하므로, 여기서 갈리는 것은 예측기의 성능이 아니라 임베딩 자체의 품질입니다.

평가는 두 종류로 나뉩니다. 하나는 아미노산 한 자리만 바꾼 단일 변이체 데이터셋 세 개입니다. 혈관내피성장인자를 표적으로 하는 G6, 닭 난백 라이소자임을 표적으로 하는 D44, 그리고 HER2를 표적으로 하는 트라스투주맙입니다. 다른 하나는 여러 자리를 동시에 바꾼 조합 변이체 데이터셋 세 개로, 사스코로나바이러스2 스파이크 단백질의 HR2 부위와 플루오레세인, H1 헤마글루티닌을 표적으로 합니다. 여섯 데이터셋을 합치면 항체 변이체 9만 개가 넘고 항원은 여섯 종입니다.

수치는 어떻게 쟀는지에 따라 무게가 달라집니다. 단일 변이체는 IgBERT와 IgT5 논문이 쓴 데이터 분할을 그대로 가져와 10겹 교차검증으로 평가했고, 조합 변이체는 90 대 10 무작위 분할을 40번 반복해 평균을 냈습니다. 릿지 회귀의 규제 강도는 훈련 폴드 안에서 5겹 교차검증으로 따로 정했습니다. 시험 데이터가 규제 강도를 고르는 과정에 새어 들어가지 않게 막는 장치입니다. 연구진은 기존 모델인 AntiBERTy와 AbLang의 공개 수치를 자신들의 파이프라인으로 재현해 값이 맞아떨어지는 것도 확인했습니다.

단일 변이체에서는 기본 모델을 항체 데이터로 적응시킨 효과가 일관되게 나왔습니다. ESM2 계열의 R²는 D44에서 0.302에서 0.359로, G6에서 0.264에서 0.298로, 트라스투주맙에서 0.335에서 0.350으로 올랐습니다.

더 눈에 띄는 쪽은 작은 모델입니다. 6억 파라미터 AbCDR-ESMC는 G6에서 0.313으로 비교 대상 전체에서 가장 높았고 D44에서 0.345로 두 번째였습니다. 같은 두 데이터셋에서 30억 파라미터 모델 IgT5를 각각 25%, 16% 앞선 값입니다. 파라미터가 5분의 1이고, 비짝 서열 사전학습 없이 짝 데이터로만 미세조정한 모델이 그렇게 했습니다.

조합 변이체에서는 폭이 더 컸습니다. 항플루오레세인 데이터셋에서 AbCDR-ESM2의 R²가 0.547에서 0.693으로 올랐습니다. 기본 모델 대비 26.6%, 기존 공개 모델 중 가장 좋았던 AbLang의 0.531 대비 30.5%입니다. 논문 초록이 말한 최대 27%는 여기서 나왔습니다. 이 데이터셋의 변이가 여러 고리에 걸쳐 있어, 고리 안 50%를 가리며 배운 고리 사이의 상관을 그대로 쓸 수 있었다는 것이 저자들의 해석입니다. 변이체 71,830개로 가장 큰 항HR2 사스코로나바이러스2 데이터셋에서는 R² 0.396으로 IgT5를 8.8% 앞섰고, 평균 절대 오차도 0.865에서 0.841로 줄었습니다.

수치를 그대로 받기 전에 함께 읽어야 할 단서가 셋 있습니다. 첫째, 저자들은 이 과제에서 R² 0.3에서 0.4 사이면 강한 성능으로 본다고 적었습니다. 결합력 측정 자체에 노이즈가 크기 때문인데, 뒤집으면 가장 좋은 모델도 분산의 절반 이상은 설명하지 못한다는 뜻입니다. 둘째, 모든 데이터셋에서 이긴 것은 아닙니다. H1 헤마글루티닌에서는 오히려 전체 마스킹이 어떤 고리 마스킹보다 나았고, 트라스투주맙에서는 전략에 따른 차이가 없었으며 AbLang2가 0.460으로 유일하게 앞섰습니다. 저자들은 이 두 데이터셋이 각각 1,038개와 422개로 작아 평균값을 믿기 어렵다고 밝혔습니다.

셋째, 최대 27%라는 표제 수치는 30억 파라미터 모델이 조합 변이체에서 낸 값입니다. 6억 파라미터 모델이 내놓은 성과는 개선 폭이 아닙니다. 5분의 1 크기로 더 큰 항체 전용 모델들과 맞먹거나 앞섰다는 것입니다. 두 이야기를 하나로 합쳐 6억 모델이 27% 올렸다고 읽으면 논문이 하지 않은 말이 됩니다.

OAS에는 짝 정보가 없는 단일 사슬 서열이 20억 건 넘게, 무거운 사슬과 가벼운 사슬이 짝지어진 서열이 200만 건가량 들어 있습니다. 중복을 걷어 내고 나면 비짝 쪽 대표 서열이 12억 2,007만여 개, 짝 쪽이 161만여 쌍입니다. 데이터가 750배 많은 쪽이 먼저 있으니, 그것으로 사전학습을 한 뒤 짝 데이터로 마무리하는 것이 이 분야의 통상적인 순서였습니다. IgBERT와 IgT5가 그 방식으로 만들어졌습니다.

연구진은 그 단계를 떼어 내고 비교했습니다. ESM2-3B를 비짝 서열로 한 에폭 사전학습하는 데 A100 32장으로 300 GPU시간 넘게 들였고, 그 체크포인트에서 출발한 모델과 공개 기본 모델에서 곧바로 출발한 모델을 같은 짝 데이터로 미세조정했습니다.

비짝 사전학습만 마친 시점에서는 기본 모델보다 모든 영역에서 확실히 좋아졌습니다. 단일 사슬 데이터에도 정보가 들어 있다는 뜻입니다. 그런데 짝 데이터로 미세조정을 마치자 두 경로가 같은 자리로 수렴했습니다. 짝 데이터만 쓴 쪽이 같거나 조금 더 나았고, 결합력 예측에서도 비짝 사전학습이 준 이득은 확인되지 않았습니다. 300 GPU시간과 파이프라인 한 단계가 제값을 못 한 것입니다.

저자들은 이 결과를 표현 드리프트로 설명합니다. 단일 사슬만 보고 학습하면 모델이 골격의 규칙성과 배선 유전자에서 오는 빈도 편향 쪽으로 기웁니다. 그 통계는 레퍼토리를 잘 설명하지만, 두 사슬이 맞물려 만들어지는 결합과는 어긋납니다. 규모가 큰 데이터가 정답에서 멀어지는 방향으로 모델을 끌고 갈 수 있다는 이야기입니다. 저자들은 IgBERT와 IgT5에서도 비짝에서 짝으로 이어지는 경로가 벤치마크마다 일관되게 좋아지지는 않았다는 점을 근거로 덧붙였습니다.

자기지도학습에서 무엇을 가릴지 정하는 일은 모델에게 어떤 문제를 풀게 할지 정하는 일입니다. 정답은 원본 데이터가 이미 가지고 있으니 라벨을 새로 만들 필요는 없지만, 어느 자리를 문제로 낼지는 사람이 정합니다. 그 결정에 도메인 지식이 들어간다는 점에서 이것은 라벨 설계에 가깝습니다. 이번 연구는 그 결정 하나를 바꿔 모델 크기를 다섯 배 줄이고도 더 나은 결과를 얻었습니다.

연구를 이끈 다이앤 조지프매카시 보스턴대 생명공학기술창업센터 상임이사는 항체를 일반 단백질처럼 다루는 대신 항원 결합을 맡은 영역의 패턴을 배우도록 모델을 설계했다고 보도자료에서 밝혔습니다. 공저자인 야니스 파스칼리디스 하리리 컴퓨팅연구소 소장의 말이 이 연구의 출발점을 더 직접적으로 드러냅니다. AI 연구의 상당수가 더 큰 모델을 만드는 데 집중해 왔지만 자신들은 다른 질문을 던졌고, 가장 중요한 생물학을 모델에게 어떻게 가르칠지를 물었다는 것입니다. 그는 더 큰 모델도 훨씬 많은 데이터도 필요하지 않았다는 점을 이번 연구의 흥미로운 결과로 꼽으면서, 좋은 데이터로 학습한 작은 도메인 특화 모델이 크고 범용적인 모델을 앞서는 일은 사람 언어를 다루는 AI에서도 관찰돼 왔다고 덧붙였습니다.

항체를 다루지 않는 현장이라도 이 설계는 세 가지 질문으로 옮겨집니다.

5.1신호가 몰린 자리에 이름이 붙어 있는가

이 설계가 가능했던 것은 OAS가 IMGT 기준으로 여섯 고리의 경계를 미리 주석해 두었기 때문입니다. 주석이 없었다면 어디를 더 가릴지 지정할 방법 자체가 없었습니다. 우리 데이터에서 정보가 몰린 20%가 어디인지 아는 것과, 그 경계가 데이터에 필드로 적혀 있는 것은 다른 문제입니다. 앞의 것은 도메인 전문가의 머릿속에 있고, 뒤의 것이 있어야 학습 파이프라인이 그 지식을 쓸 수 있습니다.

5.2예산을 늘리기 전에 배치를 바꿔 봤는가

50%라는 비율은 성능을 끌어올리려고 크게 잡은 값이 아니라, 기존 방식과 가려지는 잔기 개수를 맞추려고 고른 값입니다. 그래서 두 방식의 비교가 규모의 비교가 아니라 배치의 비교로 성립합니다. 데이터를 더 모으거나 파라미터를 늘리는 실험은 결과가 나와도 원인을 특정하기 어렵지만, 총량을 고정하고 분포만 바꾸는 실험은 원인이 분명합니다.

5.3구조가 담긴 소수 데이터를 버리고 있지는 않은가

짝지어진 서열은 비짝 서열의 750분의 1이지만, 두 사슬이 어떻게 맞물리는지에 대한 정보는 그쪽에만 있습니다. 그리고 그 정보는 규모로 메워지지 않았습니다. 어느 데이터셋에나 수집 비용이 높아 양이 적은 대신 구조가 온전히 담긴 부분이 있습니다. 양이 적다는 이유로 그 부분을 흔한 데이터에 섞어 버리면, 나중에 규모를 아무리 키워도 되돌아오지 않을 수 있습니다.

저자들이 적어 둔 한계도 함께 봐야 합니다. 평가한 것은 ESM 계열 두 모델뿐이어서 위치 인코딩 방식이 다른 계열에도 같은 효과가 나타날지는 확인되지 않았습니다. 측정한 성질도 결합력 하나뿐이라, 안정성이나 발현량, 면역원성 같은 다른 치료제 속성에서도 고리 중심 표현이 유리한지는 열린 질문입니다. 골격 정확도를 내주고 고리 정확도를 얻는 교환이 그런 속성에서는 다르게 작용할 수 있습니다. 최적의 마스킹 비율을 찾는 일도 앞으로의 과제로 남겨 두었습니다.

확인해 볼 재료는 열려 있습니다. 두 모델의 가중치는 MIT 라이선스로 허깅페이스에, 코드는 깃허브에, 정제한 학습 데이터와 평가 데이터는 CC-BY 4.0으로 제노도에 공개돼 있습니다.

학술 논문·프리프린트

• 1.Talaei, M. et al. (2026). "Preferential CDR masking in paired antibody language models improves binding affinity prediction." Communications AI & Computing 1, 7.
• 2.Talaei, M. et al. (2025). "CDR-aware masked language models for paired antibodies enable state-of-the-art binding prediction." bioRxiv 프리프린트.

기관 보도자료·과학 매체 보도

• 3.Boston University Rafik Hariri Institute for Computing. (2026). "Teaching AI the Biology of Antibodies Speeds Drug Discovery."
• 4.Phys.org. (2026). "AI learns the biology of antibodies to speed up drug discovery."

공개 모델

• 5.NOC-Lab. (2026). "NOC-Lab/AbCDR-ESMC." Hugging Face. MIT License.