Executive Summary

주요 수치

출처: Edwards 외, Biology-in-the-loop: Amortized Adaptive Hit Discovery in CRISPR Screens, arXiv:2609.11877(2026) 표 1 · 부록 B

논문이 다루는 스크린 하나는 세 가지로 정의된다. 실험 설정을 적은 자연어 설명, 그 실험에서 측정한 유전자 목록, 그리고 유전자마다 붙은 이진 라벨이다. 라벨은 적중이거나 아니거나 둘 중 하나다. 정책은 이 라이브러리에서 100개를 골라 넘기고, 그 100개의 라벨을 돌려받은 다음, 받은 결과를 보고 다음 100개를 고른다. 이 왕복을 열 번 하면 예산이 끝난다. 고른 유전자는 모두 1,000개다.

테스트에 쓴 스크린 20개는 전부 게놈 전체를 훑은 것이고, 라이브러리에 유전자가 1만 8천에서 2만 2천 개 들어 있다. 1,000을 그 크기로 나누면 5% 남짓이다. 적중이 최소 50개, 적중률은 15%를 넘지 않는다는 조건도 걸었다. 너무 쉬운 스크린이나 신호가 없는 스크린을 빼려는 장치다. 그리고 학습에 쓴 스크린은 전부 2021년 이전 것, 테스트는 2021년 이후 것으로 시간을 갈랐다. 테스트 스크린의 적중 집합이 학습 쪽과 얼마나 겹치는지 재 보면 자카드 유사도 중앙값이 0.064였다.

조건이 하나 더 걸려 있고, 이것은 헤드라인 숫자를 읽는 방식을 바꾼다. 스크린 설명만 읽은 언어모델이 최소한의 신호를 잡아내야 테스트에 들어갈 수 있었다. 앞선 벤치마크에서 가장 잘한 언어모델의 상위 100개 순위 지표가 0.05 이상인 스크린만 남겼다. 연구진은 이 기준 때문에 AssayBench-Loop가 게놈 전체 스크린을 고르게 대표하는 표본이 아니라고 부록에 미리 밝혀 두었다. 실험 설명에 예측할 만한 신호가 실제로 들어 있는 스크린에서 적응형 발굴을 재려고 고른 집합이라는 것이다. 27.7%는 그런 20개의 평균값이다.

주 지표인 농축 계수(EF)는 찾은 적중 수를 무작위로 골랐을 때 기대되는 적중 수로 나눈 값이다. 분모를 짜는 방식에 손을 댄 대목이 있다. 모델이 실제로 존재하지 않는 유전자 이름을 내놓거나 배치를 다 채우지 못하면 그 몫이 분모에 그대로 남아 벌점이 된다. 반대로 진짜 유전자이긴 한데 그 스크린에서 측정하지 않은 것을 고른 경우는 벌하지 않는다. 회고적 기록에 없다는 이유로 틀렸다고 할 수 없기 때문이다.

이 눈금에서 무작위 선택은 EF 1.04, 적중 회수율 4.9%다. 정의상 1 근처에 있어야 하는 값이고 실제로 그렇게 나왔다. 학습된 정책의 5.67과 27.7%는 같은 조건, 같은 20개 스크린 평균이다.

모델이 입력으로 받는 것은 유전자 서열이 아니다. 스크린 설명 한 덩이와, 지금까지 시험해 본 유전자들과 그 결과가 전부다. 연구진이 만든 벤치마크 AssayBench-Loop는 스크린 1,389건으로 이뤄져 있다. 2021년 이전 1,349건이 학습, 2021년 20건이 검증, 그 이후 20건이 테스트다. 이 셋은 먼저 공개된 스크린 1,920건짜리 벤치마크 AssayBench 위에 세워졌고, 거기서 시간 분할을 그대로 물려받았다.

정책 모델인 AssayFormer는 작다. 트랜스포머 인코더 3층에 어텐션 헤드 2개, 폭 384다. 입력 토큰의 순서에는 의미가 없으므로 위치 임베딩도 넣지 않았다. 유전자마다 붙는 토큰은 그 유전자의 임베딩과 이진 라벨의 임베딩을 이어 붙여 만든다. 적중이었는지 아니었는지가 유전자 이름과 같은 무게로 모델에 들어간다는 뜻이다.

유전자 임베딩의 출발점이 이 논문의 급소다. 연구진은 학습 스크린 전체를 유전자 × 스크린 크기의 이진 히트 행렬로 펼친 뒤, 베이지안 확률적 행렬분해로 쪼개 그 결과를 초기값으로 썼다. 어떤 유전자들이 같은 스크린에서 함께 적중으로 나왔는가, 오직 그 동시 발생 구조만 담긴 값이다.

그 위에 지도학습을 얹고, 마지막으로 강화학습(GRPO)으로 다듬는다. 보상 설계에 한 가지 장치가 들어갔다. 같은 라운드에서 과거 이력을 전혀 못 본 정책이 찾아냈을 적중 수를 빼고, 그 차이만 보상으로 준다. 맥락이 없어도 맞힐 수 있었던 적중에는 점수를 주지 않겠다는 것이다. 논문은 이를 맥락 차분 보상이라 부른다.

이 장치가 제값을 하는지는 대조 실험으로 확인했다. 열 라운드가 끝난 시점의 농축 계수를 그대로 학습 목표로 삼으면 EF가 4.29로 내려간다. 맥락 차분 보상으로 학습한 4.83과 0.54 차이다. 이력을 봐서 얻은 몫만 떼어 보상하지 않으면 이력에 맞춰 움직이는 법을 배울 신호가 흐려진다는 것이 이 설계의 근거다. 같은 표에 스크린 설명을 아예 빼 본 조건도 있다. 자연어 설명을 지우고 이력만 남기면 4.52다. 실험의 목적을 적은 문장보다 무엇을 찔러 보고 무엇이 나왔는지의 기록이 이 모델을 굴리는 주된 재료라는 말이다.

여기에 거대 언어모델이 한 자리를 차지한다. 처음 세 라운드는 언어모델이 스크린 설명을 읽고 후보를 내고, 네 번째 라운드부터 학습된 정책이 넘겨받는다. 몇 라운드에서 넘길지는 검증 세트에서 정했고 k=3이 뽑혔다. 초반에는 아직 쌓인 결과가 없어 배운 정책이 기댈 곳이 없고, 후반에는 결과가 쌓일수록 언어모델 쪽이 먼저 정체한다. 논문은 이 둘을 이어 붙인 조합을 AssayLoop라 부른다.

무작위보다 5.67배 낫다는 말은 사실 별로 말해 주는 것이 없다. 이 분야에는 이미 쓰이던 적응형 설계 방법들이 있고, 진짜 견줄 자리는 거기다. 논문의 표 1에서 주요 방법만 추려 보면 층이 뚜렷하게 갈린다.

과거 스크린을 쓰지 않고 진행 중인 스크린 안에서 받은 결과만으로 방향을 잡는 방법들은 LLMNN 2.39, Probability-of-hit 2.41, BioBO 2.59, ICBR-EF 2.76에 모여 있다. 반면 과거 스크린을 끌어다 쓰는 Screen-kNN은 3.40, MAML은 3.77, BPMF는 4.49다. 뒤의 셋은 적응형 적중 발굴을 겨냥해 만든 방법이 아닌데도 과거 데이터를 쓴다는 것만으로 위층에 올라앉았고, 논문은 이 대비를 AssayFormer 설계의 동기로 든다.

과거 데이터를 쥐어 주는 것과 그것으로 정책을 학습시키는 것이 어떻게 다른지는 표의 한 행이 곧장 보여 준다. 그 행은 학습 스크린에 직접 접근할 수 있는 범용 코딩 에이전트를 같은 예산으로 돌린 결과다. Claude Haiku 4.5를 그대로 획득 정책으로 쓰면 EF 1.39에 그친다. 무작위 1.04에서 크게 벗어나지 못한 값이다. 같은 모델을 아카이브를 직접 뒤질 수 있는 에이전트로 감싸면 3.20까지 올라간다. 그러고도 같은 데이터로 학습시킨 AssayFormer의 4.83에는 닿지 못한다.

언어모델 단독 성적도 4.7에서 4.8로 꽤 높다. 이 성적이 사전 지식에서 온 것인지 라운드마다 돌려받은 결과에서 온 것인지는 이 분야에서 답이 갈렸던 물음이다. 한쪽 선행 연구는 실험 설계 에이전트의 성적이 실험 중 받는 피드백에 거의 반응하지 않았다고 보고했고, 다른 쪽은 충분히 좋은 모델이라면 피드백에서 많이 얻는다고 보고했다. 연구진은 결과 라벨만 지우고 고른 유전자 목록은 그대로 남기는 조건으로 이 물음을 다시 쟀다. 시험한 모든 언어모델에서 성능이 내려갔다. 피드백을 읽고 쓴다는 쪽에 힘을 실어 주는 결과다.

다만 내려간 폭이 크지 않다. Gemini는 4.71에서 4.38로, GLM 5.1은 4.00에서 3.65로 움직였다. 학습된 정책이 같은 이력에서 얻는 몫은 이보다 훨씬 크다. 결과를 읽고 방향을 트는 일은 명시적으로 그렇게 훈련시킨 정책이 여전히 더 잘한다는 것이 논문의 정리다. 초반 세 라운드만 언어모델에 맡기는 설계는 이 대비에서 나왔다.

값싸게 건진 적중이 뻔한 것들뿐이었다면 이야기가 달라진다. 논문은 회수한 적중 가운데 DepMap 범용 필수유전자가 몇 퍼센트인지를 따로 잰다. 어느 세포에서든 건드리면 죽는 유전자라 스크린마다 적중으로 잡히기 쉬운 부류다. 과거에 자주 나온 적중을 그대로 다시 고르는 기준선은 이 비율이 99.1%였다. AssayLoop는 30.1%, AssayFormer 단독은 40.7%다. 무작위 선택이 18.6%이니 아주 깨끗하지는 않지만, 옛 정답지를 베껴 성적을 낸 것과는 거리가 멀다.

좁게 고르면 건드리는 생물학도 좁아질 수 있다. 논문은 유효 경로 수로 그 폭을 센다. 데이터셋 전체를 기준으로 AssayLoop 70.4, Gemini 단독 66.2, AssayFormer 단독 65.0이다. 가장 넓은 것은 82.6의 무작위 선택이다. 좁히지 않고 적중을 늘렸다고 말할 수는 있어도, 가장 넓게 훑었다고 말할 수는 없다.

이 지표는 세 가지 범위로 나눠 재는데, 연구진은 범위끼리 직접 비교하지 말라고 표 설명에 따로 일러둔다. 한 스크린 안으로 범위를 좁히면 순서가 달라진다. 스크린 기준 유효 경로 수가 Gemini 단독은 34.6인데 AssayFormer 단독은 46.7, BPMF는 50.7이다. 언어모델은 스크린마다 다른 생물학을 건드려 데이터셋 전체로는 넓어 보이지만, 스크린 하나 안에서는 좁은 이웃만 훑는다. 초반 웜스타트에 알맞고 여러 라운드를 끌고 가기에는 부족한 성질이 여기 드러난다고 논문은 읽는다. AssayLoop는 스크린 기준 46.6으로 AssayFormer 단독의 폭을 거의 그대로 지키면서 EF만 4.83에서 5.67로 올렸다.

같은 원리로 언어모델 하나를 학습시키기도 했다. GLM 5.1이 남긴 획득 궤적으로 270억 파라미터 Qwen 3.6을 지도학습한 뒤 강화학습을 더했다. EF가 2.65에서 3.56으로, 다시 3.69로 올라갔다. 39% 개선이다. 여기서 학습 재료가 된 것 역시 다른 정책이 남긴 선택의 순서였다.

실험 이력이 자산이라는 말을 성립시키려면 두 가지가 보여야 한다. 이력이 많을수록 좋아지는가, 그리고 그 이력이 다른 데서 구할 수 있는 지식으로 대체되지 않는가. 논문은 두 물음에 각각 실험으로 답한다.

먼저 양이다. 학습 스크린을 1건부터 1,349건까지 늘려 가며 모델 216개를 따로 학습시켰다. 성능은 구간 내내 단조로 올라갔고 가장 큰 데이터에서도 꺾이는 기미가 없었다. EF는 이 구간에서 두 배 넘게 커졌다. 같은 절의 대조 실험이 더 매섭다. 모델 파라미터를 40배 가까운 범위로 늘려 봐도 이득은 거의 없었다. 연구진은 이 영역에서 성능을 묶고 있는 것이 모델 크기가 아니라 손에 쥔 과거 스크린의 수라고 결론짓는다.

다음은 대체 가능성이다. 유전자 임베딩의 출발점을 일곱 가지로 바꿔 같은 학습을 반복했다. 아무 정보도 담지 않은 무작위 초기화, 유전자 설명 텍스트를 언어모델로 임베딩한 GenePT, K562 세포주를 대상으로 한 Perturb-seq 실험에서 뽑은 표현, 그리고 학습 스크린의 히트 행렬을 네 방식으로 분해한 값들이다. 결과가 갈린 폭이 크다.

생물학 지식을 담은 두 초기값이 아래쪽에 있다. 특히 GenePT는 지도학습만 마친 시점에 EF 1.06으로 유전자를 무작위로 고르는 것과 별 차이가 없었고, 강화학습까지 거쳐 2.60에 닿았지만 아무 정보도 없이 시작한 무작위 초기화의 2.71을 끝내 넘지 못했다. 학습 스크린의 히트 행렬에서 뽑은 네 초기값은 전부 4점대다.

같은 재료를 어떻게 분해하느냐도 끝에서 갈린다. 지도학습만 마친 시점에는 SVD가 3.72로 BPMF의 3.83에 거의 붙어 있다. 강화학습을 거치면 4.40과 4.83으로 벌어진다. 강화학습은 일곱 초기값 모두를 끌어올리는데, 그러면서 BPMF와 나머지의 간격은 오히려 넓어진다. 가장 많이 오른 것은 1.06에서 2.60으로 움직인 GenePT다. 오름폭이 가장 컸으면서 도착한 자리는 가장 낮다.

부록에서는 각 임베딩이 STRING, CORUM, SIGNOR, Reactome 같은 표준 데이터베이스의 유전자 관계를 얼마나 잘 복원하는지 쟀다. 교과서 속 관계를 잘 담은 임베딩일수록 이 과제에서는 학습이 더 어려웠다는 음의 관계가 나왔다. BPMF 임베딩이 무엇을 기준으로 모이는지 살펴보니 경로나 복합체가 아니라 함께 나타난 스크린의 표현형이었다. 학습 전후로 이 기하가 얼마나 움직이는지도 재 봤는데 거의 그대로 보존됐다. 상관계수 0.999다. 모델이 이 구조를 다시 빚는 것이 아니라 그 위에 올라앉아 배운다고 본문은 해석한다.

그렇게 배운 것이 무엇인지는 이력을 한 칸 바꿔 보면 드러난다. 유전자 하나를 적중으로 이력에 넣었을 때 다른 유전자의 획득 점수가 어느 쪽으로 얼마나 움직이는지를 재는 방식이다. 무작위로 뽑은 유전자 50개를 배경 이력으로 깔고 배경을 열 번 바꿔 평균했다. 암 드라이버 12개와 기능 모듈에서 고른 19개, 모두 31개로 만든 표에서 한 가지 성질이 두드러진다. 관계가 대칭이 아니다. 영향 행렬과 그 행렬을 뒤집은 것 사이의 상관은 0.16에 그치고, 서로 마주 보는 쌍의 44%는 부호가 반대였다. MDM2가 적중으로 들어오면 PFDN4의 점수가 0.33 오르는데, PFDN4가 들어오면 MDM2의 점수는 0.46 내려간다. 유전자끼리 얼마나 닮았는지만 적어 둔 표로는 이런 방향이 나오지 않는다.

STRING, CORUM, SIGNOR, MSigDB, Reactome에 이미 등재된 쌍을 모두 걷어 내고 남은 것 중 영향이 가장 큰 쪽을 보면, MYC를 적중으로 관측한 뒤 SMU1과 PRPF4의 순위가 올라간다. 발암성 MYC가 스플라이소좀 기구에 의존한다는 기존 보고와 맞는 방향이다. MDM2 뒤에는 EMG1과 PNO1이 올라간다. 리보솜 소단위 생합성을 건드리면 p53이 안정화되는 감시 경로와 이어진다. 스크린 하나에서만 유독 크게 나타나는 쌍도 세 개 찾았다. 같은 정책이 맥락에 따라 다르게 움직인다는 표시다. 다만 연구진은 이 수치가 모델이 내부에서 쓰는 결정 규칙이지 확립된 생물학적 상호작용이 아니라고 못 박는다. 뒤이어 검증할 후보를 지목하는 데까지가 이 분석의 몫이다.

학습한 것이 암기에 그치는지도 따로 시험했다. 표현형 다섯 범주 중 하나를 학습에서 통째로 빼고, 뺀 범주에 속한 스크린을 그 모델로 평가한다. 이렇게 테스트 세트 전체를 모으면 EF 4.59가 나온다. 다섯 범주를 다 쓴 4.83과 크게 다르지 않다. 같은 조건에서 Screen-kNN은 0.42만큼 떨어지는데 AssayFormer는 0.24만 떨어졌고, 한 범주를 빼고 배운 AssayFormer가 모든 범주를 다 보고 배운 Screen-kNN보다 여전히 위에 있다.

빠지는 데이터 양이 범주마다 고르지 않다. 학습 스크린 1,349건 가운데 적합도·증식·생존 범주가 947건인데, 운반·국재·구조 범주는 38건이다. 한쪽을 빼는 것과 다른 쪽을 빼는 것이 같은 무게의 시험일 수 없다. 그래서 연구진은 이 실험의 몫을 범주 제외에 대한 견고성 검사까지로 한정하고, 일반화 증명으로 읽지 말라는 단서를 본문에 달아 두었다.

여기까지가 논문이다. 연구진은 결과가 어디까지 유효한지도 직접 적어 두었다. AssayBench-Loop는 신호가 충분한 게놈 전체 스크린만 모은 회고적 벤치마크이고, 여기서 평가한 정책들은 살아 있는 실험 루프에서 아직 검증되지 않았다. 다루는 결과도 적중이냐 아니냐의 이진 라벨뿐이다. 예산은 라운드마다 같다고 놓았고, 실험마다 비용이 다른 경우로 넓히는 일은 다음 과제로 남겼다. 복제 실험 사이의 노이즈도 모형에 들어 있지 않아, 기록된 라벨을 고정된 참값처럼 다룬다. 테스트 스크린이 20개이고 그 20개가 게놈 전체 스크린을 대표하도록 뽑힌 집합이 아니라는 것도, 부록에 적혀 있는 대로 함께 기억할 조건이다.

논문이 말하지 않은 쪽으로 한 걸음 가 보면, 27.7%라는 숫자에는 뒷면이 있다. 같은 예산 안에서 나머지 72.3%는 찾지 못했다는 뜻이다. 이 뺄셈은 논문에 없고 이 글이 한 것이다. 연구진이 27.7%를 성취로 내세우는 것은 옳다. 같은 예산에서 과거 스크린을 쓰지 않는 기존 방법은 잘해야 14.5%였고 무작위는 4.9%였으니 비교의 결론은 분명하다.

다만 이 결과를 실험실로 옮길지 결정하는 자리에서는 비율이 아니라 값이 필요하다. 놓친 72.3% 안에 정말 필요한 표적이 있었는지, 그것을 나중에 찾는 데 드는 비용이 얼마인지, 스크린 한 번에 얼마가 드는지에 따라 5%만 시험한다는 선택은 성과가 되기도 하고 단순한 절감이 되기도 한다. 논문은 그 계산을 하지 않는다. 회차마다 다른 비용을 다루는 일을 남은 과제로 적어 둔 것이 그 자리에 가장 가까운 문장이다.

표에 조용히 실린 수치 하나도 같은 계산에 들어간다. AssayLoop가 고른 1,000개 중 7.6%는 그 스크린의 라이브러리 밖으로 나갔다. 예산의 일부가 채점조차 되지 않은 채 쓰인 것이다. 정책이 후보를 고르는 풀은 스크린 두 곳 이상에 등장한 유전자 21,147개로 고정돼 있고, 스크린 하나가 실제로 측정한 라이브러리는 그보다 작다. 그래서 밖으로 나간 몫에는 존재하지 않는 이름과 그 스크린이 재지 않은 실재 유전자가 섞여 있다. 뒤쪽에는 지표상 벌점이 붙지 않지만, 실험실에서는 시약과 시간이 그만큼 나간다.

논문 밖으로 한 번 더 나가면, 이 이야기의 재료는 CRISPR가 아니라 기록이다. 학습에 쓰인 것은 유전자에 관한 지식이 아니라 스크린 1,349건이 남긴 결정과 그 결과였다. 대부분의 조직에서 이런 기록은 남지 않는다. 실행 결과는 보고서 한 줄로 요약되고, 무엇을 어떤 순서로 시험했으며 무엇이 아니었는지는 요약되는 순간 사라진다. 4절의 결과가 쓴 것은 정확히 그 사라지는 부분이다.

그래서 이 논문을 덮고 자기 조직에 돌려 물어볼 것은 하나다. 우리가 지난 분기에 시도한 것들의 목록과 결과는, 다음 분기에 무엇을 먼저 해 볼지 정하는 데 입력으로 들어가는가.

여기까지 읽어 주신 데 감사드린다. 원문은 arXiv:2609.11877에서 볼 수 있고, 이 글의 수치는 표 1과 2.3절에서 2.7절, 그리고 부록 A·B·H·K에서 직접 확인했다. 실험이나 실행의 이력을 다음 결정의 입력으로 되돌려 쓰는 방식을 이미 갖춘 팀이 있다면 어떤 항목을 남기는지 나눠 주시면 좋겠다.

• 1.Edwards, C., De Brouwer, E., Li, X., Lee, N., Hajiramezanali, E., Biton, A., Mostafavi, S., & Scalia, G. (2026). "Biology-in-the-loop: Amortized Adaptive Hit Discovery in CRISPR Screens." arXiv:2609.11877 (프리프린트, 본문 수치의 핵심 출처).
• 2.De Brouwer, E., Edwards, C., Wu, A., Collier, J., Heimberg, G., Li, X., Subramaniam, M., Hajiramezanali, E., Richmond, D., Hütter, J.-C., Mostafavi, S., & Scalia, G. (2026). "AssayBench: An Assay-Level Virtual Cell Benchmark for LLMs and Agents." arXiv:2605.10876 (선행 벤치마크, 2절에서 인용).
• 3.Genentech. "Genentech/AssayBench." GitHub (벤치마크 코드·데이터 공개 저장소).