Executive Summary

주요 수치

네 칸을 뽑았다. 앞의 둘은 멜론 사례에서 이 조합이 무엇을 해냈는지이고, 뒤의 둘은 그 성적을 멜론 바깥에서 얼마나 넓게 쟀는지, 그리고 그 측정에 걸려 있는 조건이다.

출처: 구글 딥마인드·리빙 모델스 공동 발표문, bioRxiv 논문.

멜론은 한 포기에서 피는 꽃의 성이 품종마다 다르다. 어느 염기 하나가 바뀌어 그 성질이 갈렸는지 찾는 일이 식물 유전학의 오래된 과제이고, 이번 사례의 과제도 그것이다. 고전적인 방법은 대량 분리 분석이다. 성질이 다른 개체들을 모아 유전체를 비교하면 원인이 들어 있는 구간이 좁혀진다. 이 멜론 사례에서는 유전체 전체 변이 47,492개가 2번 염색체의 한 구간, 후보 3,061개까지 줄었다.

거기서 더 못 간다. 논문은 이 상태를 두고 원인 변이가 염색체 구간에는 놓이지만 수천 개의 후보가 미해결로 남는다고 적는다. 이 방법이 재는 것은 유전되는 정도의 상관이지 그 변이가 식물의 기능을 실제로 바꾸는지가 아니기 때문이다. 구간 안의 변이들은 함께 유전되므로 서로 비슷한 점수를 받는다. 논문은 고전적인 생물정보학 도구를 쓰면 여기가 현행 표준 방법의 한계이고, 남는 것은 실험을 더 해야 하는 후보 목록이라고 덧붙인다.

공동 발표문에 그 한계가 숫자로 남았다. 젬마 4에게 표준 명령줄 도구만 쥐여 줬더니, 가장 잘 풀린 실행에서 점수가 똑같은 코딩 변이 두 개까지 좁히고 멈췄다. 하나는 검증된 CmEIN3 변이였고 다른 하나는 관계없는 유전자였다. 점수가 같으니 둘 중 하나를 고를 근거가 없다. 실험실에서 둘 다 확인해 보는 수밖에 없는 자리다. 잘 풀렸을 때가 그랬다는 단서도 같이 읽어야 한다. 스무 번을 돌려 정답을 1위에 올린 비율은 0.15였으니, 동점 두 개까지 좁히는 일조차 늘 되지는 않았다.

보타닉-1을 도구로 붙이자 경로가 달라졌다. 두 번째 시나리오에서 젬마 4가 더 받은 것은 전문 도구 하나, 로컬에서 돌아가는 보타닉-1의 채점 함수뿐이다. 에이전트는 2번 염색체 후보에서 삽입·결실·재배열 567개를 걸러 내고, 남은 단일염기 변이 2,494개를 그 채점 함수로 보냈다. 검증된 CmEIN3 변이가 동점 없이 1위로 올라왔다.

국내외 보도가 함께 옮긴 "4분"은 여기서 조심해서 읽어야 한다. AI타임스는 이 작업을 두고 목표 변이를 4분 이내에 정확히 1위로 찾아냈다고 적었다. 그런데 이 수치는 논문에도 공동 발표문에도 없다. 같은 수치를 쓴 해외 블로그 explainX는 그 4분이 에이전트가 돌아간 벽시계 시간이지 연구 프로그램의 시간이 아니라고 따로 밝힌다. 공동 발표문이 쓰는 척도는 아예 다르다. 작물 유전학의 수년을 몇 시간의 계산으로 줄인다거나, 수십 년 묵은 유전 문제를 반나절에 푼다는 표현을 쓴다. 4분과 반나절은 같은 작업의 서로 다른 구간이다. 에이전트가 후보를 추려 채점하기까지가 앞의 것이고, 구간을 좁히는 고전 분석은 그 바깥에 따로 있었다.

이 구조에서 젬마 4가 맡은 자리는 분석의 지휘다. 공동 발표문은 젬마 4 E4B를 자율 생물정보학 오케스트레이터라 부르고, 터미널 파이프라인을 직접 쓰고 도구 호출을 실행한다고 적는다. 생물학 질문을 구조화된 질의로 옮기고, 표준 명령줄 소프트웨어를 돌리고, 터미널 출력을 읽고, 실패한 명령을 다시 시도한다. 보타닉-1은 그 지휘자가 부르는 채점 함수다. 염기 하나가 바뀐 자리가 식물 유전체의 서열 패턴에서 얼마나 벗어나는지를 점수로 돌려준다.

돌아가는 환경도 작다. 젬마 4 E4B는 올라마를 통해 엔비디아 L4 그래픽카드 한 장에서 로컬로 돌았다. 더 큰 모델로 바꿔도 정확도는 나아지지 않고 운영 비용만 늘었다는 벤치마킹 결과를 공동 발표문이 함께 내놨다.

둘을 떼어 놓고 재면 역할 분담이 선명해진다. 스무 번 반복해 정답을 1위에 올린 비율로 재면, 지도 없이 고전 도구만 쓴 쪽이 0.00, 전문가가 지도한 고전 도구가 0.15, 보타닉-1을 도구로 붙인 쪽이 0.90이다. 없는 변이를 지어낸 경우도 갈렸다. 보타닉-1 쪽은 스무 번 모두 0건이었고, 고전 도구 쪽은 각각 스무 번 중 3회와 4회에서 지어낸 변이가 섞였다.

이 역할을 옮겨 적을 때 한 칸씩 줄어드는 일이 생긴다. AI타임스는 젬마 4가 유전자 데이터를 정리하고 분석 과정을 자동화한다고 썼다. 틀린 설명은 아니지만, 파이프라인을 직접 쓰고 실패한 명령을 다시 시도하는 자율 오케스트레이터와는 다른 그림이다. 에이전트 설계를 보려고 이 사례를 읽는 사람에게는 그 차이가 핵심이다.

사례 하나는 운이 좋았을 수 있다. 그래서 더 넓게 잰 수치가 따로 있다. 공동 발표문은 실험으로 확인된 변이 500곳이 넘는 묶음에서 두 지표를 내놓는다. 원인 변이가 상위 0.1% 안에 든 비율이 15.9%로, 유전체 언어모델을 쓰지 않은 베이스라인 가운데 가장 좋은 것의 4.6%보다 높다. 상위 1%로 넓히면 48.8%가 그 안에 들었고, 고전 파이프라인은 33.9%였다.

논문 쪽은 같은 성격의 평가 묶음을 14개 종 545곳으로 센다. 두 숫자는 가까이 있지만 같은 값은 아니니 한 계열로 섞어 읽지 않는 편이 안전하다. 위 표의 비율은 공동 발표문 쪽 수치다.

차이가 크다는 점은 분명하다. 동시에 48.8%라는 수치는 다른 방향으로도 읽힌다. 후보를 100분의 1로 줄여 준 목록을 받아도, 원인 변이는 절반 넘게 그 밖에 남는다. 성가신 숫자처럼 보이지만 연구 현장에서는 이쪽이 실제 쓰임에 가깝다. 상위 1% 목록을 들고 실험실로 가는 사람은 자기가 찾는 것이 거기 있을 확률을 절반쯤으로 잡아야 한다.

성적표를 받아 쓸 수 있는지도 따로 봐야 한다. 논문이 맨 앞에 세운 판은 32억 개짜리 보타닉-1 XL이고, 원인 변이 탐색 과제에서 1위에 오른 점수 0.752도 이 판의 값이다. 그런데 논문이 공개하겠다고 적은 것은 S·M·L 세 종이고, 허깅페이스 컬렉션에 올라온 것도 3억 1,800만·6억 8,800만·21억 개짜리 그 셋이다. XL은 그 목록에 없다. 성적을 낸 판과 내려받을 수 있는 판이 다르니, 공개된 쪽에서 같은 점수가 나오는지는 이 자료만으로 알 수 없다.

멜론 사례의 성격을 논문은 숨기지 않는다. 이미 발표된 멜론 성 결정 자리에 대한 사후 분석이라고 본문에 적고, 해당 선행 연구를 참고문헌으로 단다. 지금 1위로 올라온 그 변이는 실험으로 확인이 끝나 논문에 실린 값이다.

연구진이 조건을 느슨하게 둔 것은 아니다. 논문은 에이전트에게 후보 목록만 주고 해당 논문에는 접근하지 못하게 했다고 쓴다. 답을 적어 둔 종이를 치운 셈이다. 그런데 치우지 못한 것이 하나 남는다. 채점을 맡은 보타닉-1은 공개된 식물 유전체로 학습한 모델이고, 그 코퍼스에 무엇이 들어갔는지를 따져야 이 성적의 뜻이 정해진다. 해외 블로그 explainX가 이 지점을 짚는다. 사후 시험에서는 답이 문헌에 존재하고, 공개 식물 유전체로 학습한 모델이라면 관련 서열을 이미 봤을 수 있다는 것이다.

이 조건은 멜론 한 건에만 걸리지 않는다. 3절의 500곳 넘는 묶음도, 논문의 545곳도 모두 실험으로 확인이 끝난 변이다. 확인이 끝났다는 말은 어딘가에 발표됐다는 뜻이기도 하다. 그러니까 저자들이 내놓은 근거 체계 전체가 같은 성격의 시험 위에 서 있다. explainX의 표현을 빌리면 이것은 회복 능력을 잰 것이지 새 발견을 잰 것이 아니다.

explainX는 이 작업이 보여 주는 것과 보여 주지 않는 것을 따로 나눠 적기도 한다. 보여 주지 않는 쪽에는 변이 전반에서의 성공률, 실험 검증을 건너뛰어도 된다는 근거, 코딩 영역 밖 조절 변이에서의 성능, 여러 유전자가 함께 작용하는 형질, 그리고 답이 알려지기 전에 먼저 내놓는 예측이 들어 있다. 마지막 항목이 이 글이 묻는 자리와 정확히 같다.

멜론 사례의 깔때기에도 같은 종류의 테두리가 쳐져 있다. 에이전트는 2번 염색체 후보에서 삽입·결실·재배열 567개를 걷어 내고 단일염기 변이만 채점했고, 공동 발표문에 나온 동점 두 개도 코딩 영역의 변이였다. 원인이 걷어 낸 567개 쪽이나 코딩 영역 밖에 있었다면 이 경로로는 닿지 못했을 것이다.

논문 자신도 보편적인 우위를 주장하지 않는다. 어떤 모델도 모든 과제에서 앞서지 않는다고 적고, 식물 유전체 언어모델이 표준 파이프라인이 막히는 문제를 풀더라도 고전적인 접근이 다른 문제에서는 여전히 성공적으로 쓰인다고 덧붙인다. 연결 불균형 때문에 원인을 정밀하게 좁히기 어렵다는 근본 난점도 해소됐다고 말하지 않는다.

그 말은 추상에 머물지 않는다. 논문은 고정 모델로 치른 평가 22개 과제의 종합 순위에서 자사 네 판이 1위부터 4위를 차지했다고 밝히면서, 같은 본문에서 변이 효과 예측만큼은 Evo 2가 앞선다고 쓴다. 70억 개짜리 Evo 2가 0.724, 보타닉-1 XL이 0.721이다. 종합에서 앞선다는 말과 모든 칸에서 앞선다는 말은 다르다. 저자들이 내놓은 결론도 둘 중 하나를 고르라는 쪽이 아니다. 유전체 언어모델과 생물정보학 도구를 각자 잘하는 자리에 쓰면서 함께 돌리는 쪽이 가장 효율적으로 보인다는 문장으로 닫는다.

에이전트를 설계하는 자리에서 이 사례는 한 가지를 분명하게 보여 준다. 지휘자는 그대로 두고 도구만 바꿨는데 0.15가 0.90이 됐다. 더 센 범용 모델로 갈아 끼우는 쪽은 공동 발표문에서 이미 효과가 없다고 확인됐다. 성능을 올린 것은 추론의 깊이가 아니라 그 분야의 데이터로 따로 학습한 층이다. 어느 층을 키울지 정해야 할 때 참고할 만한 사례다.

평가 쪽에서는 다른 것이 보인다. 사후 검증 묶음은 만들기 쉽다. 이미 확인된 변이를 모아 숨기고 다시 찾게 하면 된다. 그렇게 낸 문제가 재는 것은 회복 능력이다. 정작 쓰는 사람이 알고 싶은 것은 아직 답이 없는 자리에서의 성적이다. 둘 사이의 거리는 모델을 더 돌려서는 줄지 않는다. 문제를 어떻게 냈는지까지 함께 받아야 줄어든다.

그래서 모델과 함께 받아야 할 기록이 생긴다. 평가에 쓴 정답이 언제 확정됐고, 그 시점이 학습 데이터를 모은 시점보다 앞인지 뒤인지. 한 건이라도 모델이 먼저 지목하고 실험이 나중에 확인한 사례가 있는지. 이 두 줄이 없으면 아무리 높은 점수도 같은 질문을 다시 받게 된다. 데이터를 AI가 쓸 수 있게 준비한다는 말에는 학습용 데이터를 다듬는 일뿐 아니라 채점용 데이터의 내력을 남기는 일도 들어 있다.

여기까지 읽어 주셔서 감사하다. 논문 원문은 bioRxiv에서, 멜론 사례의 단계별 숫자는 구글 딥마인드 공동 발표문에서 볼 수 있다. 여러분의 팀은 외부에서 받은 모델의 성적표를 볼 때, 그 점수가 어떤 문제에서 나왔는지를 함께 묻고 있는가? 의견을 나눠 주시면 좋겠다.

• 1.Living Models. (2026). "BOTANIC-1: a series of long-context plant genomic foundation models in the agentic era." bioRxiv, DOI 10.64898/2026.09.04.749355.
• 2.Google DeepMind. (2026). "Living Models — Gemmaverse." 멜론 사례 단계별 수치와 Recall@1 벤치마크의 출처.
• 3.박찬. (2026). "멜론 수확량 높이는 핵심 유전자, AI가 4분 만에 찾아냈다." AI타임스, 2026년 10월 13일.
• 4.explainX. (2026). "Gemma 4 + BOTANIC-1: Plant DNA Variants Ranked in 4 Min." 사후 검증의 한계를 지적한 해외 분석 블로그.
• 5.Living Models. (2026). "Botanic1 collection." Hugging Face. 공개된 모델 판(S·M·L) 확인 출처.