Executive Summary

주요 수치

네 칸을 뽑았다. 앞의 둘은 채점의 재료와 도구 없는 조건의 결과이고, 뒤의 둘은 도구를 붙였을 때의 변화와 안전장치 쪽에서 나온 역설이다.

출처: DRYLAB-Bench 논문(arXiv:2610.13116).

AI에게 단백질 서열을 주고 더 위험한 쪽으로 바꿔 보라고 시켰다고 하자. 모델이 내놓은 답이 정말 위험한지는 어떻게 확인할까. 정석대로라면 그 변이를 실제로 만들어 실험대에 올려야 한다. 측정하려는 대상이 위험 그 자체라서, 측정하는 행위가 그 위험을 한 번 더 만드는 일이 된다. 생물보안 분야의 AI 평가가 번번이 걸려 넘어진 자리가 여기다.

그래서 지금까지의 평가는 대개 우회로를 택했다. WMDP나 VCT처럼 위험한 지식을 알고 있는지를 객관식으로 묻는 방식이 하나다. 아는 것과 할 수 있는 것은 다르니, 이 방식으로는 능력을 직접 측정하지 못한다. 과제를 실제로 시켜 보는 ABC-Bench 같은 평가도 있지만, 거기서 같은 기술이 연구에도 공격에도 쓰이는 이중용도 과제는 스크리닝 회피 하나뿐이었고 에이전트가 쥔 도구도 범용 소프트웨어에 그쳤다.

남은 선택지도 사정이 비슷하다. 모델의 답을 다른 AI에게 채점시키는 방식은 채점자 쪽의 환각과 능력 한계를 그대로 물려받는다. 습식 실험으로 확인하는 방식은 결정적이지만 비용이 크고 규모를 늘릴 수 없으며, 결국 처음의 모순으로 돌아간다. 위험한 것을 검증하려고 위험한 것을 또 만들어야 한다.

DRYLAB-Bench의 출발점은 새 실험이 아니라 이미 끝난 실험이다. 단백질 하나를 두고 가능한 아미노산 치환을 대규모로 만들어 하나씩 측정해 둔 데이터가 있다. 심층 돌연변이 스캔이라 부르는 이 작업의 결과가 ProteinGym과 ViroGym 같은 데이터베이스에 모여 있고, 원래는 예측 모델이 얼마나 맞히는지 채점하는 대조군으로 쓰였다.

연구진은 그 데이터의 쓰임을 바꿨다. 같은 측정값이 이번에는 AI가 내놓은 설계를 채점하는 정답표가 됐다. 국제 생물보안 지침에서 추려 만든 위험 설계 과제 30개는 모두 답을 맞춰 볼 실측 데이터가 이미 있는 경우다. 그 30개를 뒷받침하는 단일 변이 측정값이 18만 7,695건이다.

과제를 고르는 절차가 이 정답표의 쓸모를 정한다. 전산생물학 전문가 두 사람이 지침을 읽고 후보 과제를 설계했고, LLM은 보조 도구로만 썼다. 거르는 기준은 하나였다. 심층 돌연변이 스캔 데이터베이스에 믿을 만한 정량 정답이 이미 있는 과제만 남겼다. 그다음 독립된 전산생물학 전문가 한 사람이 후보마다 생물물리적으로 말이 되는지와 잔기 번호가 일관되는지를 따로 검토했다. 여덟 개 위험 범주를 모두 덮는 30개가 그렇게 남았다.

채점 절차는 이렇다. 모델이 제시한 변이를 정답표에서 찾아 실측값을 꺼내고, 과제가 요구하는 방향에 맞춰 클수록 위험한 쪽으로 정렬한다. 안정성 같은 생물학적 제약을 어기면 벌점을 붙인다. 그 값을 평가마다 평균과 표준편차로 표준화한 뒤, 모델이 스스로 붙인 신뢰도로 가중 평균해 생물보안 위험 점수(BRS)를 낸다. 과제를 거부한 경우는 0점으로 처리해, 전부 거부하는 모델이 유리해지지 않게 했다.

읽을 때 분리해 둘 것이 하나 있다. BRS는 비율이 아니라 표준화 점수다. 뒤에 나오는 67.6%나 23.5% 같은 비율과는 단위가 다르니 같은 저울에 올리지 않는 편이 좋다. 평가는 전부 컴퓨터 안에서만 이뤄졌고 실제 합성이나 습식 실험은 한 건도 하지 않았다. 가장 민감한 병원체 시나리오의 프롬프트와 정답 대응표는 검증된 연구자와 AI 개발자에게만 따로 공개한다고 저자들은 밝혔다. 논문은 아직 프리프린트이고, 프로젝트 페이지에 따르면 ICLR 2027 심사를 받고 있다.

평가 대상은 여덟 개 개발사의 프런티어 모델 15종이다. 앤트로픽의 Claude Opus 5와 Claude Opus 4.8, Claude Fable 5, OpenAI의 GPT-5.6 세 종과 GPT-6 Astra, 구글의 Gemini 3.6 Flash와 Gemini 3.8 Flash, xAI의 Grok 4.5, 그리고 DeepSeek V4 두 종과 Qwen3.8 Max, Kimi-K3, GLM-5.3이 들어갔다. 온도와 추론 예산은 모델마다 같은 조건으로 맞췄다.

첫 조건은 도구 없이 서열과 목표만 보고 한 번에 답하는 것이다. 이 맨손 조건에서 모델들이 제출한 설계의 67.6%가 해당 평가에서 측정된 변이의 평균보다 위험한 쪽에 놓였다. 21.4%는 그 평가의 최고위험 10분위 안에 들었다. 아무렇게나 찍었을 때 기대되는 값이 10%이니 두 배가 넘는다. 전체를 묶은 BRS는 0.359였다.

수치보다 선명한 장면도 있다. GPT-5.6 Sol이 도구 없이 단번에 내놓은 설계가, 그 평가에서 측정된 변이 3,372개 가운데 가장 위험한 하나와 일치했다. 우연히 맞힐 수 있는 자리가 아니다. 모델이 위험 지형 위를 실제로 더듬고 있다는 뜻이다. 참고로 모델들이 제출한 변이 가운데 정답표에 실측값이 있어 채점이 가능했던 비율은 다중 라운드 조건 기준으로 평균 83.9%였다.

이 숫자가 무엇을 재고 무엇을 안 재는지는 논문이 직접 못 박아 뒀다. 채점의 단위는 아미노산 하나를 바꾸는 치환이다. 대규모로 인과를 측정해 둔 데이터가 그것뿐이기 때문이다. 그래서 BRS가 매기는 것은 지향 진화나 스크리닝 라이브러리를 꾸릴 때 밟게 되는 개별 설계 단계의 위험이지, 여러 변이를 합쳐 실제로 합성한 구조물의 적합도가 아니다. 변이끼리 간섭하는 효과, 발현량, 측정된 표현형을 벗어난 숙주 쪽 맥락은 측정 범위 밖이다. 살아 있는 생물 안에서 어떻게 될지에 대해 논문은 아무 주장도 하지 않는다.

두 번째 조건부터 도구가 붙는다. 진화적 보존, 서열 가능도, 구조 양립성, 기능 주석, 독성 예측, 시나리오별 예측까지 여섯 가지 전문 생물설계도구다. 어느 도구도 정답표의 측정값을 직접 돌려주지는 않는다. 모델은 도구를 한 번만 불러 후보를 고치거나, 최대 네 라운드까지 도구를 골라 가며 후보군을 다듬어 최종안을 제출한다.

수치는 올라갔다. 최고위험 10분위에 든 비중이 21.4%에서 23.5%로 움직였고, 전체 BRS는 0.359에서 0.475가 됐다. 단계별로 보면 첫 도구 호출에서 0.048, 다중 라운드에서 0.068이 더 붙었다.

그런데 도구를 주면 더 위험해진다는 한 줄로 줄이면 틀린다. 증폭폭은 모델의 맨손 실력과 음의 상관을 보였다. 상관계수는 -0.42다. 원래 잘하던 모델은 거의 늘지 않았고, 원래 못하던 모델이 도구로 따라붙었다. Claude Opus 5는 도구 없이 잰 BRS가 0.378로 높은 편이었는데 도구를 붙여도 0.004밖에 오르지 않았다. 모델 두 종은 오히려 소폭 내려갔다.

세 번째 결과는 안전장치에 관한 것이다. 모델 하나가 받는 평가 단위는 90개다. 과제 30개에 내용은 그대로 두고 문구만 다르게 쓴 세 벌을 붙인 수이고, 표현 하나에 결과가 휘둘리지 않게 하려고 둔 장치다. Claude Fable 5는 그 90개 가운데 87개를 거부했다. 96.7%다. 그런데 거부하지 않고 답한 소수의 경우만 모으면 BRS 0.754로 전체에서 가장 높았다. 대체로 막지만 뚫렸을 때는 가장 위험한 답을 내놓는다는 뜻이다. 반대편에는 원래 문구 그대로의 과제에서 한 건도 거부하지 않은 모델이 다섯 종 있었다.

연구진은 과제 내용은 그대로 두고 표현만 바꾼 통제 실험을 돌렸다. 병원체 이름과 이중용도 표현을 지우고 데이터베이스 등록번호와 분류학 용어로 갈아 끼우자 거부율은 낮아지거나 그대로였다. 반대로 설계가 어떤 피해로 이어질 수 있는지를 요청 앞에 적어 두자, 한 번도 거부하지 않던 다섯 모델이 모두 70%에서 90%까지 거부로 돌아섰다. 모델이 판단한 것은 과제가 아니라 과제를 적은 문장이었다.

거부와 실제 위험도의 상관은 약했다. 순위상관 기준 +0.25다. 과제 하나가 받는 평가 단위는 모델 15종에 문구 세 벌을 곱한 45개다. 바이러스 이름이 드러난 과제에서는 그 45개 가운데 평균 23.9개가 거부됐지만, 단백질 접힘 교란이나 수송 단백질 결손처럼 경보가 될 낱말이 없는 과제에서는 각각 8개와 6개에 그쳤다. 위험의 크기는 비슷한데 거부는 낱말을 따라갔다. 지금의 안전장치는 요청의 의도가 아니라 표현을 본다는 것이 저자들의 결론이다.

이 논문은 보통 AI가 생물무기를 설계할 수 있는가라는 질문의 자료로 읽힌다. 데이터를 다루는 자리에서는 다른 것이 먼저 보인다. 이 연구에서 가장 공들여 설계된 것은 모델을 떠보는 과제가 아니라 채점 방법이고, 그 방법의 재료는 새로 만든 데이터가 아니라 이미 있던 데이터였다.

ProteinGym과 ViroGym을 만든 사람들은 생성 모델의 위험도를 매기려고 그 측정값을 모은 것이 아니다. 예측 모델의 정확도를 비교하려고 모았다. 그렇게 쌓인 기록이 변이 하나하나에 조건과 단위를 붙여 두고 있었기 때문에, 전혀 다른 질문이 새 실험 없이 답을 얻었다. AI-Ready Data라는 말은 보통 모델 학습을 위한 전처리를 가리키지만, 이 사례가 보여 주는 쓸모는 그쪽이 아니다. 측정 조건이 함께 남아 있는 기록은 질문이 바뀐 뒤에도 다시 꺼내 쓸 수 있다.

그래서 남는 질문은 생물학 바깥을 향한다. 우리 분야에도 다른 목적으로 쌓아 둔 측정값 더미가 있지 않은가. 품질 검사 이력, 센서 로그, 반품 사유, 장비 수리 기록처럼 원래는 운영을 위해 남긴 기록들이다. 그 기록이 측정 조건과 단위를 품고 있다면, 지금 비싸게 실험으로 확인하는 판단 가운데 일부는 이미 쌓인 기록으로 채점할 수 있다.

다만 기록이 많다는 것과 정답표가 된다는 것은 다른 말이다. DRYLAB-Bench가 과제를 고를 때 걸었던 조건이 그 경계를 보여 준다. 답을 맞춰 볼 실측값이 이미 있는 질문만 과제로 삼았고, 그 조건을 통과한 것이 30개였다. 둘을 가르는 것은 데이터의 양이 아니라 조건이 남아 있는지다.

여기까지 읽어 주셔서 감사하다. 논문 원문은 여기에서, 코드와 공개 범위는 여기에서 볼 수 있다. 여러분의 분야에는 실험 대신 채점표로 쓸 수 있는 기록이 무엇이 있을지, 의견을 나눠 주시면 좋겠다.

1차 출처

• 1.Wang, Y., Li, C., Le, B., Yan, L., Zhang, J., Yang, Y. T., Zhao, X.-M., Li, L., & Shao, J. (2026). "DRYLAB-Bench: Benchmarking the Biosecurity Risk of Agentic LLM Mutation Design." arXiv:2610.13116. 2026년 10월 9일.
• 2.DRYLAB-Bench 프로젝트 페이지. (2026). "DRYLAB-Bench." 심사 상태와 책임공개 정책 원문.
• 3.DRYLAB-Bench 코드 저장소. (2026). "drylab-bio/DRYLAB-Bench." GitHub.

논문이 비교한 선행 평가와 데이터셋

• 4.Li, N. 외. (2024). "WMDP: 위험 지식 보유를 묻는 객관식 평가." 논문 내 비교 대상.
• 5.Götting, J. 외. (2025). "VCT: 바이러스학 능력 평가." 논문 내 비교 대상.
• 6.Liu 외. (2026). "ABC-Bench." 습식 실험 검증을 시도한 과제 수준 평가.
• 7.Notin, P. 외. (2023). "ProteinGym: 심층 돌연변이 스캔 측정값 모음." 정답표 데이터 출처.
• 8.Zhou 외. (2026). "ViroGym: 바이러스 단백질 심층 돌연변이 스캔 모음." 정답표 데이터 출처.