Executive Summary

2026년 6월 30일, OpenAI가 계산생물학 벤치마크 GeneBench Pro를 공개했다. 실제 유전체 연구에서 나오는 문제를 던지고 채점하는 시험인데, 지금까지 나온 어떤 모델도 절반을 넘기지 못했다. 가장 높은 점수를 받은 GPT-5.6 Sol Pro가 31.5%. 나머지 셋 중 둘은 틀린 셈이다. 그렇다면 나머지 68.5%는 왜 틀렸을까.

정작 눈여겨볼 건 틀리는 방식이다. 모델은 데이터에 이상치나 교란 변수가 섞여 있다는 걸 알아챈다. 그런데 그 사실을 이후 분석 결정에 반영하지 못한다. OpenAI는 이 실패를 "인식과 행동의 간극(noticing-to-acting gap)"이라 불렀다. 몰라서 틀리는 게 아니라, 알고도 그냥 지나쳐서 틀린다.

데이터 품질을 다루는 독자에게 이 결과는 익숙한 질문의 뒷면이다. AI-Ready Data가 "AI가 쓸 수 있는 깨끗한 데이터를 만드는 일"이라면, GeneBench Pro는 "AI가 지저분한 데이터를 읽고 판단할 수 있게 만드는 일"을 묻는다. 두 질문은 같은 상한선을 공유한다.

판단이 무너진 규모를 숫자로 보면 이렇다.

31.5%

최고 점수

GPT-5.6 Sol Pro, 최대 추론 설정

16.0%

Claude Opus 4.8

2위권 모델의 정답률

<5%

출발점

벤치마크 설계 초기 GPT-5

129

문제 수

10개 도메인, 결정론적 채점

1

지식 시험이 끝난 자리

MMLU나 GPQA 같은 기존 벤치마크에서 AI는 이미 상한에 가까워졌다. GPQA의 생물 파트는 최상위 모델이 81%를 넘겼다. 이런 시험은 대개 지식을 묻는다. 텍스트 어딘가에 답이 있고, 모델은 그것을 찾아 꺼내면 된다.

GeneBench Pro는 다른 것을 묻는다. 문제는 실제 연구 상황에 가깝다. 노이즈가 섞인 유전체 데이터를 주고, 적절한 분석 경로를 고르고, 그 뒤에 이어지는 결정에 맞는 추정값을 내라고 요구한다. 통계 유전학, 암 유전체학, 약물유전체학, 임상 진단까지 10개 도메인에서 129개 문제가 나온다. 각 문제는 알려진 인과 구조에서 생성되기 때문에 정답이 확정적이다. 그럴듯하지만 틀린 분석은 채점 단계에서 걸러지도록 설계됐다.

난이도를 가늠하는 지표 하나. 사람 전문가가 한 문제를 풀려면 20~40시간이 걸리는 것으로 추정된다. 모델은 같은 문제를 몇 달러어치 추론으로 시도한다. 그 조건에서 나온 순위는 아래와 같다.

모델 GeneBench Pro 정답률
GPT-5.6 Sol Pro31.5%
GPT-5.6 Sol28.7%
Claude Opus 4.816.0%
GPT-5.512.0%
GPT-5.48.9%
Gemini 3.5 Flash8.1%
Gemini 3.1 Pro3.1%

지식 시험이라면 이 모델들은 모두 우등생이다. 그런데 판단을 묻는 시험으로 옮겨오자 최상위 모델조차 3분의 1을 겨우 넘겼다. 순위표가 말하는 건 성능의 격차가 아니라, 능력의 종류가 바뀌었다는 사실이다.

2

보고도 반영하지 못한다

OpenAI가 틀린 답들을 뜯어보고 붙인 이름이 noticing-to-acting gap이다. 모델은 데이터의 품질 문제를 대체로 알아챈다. 이상치가 있다, 교란 변수가 섞여 있다, 품질 관리 신호가 실패했다 같은 것을 서술까지 한다. 그런데 그 인식을 다음 분석 결정으로 밀고 나가지 못한다. 문제를 발견한 문장과 분석을 수행한 문장 사이에서 판단이 끊긴다.

약물유전체 생존 분석 문제가 대표적이다. GPT-5.5는 치료 변수가 시간에 따라 변한다는 점을 알아챘지만, 치료와 교란 요인이 서로 되먹임하는 구조는 처리하지 못했다. 반면 GPT-5.6 Sol은 새 사용자 설계 위에 구조적 Cox 모델을 얹고, 역확률 가중치를 안정화하고, 90일의 효과 지연을 반영해 인과적으로 올바른 경로를 골랐다. 두 모델의 차이는 아는 지식의 양이 아니라, 알아챈 것을 결정에 연결하는 판단이었다.

noticing-to-acting gap 모델은 이상을 알아챘다. 하지만 분석 결정에 반영하지 못했다. 하위 모델 (GPT-5.5 등) 이상치·교란 변수 포착 서술하지만 이후 분석에 미반영 단절 기본 분석 그대로 적용 인과 구조 미반영 ✗ GPT-5.6 Sol Pro 이상치·교란 변수 포착 구조 파악 후 결정에 반영 연결 인과적 분석 적용 올바른 추정 ✓
▲ 페블러스 원본 도식 — noticing-to-acting gap (GeneBench Pro 연구 재해석)

OpenAI는 이 능력을 "연구 취향(research taste)"이라 표현했다. 데이터가 어떤 분석을 지지할 수 있는지, 어떤 결과가 충분히 강건해서 다음 결정에 실어도 되는지를 가늠하는 감각이다. 모호한 데이터 앞에서 가정을 수정하는 일에 가깝다.

성적이 나쁜 AI 시스템의 문제는 대개 "모른다"로 요약된다. GeneBench Pro가 보여준 실패는 그와 다르다. 모델은 알고 있었다. 다만 그 앎을 행동으로 옮기지 못했다. 지식의 부족이 아니라 판단의 단절이다.

3

AI-Ready Data의 반대편

AI-Ready Data는 보통 한쪽 방향으로 이야기된다. AI가 잘 쓸 수 있도록 데이터를 정제하고, 구조를 맞추고, 노이즈를 줄이는 일이다. GeneBench Pro는 그 화살표를 반대로 돌린다. 데이터를 아무리 다듬어도 실제 연구 데이터에는 지저분함이 남는다. 그렇다면 질문은 이렇게 바뀐다. AI 모델은 그 지저분함을 읽고 올바른 판단을 내리도록 설계됐는가.

이 렌즈로 보면 벤치마크 점수의 의미가 분명해진다. 31.5%라는 숫자는 "데이터 품질 문제를 인식하고 그것을 하류 결정에 반영하는 능력"의 측정치에 가깝다. 데이터가 깨끗할수록 판단할 거리가 줄어 점수가 오르고, 데이터가 지저분할수록 판단이 개입해야 해서 점수가 무너진다. 결국 데이터 품질이 AI 과학 판단의 상한선을 긋는다.

실무 설계에 주는 함의는 단순하다. 데이터의 지저분함을 모델에게 전부 떠넘기는 파이프라인은 바로 이 간극에서 무너진다. 판단은 모델 안에서만 일어나는 사건이 아니라, 데이터를 준비하는 단계에서 이미 시작되어야 한다. 어떤 이상치를 남기고 어떤 신호를 강조할지 정하는 전처리 자체가 하류 판단의 절반을 결정한다.

4

31%가 온 길

31.5%는 낮은 숫자다. 그런데 이 벤치마크를 설계하기 시작하던 시점의 GPT-5는 5%를 넘지 못했다. 같은 컴퓨팅 예산에서 GPT-5.6 Sol Pro는 두 세대 전인 GPT-5.2보다 약 6배 많은 문제를 풀었다. 정지된 낮은 점수가 아니라 빠르게 올라오는 낮은 점수다. OpenAI는 이 벤치마크가 2026년 말이면 포화에 이를 것으로 내다봤다. 지금 측정하는 능력 자체가 곧 이동한다는 뜻이다.

GeneBench Pro 정답률 추이 설계 초기 <5%에서 31.5%로 — OpenAI: 2026년 말 포화 예상 0% 10% 20% 30% 40% GPT-5 초기 <5% GPT-5.4 8.9% GPT-5.5 12.0% GPT-5.6 Sol 28.7% GPT-5.6 Sol Pro 31.5%
▲ 페블러스 원본 도식 — GeneBench Pro 모델별 정답률 (OpenAI 발표 수치 기반)

그래서 이 숫자를 실무로 옮기면 세 가지가 남는다.

  • • 협업 구조로 설계한다. 최상위 모델도 3분의 2를 틀리는 지금, 다단계 판단이 필요한 분석을 완전 자동화 파이프라인에 맡기기는 이르다. 사람이 판단 지점을 지키는 인간·AI 협업 구조가 현실적이다.
  • • 데이터 품질 경계를 먼저 본다. 도입 판단의 첫 질문은 "모델이 충분히 큰가"가 아니라 "우리 데이터의 지저분함이 이 모델의 판단 경계 안에 있는가"다.
  • • 다음 시험을 예상한다. GeneBench Pro가 포화되면 시험은 더 긴 의사결정 지평선, 여러 에이전트의 협업, 실험 설계 자체를 판단하는 능력으로 옮겨간다.

AI가 실제 데이터 앞에서 무너진 지점은 지식이 아니라 판단이었다. 그리고 그 판단이 어디까지 갈 수 있는지는, 데이터가 얼마나 정직하게 정리되어 있느냐에 먼저 달려 있다. 모델을 키우는 일과 데이터를 다듬는 일은 같은 상한선의 양쪽 끝을 붙잡고 있다.

R

참고문헌

공식 문서

학술 논문

업계·보도