Executive Summary

대부분의 AI 벤치마크는 정돈된 질문을 던진다. 잘 다듬은 문제에 정답이 하나 있고, 모델이 그것을 맞히는지 센다. GeneBench Pro는 그 관성을 깼다. OpenAI가 계산생물학 전문가들과 함께 설계한 이 벤치마크는 실제 연구 현장에서 마주치는 데이터를 그대로 문제로 가져왔다. 결측값이 뚫려 있고, 실험 배치마다 신호가 어긋나며(배치 효과), 라벨에 잡음이 섞이고, 어떤 분석 절차를 써야 할지 프로토콜조차 모호하다. 이 조건에서 물어보는 것은 하나다. 이 지저분함을 헤치고, 언제 결론을 믿고 언제 유보할지 정할 수 있는가.

이것이 지식 시험과 판단력 시험을 가르는 지점이다. 지식 시험은 "무엇을 아는가"를 묻는다. 유전자 이름, 통계 공식, 분석 도구의 사용법 같은 것이다. 판단력 시험은 "언제 그 지식을 적용하고, 언제 데이터를 믿지 말아야 하는가"를 묻는다. 실전 연구자가 매일 하는 일이 바로 후자다. 데이터를 열어 보고, 이 표본이 편향됐는지, 이 결과가 배치 효과의 잔상인지, 결론을 낼 만큼 신호가 충분한지를 판단한다. GeneBench Pro는 이 판단의 순간을 129개의 문제로 압축했다.

규모도 작지 않다. 129개 문제는 임상·약물유전체·진단부터 인구유전학, 통계유전학, 양적유전학, 조절 오믹스, 암 유전체학, 기능유전체학, 단백체학, 미생물 유전체학, 법유전학까지 10개 주요 도메인에 걸쳐 있고, 그 아래 21개 세부 갈래로 더 쪼개진다. 한 분야의 좁은 능력이 아니라, 계산생물학 전반에서 지저분한 데이터를 다루는 판단력을 넓게 훑도록 설계된 것이다.

문제의 신뢰도를 받치는 검증 규모도 눈여겨볼 만하다. 129문제 중 82문제(약 63.6%)가 대학원생·교수·산업 과학자·박사후연구원 등 전문가 검토를 거쳤고, 일부 문제는 Hugging Face에 공개되거나 제3자 평가 기관에 제공돼 외부 검증 경로를 통과했다. 문제 자체가 "정답이 애매해서 못 푸는 것 아니냐"는 반론을 미리 차단한 셈이다. 즉 모델이 못 푸는 이유는 문제가 부실해서가 아니라, 판단력이 거기까지 미치지 못하기 때문이라는 쪽에 무게가 실린다.

※ 이 리포트는 벤치마크의 채점 루브릭이나 오류 유형별 세부 정답률 표를 제시하지 않는다. 해당 원문(OpenAI·bioRxiv 부록)에 대한 직접 대조가 이루어지지 못했기 때문이며, 이 글은 "무엇을 어떻게 재는가"를 개념 수준에서 서술한다.

31.5%라는 총점은 하나의 숫자지만, 그 안에는 몇 겹의 이야기가 접혀 있다. 어디서 실패가 몰리는지, 그 점수에 이르기까지 얼마나 걸렸는지, 그리고 그 판단을 사람이 대신하면 얼마가 드는지. 총점을 확보된 범위 안에서 정직하게 분해해 본다.

2.1실패가 임상 가까이에 몰려 있다

129문제가 10개 도메인에 어떻게 분포하는지를 보면, 이 벤치마크의 무게중심이 어디에 있는지 드러난다. 가장 큰 덩어리는 임상·약물유전체·진단(26문제)이고, 인구유전학(21문제)이 그 뒤를 잇는다. 이 둘만 합쳐도 47문제, 전체의 36.4%다. 추상적 학술 퍼즐이 아니라, 치료 결정과 맞닿은 영역이 벤치마크의 3분의 1을 넘게 차지한다는 뜻이다. 판단력 격차가 곧 실무 리스크로 전이될 수 있다는 이 리포트의 명제가, 문제 구성 단계에서부터 이미 예고돼 있다.

2.2여섯 세대에 걸쳐 3.7배, 그래도 3분의 1

31.5%는 어느 날 갑자기 나온 점수가 아니다. 같은 "Pro" 추론 설정만 모아 세대별로 늘어놓으면, GPT-5.2 Pro의 8.5%에서 GPT-5.6 Sol Pro의 31.5%까지 여섯 세대에 걸친 성장 곡선이 보인다. 3.7배가 오른 셈이다. 성장 자체는 분명하다. 그러나 그 최고점조차 셋 중 둘은 못 푸는 수준이라는 사실은 변하지 않는다. 능력이 오르는 방향과, 그 능력이 실무 신뢰의 문턱을 넘었는지는 별개의 질문이다.

2.3사람이 대신하면 수천 배 비싸다

이 문제들의 난이도는 비용으로 환산하면 더 실감난다. OpenAI는 인간 전문가가 문제 하나를 푸는 데 20~40시간이 걸린다고 밝혔다. 시간당 200달러의 전문가 인건비로 환산하면 문제당 $4,000~8,000에 이른다(2차 집계 기준 환산치). 반면 같은 문제에 대한 AI 추론 비용은 "단 몇 달러" 수준으로 보고된다. 대략 수백에서 수천 배의 비용 비대칭이다.

이 비대칭이 문제의 핵심을 압축한다. 경제적 유인은 압도적이다. 사람 대신 AI가 판단해 준다면 비용은 1,000분의 1로 줄어든다. 그러나 그 판단의 정답률은 아직 3분의 1이다. "쓰고 싶은 이유"와 "믿어도 되는지의 게이트 부재" 사이의 긴장 — 바이오·헬스처럼 오류 비용이 큰 영역일수록 이 긴장은 더 날카로워진다. (AI 추론 비용의 정확한 달러 수치는 원문에 공개되지 않아, 인간 비용만 정량으로 인용하고 AI 쪽은 정성 표기를 유지한다.)

지금까지가 "31.5%가 얼마나 낮은가"였다면, 이 섹션은 "왜 그것이 우연이 아닌가"를 다룬다. 앞선 소개 글에서 다루지 않은 지점이 여기다. 판단력 격차는 벤치마크를 더 지저분하게 만들수록 벌어지고, 계산을 더 태운다고 메워지지 않는다. 두 개의 관찰이 이를 뒷받침한다.

3.1같은 모델, 더 지저분한 시험, 더 낮은 점수

전작 GeneBench(103문제)와 이번 GeneBench Pro(129문제)에서 같은 모델의 점수를 나란히 놓으면 방향이 분명하다. GPT-5.5(xhigh)는 전작에서 25.0%였는데 Pro에서는 12.0%로 절반 아래로 떨어졌다. Gemini 3.1 Pro는 11.2%에서 3.1%로 주저앉았다. 벤치마크가 더 어렵고 더 지저분해지자, 판단력이 먼저 무너진 것이다. "정돈된 데이터에서는 그럭저럭 하는데 지저분한 데이터에서는 급격히 무너진다"는 패턴이 서로 다른 계열의 두 모델에서 함께 나타났다.

한 가지 주의가 필요하다. 두 벤치마크는 문항 수도 도메인 구성도 다르므로, 이 하락을 "똑같은 시험을 다시 봤더니 떨어졌다"로 읽으면 과잉해석이다. 그러나 두 벤치마크가 겨냥한 능력(지저분한 데이터 속 다단계 통계 추론)은 같고, Pro가 그 지저분함을 의도적으로 키웠다는 점에서, 하락의 방향은 우연이라기보다 설계된 결과에 가깝다.

3.2돈을 더 쓴다고 판단력이 늘지 않는다

그렇다면 계산을 더 태우면, 즉 더 크고 더 오래 생각하는 모델을 쓰면 격차가 메워질까. 전작 GeneBench에서 나온 한 관찰이 그 기대에 제동을 건다. GPT-Rosalind는 토큰을 31% 덜 쓰고도 동급 비교 대상보다 높은 21.6%의 정답률을 냈다. 더 많은 연산이 더 나은 판단으로 곧장 이어지지 않는다는 뜻이다. 판단력은 "얼마나 많이 계산하느냐"가 아니라 "무엇을 어떻게 판단하느냐"의 축에 있다.

이 두 관찰을 합치면 그림이 선명해진다. 판단력 격차는 데이터를 지저분하게 만들수록 벌어지고(3.1), 연산을 더 태운다고 좁혀지지 않는다(3.2). 그렇다면 격차를 메우는 열쇠는 모델 크기나 계산량이 아닌 다른 곳에 있어야 한다. 그 다른 곳이 다음 섹션의 주제다.

※ 이 섹션의 세 수치 묶음 — (3.1) 전작 GeneBench 대비 Pro 점수, (2.2) Pro 세대 궤적, (3.2) GPT-Rosalind 토큰 효율 — 은 서로 다른 벤치마크·추론 설정 기준이다. 예컨대 3.1의 GPT-5.5 25.0%는 전작 GeneBench(103문제) 기준이고, 2.2의 세대 궤적은 GeneBench Pro(129문제) 내부 기준이다. 같은 표로 섞지 말 것.

판단력 격차를 메우는 지렛대는 데이터 쪽에 있다. 여기서부터가 이 리포트의 관점이 가장 또렷해지는 지점이다. 모델이 "언제 결론을 유보할지"를 배우려면, 애초에 그 판단이 필요한 상황을 학습·평가 데이터에서 겪어 봤어야 한다. 그런데 대부분의 학습·평가 데이터는 정돈돼 있다. 결측을 메우고, 이상치를 걷어 내고, 라벨을 다듬어 깨끗하게 만든 뒤 모델에 먹인다. 그 결과 모델은 정돈된 데이터에서의 정확도만 배우고, 지저분한 데이터에서 언제 멈춰야 하는지는 배우지 못한다.

이것이 AI-Ready Data의 "사람 쪽 얼굴"이다. 흔히 데이터 준비도는 "형식이 맞는가, 라벨이 붙어 있는가, 파이프라인에 흐르는가" 같은 기계적 조건으로 이해된다. 그러나 GeneBench Pro가 드러낸 것은 그 반대편의 얼굴이다. 현실의 결측·잡음·모호함을 데이터가 담고 있어야, 모델이 그 앞에서 판단하는 법을 배운다. 지저분함을 학습 단계에서 제거해 버리면, 모델의 내부 표현에는 "유보"라는 선택지가 아예 없다. 판단력의 상한선을 데이터 준비도가 정한다는 말은 이런 뜻이다. 전작보다 지저분한 Pro에서 같은 모델의 점수가 떨어진 것(섹션 3)이 바로 이 방향성의 증거다.

4.1조직 스케일에서 보이는 같은 그림자

이 격차는 모델 한 대의 문제가 아니라 조직 전체에서 같은 모양으로 반복된다. 개별 모델의 판단력 격차가 조직 차원에서는 "데이터 준비도 격차"로 나타난다. 산업 통계가 이를 뒷받침한다. Gartner는 AI-ready 데이터의 부재로 2026년까지 AI 프로젝트의 60%가 포기될 것으로 전망했고, 데이터 관리 리더의 63%가 AI용 데이터 관리 체계가 없거나 있는지 확신하지 못한다고 답했다. 이 두 수치는 Gartner 공식 보도자료로 원문 확인된, 이 리포트에서 가장 신뢰도가 높은 근거다.

다른 조사들도 방향을 같이한다. 실패한 AI 프로젝트의 원인으로 데이터 품질을 지목한 비율이 높고, "AI에 적용할 만큼 품질이 충분한 데이터"를 가졌다고 답한 조직은 소수에 그친다. 아래 수치들은 모두 데이터 준비도가 AI 성공의 병목임을 가리킨다.

이 통계들의 출처 신뢰도는 균일하지 않다. Gartner 60%/63%는 공식 보도자료로 확인됐지만, 85%/12%는 2차 집계만 확인됐다. 함께 자주 인용되는 다른 수치들도 조심해서 다뤄야 한다. 예컨대 "데이터 품질 문제로 영향받는 매출 31%"는 2023년 설문에서 나온 값이 이후 페이지에서 계속 재인용되는 것이며 최신 실적이 아니다. 생성형 AI 프로젝트의 95%가 수익 효과를 못 냈다는 MIT 보고서도 자주 소환되지만, 그 보고서가 지목한 원인은 데이터 품질이 아니라 조직의 통합·운영 방식이었다 — 이를 데이터 준비도 부족의 결과로 보는 것은 업계의 뒤이은 해석이다. 숫자를 원인에 곧장 붙이는 순간 논거가 약해진다.

그래서 실무자는 무엇을 해야 하는가. GeneBench Pro의 교훈은 "AI를 쓰지 말라"가 아니다. 비용 비대칭이 워낙 커서 안 쓰는 선택지는 현실적이지 않다. 교훈은 다른 데 있다. 정답률만 보고 신뢰를 결정하지 말고, 언제 AI의 결론을 믿을지를 설계하라. 세 가지가 실무의 출발점이 된다.

5.1판단 게이트를 설계한다

모델이 항상 옳거나 항상 틀리는 게 아니라 "어떤 조건에서 무너지는지"가 문제라면, 그 조건을 감지해 사람에게 넘기는 게이트가 필요하다. 데이터가 특정 임계치 이상으로 결측·불일치를 보일 때, 모델의 확신도가 낮을 때, 문제가 임상 결정처럼 오류 비용이 큰 영역일 때 — 이런 신호에서 자동 결론을 멈추고 전문가 검토로 전환하는 규칙이다. 정답률 31.5%라는 숫자는 절망의 근거가 아니라, "나머지 3분의 2를 어떻게 걸러 낼 것인가"라는 설계 과제로 읽어야 한다.

5.2데이터 준비도를 신뢰의 게이트로 삼는다

도입 전에 데이터의 준비 상태를 진단하는 일은 형식 점검을 넘어선다. 이 데이터에 결측·배치 효과·라벨 노이즈가 어디에 얼마나 있는지, 특정 하위 집단이 과소 표집되지는 않았는지, 모델이 판단을 유보해야 할 지점이 데이터에 표현돼 있는지를 본다. 특히 실패가 임상에 몰려 있다는 사실(섹션 2)은, 바이오·헬스처럼 오류 비용이 큰 영역일수록 도입 전 데이터 준비도 진단이 신뢰의 게이트가 되어야 함을 뜻한다. 페블러스의 DataClinic 같은 데이터 품질 진단이 겨냥하는 지점이 정확히 여기다 — "데모에선 되는데 현장에선 무너지는" 현상의 데이터-품질적 원인을 도입 전에 드러내는 것.

5.3지저분함을 데이터로 되돌려 놓는다

가장 근본적인 지렛대는 학습·평가 데이터 자체에 현실의 지저분함을 반영하는 것이다. 정돈된 데이터만 먹이면 모델은 "유보"를 배울 기회가 없다(섹션 4). 반대로 현실의 결측·노이즈·모호한 프로토콜을 담은 데이터로, 또는 그런 상황을 재현한 시뮬레이션으로 학습·평가하면, 모델은 언제 결론을 내리고 언제 멈춰야 하는지를 데이터에서 배운다. 판단력은 연산량이 아니라 이 경험의 폭에서 온다(섹션 3.2가 그 방증이다).

정리하면, 실무의 질문은 "이 모델의 정답률이 몇 %인가"가 아니라 다음 세 가지다.

• 이 결론을 믿어도 되는 조건과 넘겨야 하는 조건을 우리가 정의해 두었는가 (판단 게이트).
• 이 AI가 먹는 데이터의 준비 상태를 도입 전에 진단했는가, 특히 오류 비용이 큰 영역에서.
• 우리 학습·평가 데이터가 현실의 지저분함을 담고 있는가, 아니면 정돈된 정확도만 재고 있는가.

세 질문 모두 정답률 숫자 바깥에 있다. 그리고 셋 다 데이터 준비도로 수렴한다. 판단력의 상한선을 데이터가 정한다면, 신뢰의 게이트도 데이터에서 세워야 한다.

우리가 이 벤치마크를 오래 들여다본 이유는, 그것이 우리가 줄곧 해 온 주장을 남의 실험으로 증명해 주기 때문이다. AI 담론의 무게중심은 오랫동안 "정확도"에 있었다. 더 어려운 시험에서 더 높은 점수를 내는 모델이 더 좋은 모델이라는 식이다. GeneBench Pro는 그 프레임에 균열을 낸다. 정돈된 데이터에서의 정확도가 아니라 지저분한 데이터에서의 판단력이 실무의 진짜 병목이며, 그 판단력의 상한을 데이터 준비도가 정한다는 것 — 이것이 우리가 "정확도 담론에서 판단력·데이터 준비도 담론으로" 옮겨야 한다고 말해 온 이유다.

벤치마크가 실패하는 지점의 목록은, 공교롭게도 데이터 품질 작업이 다루는 문제의 목록과 겹친다. 결측, 배치 효과, 라벨 노이즈, 모호한 프로토콜. 모델이 이 앞에서 언제 유보할지 모른다는 것은, 그 지저분함이 학습·평가 데이터 준비 단계에서 다뤄지지 않았다는 뜻이기도 하다. 데이터 품질 진단, 현실 노이즈를 반영한 데이터 준비, 결측·잡음 상황을 재현하는 시뮬레이션 — 이 작업들이 겨냥하는 대상이 곧 벤치마크가 실패하는 그 지점이다.

고객과 파트너의 언어로 옮기면 더 분명하다. "데모에선 되는데 현장에선 무너진다"는 흔한 하소연의 상당 부분은, 현장 데이터의 지저분함을 도입 전에 진단하지 않은 데서 온다. 특히 실패가 임상·진단에 몰려 있다는 이번 결과는, 오류 비용이 큰 영역일수록 도입 전 데이터 준비도 점검이 선택이 아니라 신뢰의 전제 조건임을 보여 준다. 우리가 만드는 도구들이 답하려는 질문이 바로 이것이다.

자주 묻는 질문 (FAQ)

독자들이 이 벤치마크와 판단력 격차를 두고 자주 던지는 질문을 모았다. 무엇을 측정하는지, 왜 31.5%가 낮은 점수인지, 지식과 판단력을 시험하는 벤치마크가 어떻게 다른지, 모델을 더 키우면 해결되는지, 그리고 이 결과가 우리 조직의 AI 도입과 무슨 상관인지까지. 숫자에 압도되기 전에, 질문 하나를 손에 쥐는 편이 먼저다.

아래 수치 상당수는 OpenAI 발표에 대한 2차 집계(explainX.ai, 기술 매체 등)에 기반하며, 1차 원문 PDF 직접 대조는 완료되지 못했다. 본문은 그 출처 성격을 밝혀 인용한다. 데이터 준비도 통계 중 Gartner 60%/63%만 공식 보도자료로 원문 확인됐다.

벤치마크 원문·발표

• 1.OpenAI. (2026). "Introducing GeneBench-Pro." OpenAI. openai.com/index/introducing-genebench-pro
• 2.GeneBench-Pro. (2026). "Evaluating Multistage Statistical Reasoning in Computational Biology." bioRxiv. DOI: 10.64898/2026.06.29.735386. biorxiv.org
• 3.OpenAI. (2026). "GeneBench: Assessing AI Agents for Multi-Stage Inference Problems in Genomics and Quantitative Biology." bioRxiv (전작, 2026-04-23). biorxiv.org

데이터 준비도·산업 통계

• 4.Gartner. (2025-02-26). "Lack of AI-Ready Data Puts AI Projects at Risk." Gartner Newsroom (60%/63% 원문 확인). gartner.com
• 5.Informatica. (2025). "CDO Insights 2025." Informatica. informatica.com
• 6.Monte Carlo Data. (2023, 이후 재인용). "The Annual State of Data Quality Survey" (31% 매출 영향, 2023년 설문 기원). montecarlodata.com

2차 보도·집계

• 7.TechTimes. (2026-07-02). "OpenAI Genomics Benchmark: AI Judgment Gap Exposed on Research-Grade Tasks." techtimes.com
• 8.explainX.ai. (2026). "GeneBench-Pro: OpenAI Computational Biology" (도메인 분포·비용 환산 2차 집계). explainx.ai