Executive Summary

엔비디아가 화학 실험 기록을 문항으로 바꾼 공개 데이터셋을 모델과 함께 내놓았다. 11월 16일 시카고에서 열린 슈퍼컴퓨팅 콘퍼런스 SC26에서 공개한 과학용 꾸러미 Nemotron for Science에는 비전-언어 모델 하나와 사후 학습 레시피, 그리고 약 5만 문항짜리 화학 데이터셋 LitmusBench v0.2가 같이 들어 있다. 문항의 재료는 분자 물성 데이터와 실제 신약 탐색 기록이고, 전부 허깅페이스에 올라와 있다.

발표에서 가장 많이 인용된 숫자는 61%다. 협력사 라일라 사이언시스가 실험실 피드백으로 모델을 후속 학습해 양자점 합성 프로토콜 정확도를 그 수준까지 올렸고, 같은 과제에서 GPT-6 Astra가 받은 54%를 앞섰다. 다만 이 비교를 설계하고 측정한 쪽은 엔비디아도 제3의 평가기관도 아니라 라일라 사이언시스 자신이다. 그 수치를 잰 시험대도 LitmusBench v0.2가 아니라 라일라 사이언시스가 고른 자체 과제였다. 공개된 5만 문항에 바깥에서 매긴 점수는 아직 한 건도 없다.

1절부터 4절까지는 엔비디아 발표와 보도가 전한 내용을 따라간다. 이 공개를 AI-Ready Data의 문제로 보는 5절은 이 글의 해석이다.

주요 수치

출처: 엔비디아 보도자료(2026-11-16) 및 SiliconANGLE·CDO Magazine 보도(2026-11-17)

첫 칸은 공개된 문항의 규모이고, 둘째 칸은 앞에서 말한 61%와 그 비교 상대다. 협력사가 고른 자체 과제에서 나온 값이라, 공개된 문항으로 잰 성적과는 다르다. 셋째 칸은 공개된 문항으로 바깥에서 성적을 매긴 사례의 수이며, 넷째 칸은 엔비디아가 성적과 함께 강조한 비용 차이다.

약 5만 문항

LitmusBench v0.2의 규모

분자 물성 데이터와 신약 탐색 기록에서 뽑았다

61% vs 54%

양자점 합성 프로토콜 정확도

라일라 사이언시스가 후속 학습한 모델과 GPT-6 Astra

0곳

독립 점수를 낸 외부 기관

공개 직후라 제3자가 매긴 성적이 아직 없다

10~20배

추론 비용 차이

엔비디아 발표 기준으로 비교 대상보다 낮다

1

LitmusBench는 무엇을 묻나

LitmusBench v0.2를 화학 지식 퀴즈로 생각하면 성격을 놓친다. 문항의 재료는 실험 기록이다. 분자가 물에 얼마나 녹는지, 몸 안에 들어가 어떻게 흡수되고 분해되는지 같은 물성 데이터와, 실제 신약 탐색 과정에서 쌓인 기록이 문항으로 바뀌었다. 묻는 내용도 암기한 지식보다 분자가 어떻게 행동할지에 대한 예측에 가깝다.

규모는 약 5만 문항이다. 쓰임은 둘이다. 모델의 성적을 매기는 평가용이면서, 동시에 모델을 과학 과제에 맞추는 사후 학습 자료로도 쓰도록 설계됐다. 시험지와 교재가 한 묶음으로 나왔다.

실험 기록이 문항이 되고, 문항이 두 갈래로 쓰인다 분자 물성 데이터 용해도, 흡수와 분해 신약 탐색 기록 실제 실험에서 쌓인 자료 LitmusBench v0.2 약 5만 문항 허깅페이스 공개 평가 모델 성적을 매긴다 사후 학습 모델을 과학 과제에 맞춘다 문항마다 라이선스 꼬리표가 따로 붙는다 ChEMBL에서 온 문항은 CC-BY-SA-4.0, 나머지는 OpenMDW-1.1
▲ 페블러스 원본 도식. LitmusBench v0.2의 재료와 쓰임을 한 장에 정리했다. | 출처: StorageNewsletter, 엔비디아 보도자료

공개 방식에서 한 가지가 눈에 띈다. 데이터셋을 직접 들여다본 2차 보도에 따르면 레코드마다 question_license 필드가 붙어 있고, ChEMBL에서 가져온 문항에는 CC-BY-SA-4.0이, 나머지 문항에는 OpenMDW-1.1이 적용된다. 데이터셋 전체에 라이선스 하나를 붙이고 끝내는 관행보다 번거로운 선택이다. 대신 받아 쓰는 쪽에서는 어느 문항을 어떤 조건으로 다시 쓸 수 있는지를 문항 단위로 가릴 수 있다.

2

성적을 낸 쪽이 곧 성적을 매긴 쪽이다

이번 발표에 실린 과학 성적은 모두 협력사가 낸 것이다. 자주 인용되는 세 곳의 결과를 나란히 놓으면 조건이 서로 다르다는 것이 드러난다. 과제도 다르고, 비교 상대도 다르고, 수치의 의미도 다르다.

협력사 과제 보고된 수치 측정한 쪽
라일라 사이언시스
Lila Sciences
양자점 합성 프로토콜 정확도 61%, 같은 과제의 GPT-6 Astra는 54%. 후속 학습 전에 견주면 거의 두 배 실험실 피드백으로 직접 후속 학습한 뒤 측정
테르나
Therna
mRNA 단백질 발현량 구간 예측 프론티어 모델 대비 정확도가 거의 두 배, 과학자가 설명을 선호한 비율 96% 자체 적응 작업을 거친 뒤 측정
테레이 테라퓨틱스
Terray Therapeutics
화학 반응식 도식에서 반응물·생성물·조건 추출 RxnScribe 테스트에서 주석 반응의 약 76% 복원 자체 적응 작업을 거친 뒤 측정

▲ 엔비디아 발표와 2026년 11월 17일 보도에 실린 협력사 결과. 세 줄은 서로 다른 과제라 합산하거나 평균 내서는 안 된다. | 출처: SiliconANGLE, StorageNewsletter

세 줄의 공통점은 맨 오른쪽 칸에 있다. 과제를 고른 쪽, 모델을 자기 데이터로 후속 학습한 쪽, 결과를 측정한 쪽이 모두 같다. 엔비디아가 출하한 체크포인트를 그대로 돌려서 나온 숫자는 하나도 없다. 분석 매체 오르카라우터는 SC26 발표에 담긴 과학 수치가 전부 그 결과에 이해관계가 있는 쪽에서 나왔다고 짚었다.

엔비디아 보도자료는 라일라 사이언시스의 61%를 두고 후속 학습이 정확도를 거의 두 배로 올린 값이라고 적었다. 한 문장에 나란히 붙은 두 수치는 서로 다른 축을 잰다. 61%와 54%의 7%p 차이는 모델 둘을 견준 값이고, 거의 두 배는 같은 모델의 후속 학습 전후를 견준 값이다. 두 번째 수치가 가리키는 공은 출하된 모델이 아니라 라일라 사이언시스가 실험실에서 모은 피드백에 있다.

7%p라는 격차 자체를 의심할 근거가 따로 있는 것은 아니다. 프로토콜이 제대로 짜였다면 진짜 차이일 수 있다. 다만 이 숫자가 보장하는 범위는 좁다. 라일라 사이언시스가 고른 과제에서, 라일라 사이언시스가 수행한 후속 학습으로, 라일라 사이언시스가 지목한 상대를 두고 나온 값이다. 같은 모델이 다른 화학 과제에서 어떻게 하는지, 다른 팀이 같은 과제를 다시 돌리면 몇 점이 나오는지는 아직 아무도 모른다.

오르카라우터는 7%p보다 추론 비용이 10~20배 낮다는 것을 더 결정적인 수치로 본다. 정확도 차이는 조건을 바꾸면 흔들리지만, 같은 일을 10분의 1 값에 할 수 있다면 그 차이는 과제를 바꿔도 남는다. 비용 배수 역시 엔비디아가 밝힌 값이라는 점은 같다.

3

검증 가능해진 것과 검증된 것은 다르다

평가 데이터셋을 함께 공개했다는 사실은 이 그림을 조금 바꾼다. 다만 무엇이 바뀌는지는 정확히 짚어야 한다. 공개된 5만 문항으로는 61%를 되짚지 못한다. 엔비디아 보도자료는 그 수치를 어느 시험대에서 쟀는지 밝히지 않았고, 오르카라우터는 라일라 사이언시스가 고른 과제에서 나온 값이라고 적었다. 대신 앞으로 나올 성적이 달라진다. 문항이 허깅페이스에 올라와 있고 문항마다 사용 조건이 붙어 있으니, 누가 화학 성적을 들고 나오든 다른 팀이 같은 문항으로 다시 재 볼 수 있다. 숫자를 믿을지 말지를 따지기 전에, 다시 잴 잣대가 먼저 손에 들어왔다.

그렇다고 검증이 끝난 것은 아니다. 지금은 검증 가능해졌다는 문장까지만 성립한다. 외부 기관이 LitmusBench v0.2에 점수를 매긴 사례는 아직 없고, 데이터셋이 공개된 지 며칠밖에 지나지 않았으니 당연한 일이기도 하다. 검증 가능해졌다는 말과 검증됐다는 말 사이에는 아직 아무도 하지 않은 작업이 통째로 들어 있다.

자체 측정 수치가 얼마나 쉽게 부풀 수 있는지는 같은 화학 분야에서 최근에 확인됐다. 분자 최적화 벤치마크 PMO에서 과제 이름과 참조 화합물을 프롬프트에서 지우자 LLM 에이전트의 합산 AUC가 14.44에서 4.85로 내려갔다. 3분의 1 수준이다. 같은 모델이 같은 과제를 푸는데, 시험지에 무엇이 적혀 있느냐가 성적의 3분의 2를 좌우했다. 그 사례는 신약 분자 찾기 시험 PMO, AI는 푼 걸까 베낀 걸까?에서 자세히 다뤘다.

꾸러미에 담긴 모델 Nemotron 3.5 Super VL은 페블러스가 이미 한 번 다룬 이름이다. 10월에는 이 모델의 훈련 데이터가 공개됐을 때 그 안의 답변을 누가 썼는지 확인했고(엔비디아 네모트론 공개 데이터, 답변을 쓴 건 알리바바·딥시크), 11월 초에는 같은 회사의 로봇 모델이 학습에 쓴 영상의 출처를 물었다(엔비디아 GR00T 2, 로봇이 배운 영상 대부분은 사람 것). 10월에는 훈련 데이터였고 11월에는 시험 데이터다. 질문은 같다. 이 데이터는 어디에서 왔고, 누가 확인하는가.

4

엔비디아가 모델 옆에 데이터셋을 붙였다

이번에는 공개 품목이 늘었다. 모델 가중치만 내놓는 대신 평가 데이터셋과 사후 학습 레시피를 함께 붙였다. 모델 하나만으로는 과학 분야에서 차이를 내기 어렵다는 판단이 깔려 있다. 범용 모델을 받아 든 제약·소재 회사가 다음에 부딪히는 벽은 모델의 크기가 아니라 '우리 과제에서 이 모델이 쓸 만한지 어떻게 확인하나'이기 때문이다. 시험지와 맞추는 방법을 함께 주면 그 벽이 낮아진다.

꾸러미의 모델 Nemotron 3.5 Super VL은 엔비디아 발표 기준으로 총 1,200억 파라미터 가운데 추론 때 120억만 쓰는 구조이고, 컨텍스트 길이는 100만 토큰이다. 과학 벤치마크 11개 중 7개에서 1위를 기록했다고 밝혔으며 ChemBench 75.9점, ether0 39점이 함께 제시됐다. 배포 단계에서는 128GB 메모리의 DGX Spark 한 대에서 돌아가도록 최적화했고, BF16 정밀도로 허깅페이스에 올렸다. 책상 위 장비 한 대로 과학 에이전트를 돌리라는 제안에 가깝다.

협력 명단은 기업 밖으로도 넓어졌다. 아르곤 국립연구소는 단백질 기반 치료 후보를 설계하는 다중 에이전트 시스템에 이 모델을 넣었고, 스웨덴 KTH 왕립공과대학은 망가진 분자동역학 설정의 81%를 DGX Spark 한 대로 하룻밤 사이에 되살렸다고 보고했다. 일본 리켄은 자체 슈퍼컴퓨팅 플랫폼의 추론 게이트웨이에 Nemotron을 붙였고, 독일 율리히 슈퍼컴퓨팅 센터도 이름을 올렸다.

엔비디아는 한 달 전에도 과학계에 자원을 열어 뒀다. 10월에 유럽연합의 RAISE 약정에 참여해 유럽 과학자들에게 연산과 모델, 데이터셋을 내주기로 한 것이 그 자리다(유럽연합 RAISE, 구글·엔비디아가 과학자에게 AI를 내준다). 한 달 간격으로 같은 전략이 반복된다. 모델을 팔아 수익을 내는 회사가 아니라 그 모델을 돌릴 장비를 파는 회사라는 위치가 이 선택을 설명한다.

5

페블러스가 이 장면을 주목하는 이유

LitmusBench v0.2는 실험실에 쌓인 기록을 채점 가능한 형태로 바꿨다. 5만이라는 수보다 이 변화가 중요하다. 분자 하나의 용해도 측정값은 그 자체로는 로그 한 줄이다. 그것이 "이 분자는 물에 얼마나 녹는가"라는 물음과 정답의 쌍이 되는 순간, 모델을 가르치는 데도 쓰이고 모델을 평가하는 데도 쓰인다. AI-Ready Data라는 말이 가리키는 작업이 이것이다.

다만 이번 사례는 그 작업에 조건이 하나 더 붙는다는 것도 보여 준다. 축적을 문항으로 바꾸는 것만으로는 신뢰가 생기지 않는다. 그 문항을 누가 만들었고 점수가 어떤 조건에서 나왔는지를 바깥에서 확인할 수 있을 때 비로소 숫자가 증거가 된다. 엔비디아는 앞의 절반을 했고 뒤의 절반은 아직 남겨 두었다.

자기 분야의 축적을 두고도 같은 질문 세 개를 던질 수 있다.

  • 쌓인 기록 가운데 정답이 붙은 것은 얼마나 되는가. 측정값은 남아 있는데 무엇을 물어서 나온 값인지가 남아 있지 않으면 문항이 되지 않는다.
  • 그 문항으로 낸 점수를 조직 바깥에서 다시 낼 수 있는가. 데이터와 평가 절차를 함께 내놓지 않으면 점수는 주장에 머문다.
  • 문항마다 출처와 사용 조건이 붙어 있는가. LitmusBench가 레코드마다 라이선스를 적어 둔 이유도 여기에 있다. 조건이 적혀 있지 않은 데이터는 쓸 수 있는지부터 확인해야 한다.

세 질문 모두 모델이 아니라 데이터를 묻는다. 이번에 엔비디아가 공들여 공개한 것도 데이터였다.

Editor's Note

공개가 검증을 대신하지는 않는다. 그래도 공개가 없으면 검증은 시작조차 하지 못한다. LitmusBench v0.2는 그 출발선에 놓여 있다. 이 글은 허깅페이스의 데이터셋 카드를 직접 열어 문항을 확인하지는 못했고, 라이선스 구조는 데이터셋을 들여다본 2차 보도에 기댔다. 다음에 확인할 것은 엔비디아도 협력사도 아닌 쪽에서 이 문항으로 매긴 첫 점수가 언제 나오는지다.

R

참고문헌

엔비디아 공식 자료

보도 및 분석