Executive Summary

주요 수치

출처: 허깅페이스 카본-X 모델 카드, AI타임스 보도(2026-10-26).

카본-X는 148억 개의 매개변수를 가진 모델이다. 맨바닥에서 만든 것이 아니라 알리바바가 공개한 큐원3-14B를 가져다 3,020억 토큰을 더 학습시켰다. 허깅페이스가 중관춘학원, 이탈리아 텔레톤 유전의학연구소, 나폴리 페데리코 2세 대학교와 함께 만들었고, 2026년 10월 23일 아파치 2.0 라이선스로 내놓았다. 라이선스가 아파치 2.0이라는 말은 상업적으로 써도 되고 고쳐서 다시 내놓아도 된다는 뜻이다.

모델 카드가 밝힌 할 일은 다섯 가지다. 어떤 돌연변이가 해로운지 아닌지를 예측하고, 유전자가 언제 켜지고 꺼지는지를 조절하는 구간을 찾아내고, 서열을 보고 어느 생물군의 것인지 분류하고, 서열의 다음 염기를 맞히고, 그렇게 판단한 근거를 말로 풀어 놓는다. 마지막 항목이 이 모델의 성격을 말해 준다. 숫자만 뱉는 예측기가 아니라 질문에 문장으로 답하는 쪽이다.

왜 굳이 공개했는지도 모델 카드에 적혀 있다. bfloat16 정밀도로 올리면 80GB짜리 GPU 한 장에 가중치가 들어가서, 연구자가 민감하거나 아직 발표하지 않은 서열을 자기 장비 안에 둔 채로 돌릴 수 있다는 것이다. AI타임스 보도는 같은 대목을 허깅페이스의 말로 옮겼다. "소수의 폐쇄형 AI 서비스에 의존하지 않고 연구 도구를 직접 운영하면서, 민감하거나 아직 발표하지 않은 DNA 데이터를 내부에 보관할 수 있"게 하려는 것이다. 유전 정보를 남의 서버에 올리는 일이 간단치 않다는 사정이 이 공개의 배경에 있다.

돈 이야기도 붙어 있다. 공개 데이터베이스 클린바에 쌓여 있는 '의미를 모르는 변이' 240만 건을 전부 분석한다고 치면, 카본-X로는 약 300달러가 든다. 같은 일을 비교 대상으로 삼은 상용 모델들에 맡기면 3만 2천 달러에서 400만 달러가 든다. 적게 잡아도 백 배, 많게는 만 배가 넘게 벌어지는 이 간격이 보도가 집어 든 제목이었다.

언어 모델은 글을 글자 단위로 읽지 않는다. 자주 붙어 다니는 덩어리를 미리 정해 두고 그 덩어리를 하나의 기호로 바꿔 읽는다. 한국어로 치면 '데이터'를 세 글자로 볼지 한 덩어리로 볼지, '읽었다'를 '읽/었/다'로 끊을지 통째로 둘지를 미리 정해 놓는 일이다. 이 결정을 바꾸면 같은 문장이 더 짧아지기도 하고 더 길어지기도 하고, 모델이 알아보는 패턴도 달라진다.

카본-X는 DNA에 대해 그 결정을 이렇게 내렸다. 서열을 앞에서부터 여섯 개씩 겹치지 않게 끊고, 그 여섯 개 묶음 하나를 토큰 하나로 쓴다. 염기 글자는 A·C·G·T 넷뿐이므로 여섯 자리로 만들 수 있는 조합은 4의 6제곱, 곧 4,096가지다. 모델은 이 4,096가지에 전부 자기 번호를 붙여 뒀다.

끊기 전에 먼저 할 일이 있다. 들어온 글에서 어디까지가 서열인지 가려내는 일이다. 모델 카드가 적어 둔 규칙은 간단하다. A·C·G·T만으로 이어진 자리가 여섯 글자 이상 나오면 그 구간을 DNA로 보고 앞뒤에 <dna>와 </dna> 표시를 두른 다음 여섯 개씩 끊는다. 사용자가 "여기부터 서열입니다"라고 따로 일러 줄 필요가 없다. 무엇을 서열로 칠지 정하는 문턱도 같은 숫자 여섯이다.

서열 길이가 늘 6의 배수로 떨어지지는 않는다. 그래서 남는 꼬리를 받아 줄 토큰을 따로 1,364개 두었다. 이 숫자도 그냥 나온 것이 아니다. 길이 1짜리 조합이 4가지, 2짜리가 16가지, 이렇게 5짜리 1,024가지까지 모두 더하면 정확히 1,364가 된다. 여기에 DNA 구간의 시작과 끝을 알리는 표시, 모르는 글자 표시, 그리고 사전 크기를 128의 배수로 맞추려고 비워 둔 칸까지 더해 DNA 전용 토큰이 5,515개다. 원래 큐원3이 쓰던 글자 토큰 151,669개 위에 이 5,515개를 얹어 전체 사전은 157,184개가 됐다. 이 수는 128의 1,228배로 정확히 떨어진다. 사전 크기를 그렇게 맞춰 두었다고 모델 카드가 밝힌 그대로다.

이 설계가 주는 것은 길이다. 토큰 하나가 염기 여섯 개를 덮으니 같은 서열을 여섯 분의 일 길이로 줄여 넣을 수 있다. 중간 학습 단계에서 쓴 8,192 토큰짜리 창은 DNA로 치면 약 49,000 염기쌍이고, 모델이 받아들이는 최대 길이인 40,960 토큰은 약 246,000 염기쌍이다. 한 글자에 한 토큰을 썼다면 같은 창에 여섯 분의 일밖에 못 담았을 것이다.

대신 조건이 붙는다. 6-mer를 이루는 글자는 A·C·G·T 넷뿐이고, 그 밖의 글자가 하나라도 섞인 묶음은 통째로 모르는 토큰 하나가 된다. 실제 서열 데이터에는 어떤 염기인지 확정하지 못한 자리를 N으로 적어 두는 관행이 있는데, 그런 N 하나가 들어가면 그 자리의 멀쩡한 다섯 글자까지 같이 사라진다는 뜻이다. 자르는 단위를 크게 잡을수록 한 번의 결손이 가리는 범위도 같이 커진다.

그러면 왜 하필 여섯인가. 모델 카드는 여섯으로 묶는다는 사실과 그 결과로 생긴 숫자들을 적어 뒀을 뿐, 넷이나 여덟이 아니라 여섯을 고른 이유는 적지 않았다. 숫자 하나를 바꾸면 사전 크기도, 창에 들어가는 서열 길이도, 한 글자가 가리는 범위도 전부 따라 움직이는데, 그 선택의 근거는 공개된 문서에 남아 있지 않다.

모델이 무슨 데이터를 얼마나 먹었는지는 대개 "다양한 공개 자료"라는 한 줄로 끝난다. 카본-X 모델 카드는 그 자리에 표를 놓았다. 중간 학습에 쓴 3,020억 토큰이 어떤 비율로 섞였는지를 갈래별로, 갈래 안쪽까지 소수점 한 자리로 나눠 놓았다.

이 표는 더해 볼 수 있다. 네 갈래를 더하면 100이 되고, 원본 DNA 안쪽의 네 항목을 더하면 55가 된다. 가장 큰 덩어리인 진핵생물 유전체 38.5%는 모델 카드에서 한 단계 더 쪼개져 척추동물 16.2%, 포유류 10.3%, 무척추동물 7.6%, 식물 3.1%, 곰팡이 1.1%, 원생동물 0.2%로 적혀 있는데, 이 여섯을 더해도 정확히 38.5가 나온다. 표가 스스로 앞뒤가 맞는다는 사실을 독자가 확인할 수 있는 상태다.

구성에서 눈에 걸리는 대목은 DNA가 아닌 쪽이 45%나 된다는 점이다. 영어 글 20%는 DNA와 아무 상관이 없어 보이지만, 바탕이 된 모델이 원래 갖고 있던 말하는 능력을 잃지 않게 붙잡아 두는 몫이다. 염기만 계속 먹이면 모델은 서열은 잘 읽게 되어도 사람 질문에 답하는 능력을 잃는다. 생물학 문헌 15%는 서열과 설명을 잇는 다리이고, 지시문 10%는 질문을 받아 답하는 형식을 익히는 몫이다. 반쯤은 DNA를 배우고 반쯤은 하던 말을 잊지 않는 데 쓴 셈이다.

학습은 세 단계로 나뉘었다. 3,020억 토큰을 8,192 토큰짜리 길이로 끊어 먹인 중간 학습이 첫 단계다. 그다음은 데이터셋 스무 묶음을 섞어 세 바퀴 돌린 지도 학습이고, 마지막이 강화 학습 두 차례다. 강화 학습에서는 답이 맞았는지 기계가 확인할 수 있는 과제만 썼고, 생각하기 기능은 꺼 둔 채로 돌렸다고 적혀 있다. 다만 투입한 계산량이나 GPU 시간은 모델 카드에 나오지 않는다. 데이터 구성은 자세히 적었어도 비용은 적지 않았다.

모델 카드는 다섯 가지 시험을 놓고 여러 상용 모델과 나란히 점수를 매겼다. 카본-X의 평균은 66.7%이고, 바탕이 된 큐원3-14B보다 27포인트 높다. 같은 표에서 가장 높은 평균을 받은 것은 GPT-6.1 Sol의 67.5%다. 148억짜리 공개 모델이 최상위 상용 모델에 0.8포인트 차로 따라붙었다는 말이지, 이겼다는 말은 아니다.

다섯 가운데 둘에서 이기고 셋에서 졌다. 이긴 둘이 어떤 종류의 문제인지가 2절의 설계와 맞물린다. 다음에 올 염기를 맞히는 NextBase는 서열 자체의 통계를 몸에 익혀야 풀리는 문제인데, 같은 표에 실린 상용 모델 하나는 이 항목에서 1.1점을 받았다. 염기를 토큰으로 가져 본 적 없는 모델에게 이 문제는 사실상 풀 수 없는 축에 든다. 코딩 영역의 변이가 어떤 결과를 낳는지 묻는 BioReason Coding에서도 74.9로 앞섰다.

진 셋은 성격이 조금 다르다. 복합 변이의 효과나 DNA에 관한 일반적 이해를 묻는 문제는 서열을 직접 읽는 능력만큼이나 생물학 지식과 추론을 요구한다. 덩치가 수십 배 큰 모델들이 쌓아 둔 폭넓은 지식이 여기서 힘을 낸다. 148억짜리가 그 영역에서 평균 몇 포인트 차로 따라붙었다는 사실 쪽이 오히려 눈에 띈다.

모델 카드의 한계 항목은 짧지 않다. 먼저 임상에 쓸 수 있게 검증된 모델이 아니라고 못 박는다. 의료 판단에 쓰지 말라는 문장이 따로 붙어 있고, 유전 데이터가 민감하다는 경고와 어디에 올려 돌리느냐에 따라 입출력이 다르게 다뤄질 수 있다는 주의도 함께 적혀 있다.

기술적인 약점으로 카드가 꼽은 것은 네 가지다. 정확한 서열 조작을 맡기면 염기 개수를 잘못 세거나 좌표를 혼동하거나 엉뚱한 자리를 고치는데, 특히 긴 서열에서 위치를 짚을 때 그렇다고 한다. 정보가 모자란 질문을 받으면 서열의 정체나 기능을 지어내기도 한다. 작업별 편차도 크다. 스플라이스 자리와 히스톤 표지를 묻는 문제는 각각 29.8%와 34.6%로 낮고, 짧은 DNA 연습 문제나 교과서 수준 생물학도 변이 효과 예측만큼 믿을 만하지 않다. 마지막으로 긴 서열을 만들어 내라고 하면 품질이 떨어진다. 이 모델은 있는 서열을 읽고 설명하도록 만들어졌지 새 서열을 설계하도록 만들어지지 않았다.

길이에 관한 단서도 적혀 있다. 중간 학습은 8,192 토큰짜리 서열로 했고 후속 학습 예시는 1만 6천 토큰보다 짧았다. 모델이 받아들이는 최대 길이는 40,960 토큰이지만 학습에서 본 것보다 훨씬 긴 입력은 평가해 보지 않았다고 한다. 받아 주는 길이와 검증된 길이가 다르다는 말이다.

쓰는 법을 안내하는 대목에는 주문이 하나 더 있다. 서열과 질문을 한 메시지에 같이 넣으라는 것, 그리고 이미 알고 있는 맥락이 있으면 빠뜨리지 말고 함께 적으라는 것이다. 모델 카드가 예로 든 맥락은 어느 유전자인지, 어느 가닥인지, 좌표가 어디인지, 주석이 붙어 있는지다. 서열만 던져 놓고 알아서 읽으라고 하지 말라는 쪽에 가깝다.

카본-X에서 우리가 눈여겨본 것은 유전체 점수가 아니다. 모델을 만들기 전에 데이터를 어떤 꼴로 다듬었는지가 문서로 남아 있고, 그래서 그 선택을 바깥에서 따져 볼 수 있다는 점이다. 이런 사례는 드물다.

6.1자르는 단위를 정하는 일이 곧 데이터 설계다

AI-Ready Data를 말할 때 우리는 보통 값의 상태를 먼저 본다. 빠진 칸이 있는지, 라벨이 맞는지, 출처가 남아 있는지. 카본-X가 보태는 것은 그 앞의 질문이다. 이 데이터를 모델에게 넘길 때 어느 크기로 잘라서 넘기는가. 센서 기록을 1초 단위로 자를지 10초 단위로 자를지, 로그를 요청 하나씩 자를지 세션 단위로 자를지는 전처리 담당자가 별생각 없이 정하고 넘어가기 쉬운 항목이다. 그런데 그 선택이 모델이 알아볼 수 있는 패턴의 하한을 정한다. 1초보다 짧은 사건은 1초 단위로 자른 데이터에서 영영 보이지 않는다.

6.2구성비를 적어 두면 바깥에서 검산할 수 있다

3절의 표가 왜 드문지는 반대 경우를 떠올려 보면 분명해진다. "공개 유전체와 생물학 문헌을 폭넓게 학습했다"고만 적힌 모델에 대해서는 어떤 질문도 던질 수 없다. 식물이 3.1%뿐이라는 사실이 적혀 있어야 "그러면 식물 서열에는 약하겠다"는 예상을 세우고 확인해 볼 수 있다. 사내에서 학습 데이터를 모을 때도 같다. 어디서 얼마나 가져왔는지를 비율로 남겨 두면, 나중에 모델이 특정 구간에서 이상하게 굴 때 데이터 쪽을 먼저 짚어 볼 수 있다. 그 기록이 없으면 원인을 찾는 일이 처음부터 시작된다.

6.3압축의 대가는 나중에 읽는 쪽이 치른다

여섯 개를 하나로 묶으면 같은 창에 여섯 배를 담을 수 있다. 공짜처럼 보이지만 공짜가 아니다. 묶음 안쪽의 자리 정보는 흐려지고, 한 글자의 결손이 여섯 글자를 가린다. 전처리에서 데이터를 요약하거나 모아 담을 때 같은 거래가 일어난다. 분 단위 값을 시간 단위 평균으로 바꾸면 저장 비용과 학습 시간은 줄지만, 분 단위에서만 보이던 튀는 값은 사라진다. 요약을 하지 말자는 말이 아니라, 무엇을 버리기로 했는지를 알고 하자는 말이다. 카본-X가 좋은 사례인 이유는 그 거래의 양쪽이 같은 문서 안에 적혀 있기 때문이다. 창이 여섯 배로 길어졌다는 이득과, 정확한 좌표를 못 짚는다는 한계가 나란히 있다.

같은 종류의 선택을 다른 생물 데이터에서도 본 적이 있다. 스탠퍼드의 scVision은 세포의 유전자 발현값을 104×104 이미지로 그려 비전 모델에 먹였고, 미세조정 없이 유전자를 토큰으로 다루는 모델들을 앞질렀다. 같은 세포 데이터를 표로 둘지 그림으로 바꿀지가 결과를 갈랐다. 반대편에는 자르는 단위가 아니라 들어온 값의 상태가 발목을 잡은 사례가 있다. GeneBench Pro에서는 최상위 모델이 31.5%에 멈췄는데, 지식이 모자라서가 아니라 노이즈가 섞인 유전체 데이터 앞에서 판단이 무너졌기 때문이었다. 어느 단위로 자를지 정하는 쪽과 들어온 값을 믿을지 가리는 쪽은, 둘 다 모델에 손대기 전에 끝나 있어야 한다.

여기까지 읽어 주셔서 감사하다. 이 글이 인용한 수치와 한계 서술은 허깅페이스 카본-X 모델 카드에서, 공개 경위와 비용 비교는 AI타임스 10월 26일 보도에서 확인할 수 있다. 여러분의 데이터는 모델에게 넘어가기 전에 어느 단위로 잘리고 있는가. 그 단위를 누가 정했고 어디에 적어 두었는지 이야기를 나눠 주시면 좋겠다.

• 1.Hugging Face, Zhongguancun Academy, Telethon Institute of Genetics and Medicine, & University of Naples Federico II. (2026). "Carbon-X." Hugging Face Model Card. 2·3·4·5절 인용 — 토크나이저 구성, 학습 데이터 구성비, 벤치마크 점수, 한계 서술.
• 2.AI타임스. (2026). "허깅페이스, DNA 읽고 질문에 답하는 '카본-X' 공개…유전자 분석 비용 낮춘다." AI타임스, 2026-10-26. 1절 인용 — 공개 날짜, 참여 기관 한국어 표기, 허깅페이스 설명, 비용 비교.