Executive Summary

3주 전 저희는 GPU를 시간 단위로 빌려주는 투게더 AI가 83억 달러 몸값을 받은 일을 한 편의 리포트로 다뤘습니다. 결론은 이랬습니다. 모델이 상품화되자 돈이 그 아래 계층, 곧 모델을 돌릴 물리적 연산으로 흘렀다는 것. 그런데 그 흐름은 거기서 멈추지 않았습니다. 이번 여름, 같은 자본이 스택을 한 층 더 타고 올라왔습니다. GPU 임대라는 최하단이 아니라, 그 위에서 모델을 실제로 실행해 API로 내주는 추론 서빙(inference serving) 레이어입니다.

숫자가 그 이동을 그대로 보여줍니다. Fireworks는 2025년 10월 시리즈 C에서 밸류에이션 40억 달러였는데, 2026년 7월 시리즈 D에서 15억 달러를 조달하며 175억 달러로 마감했습니다. 9개월 만에 약 4.4배입니다. Baseten은 2026년 1월 50억 달러였다가 6월 시리즈 F에서 15억 달러를 받으며 130억 달러(일부 트랜치 110억)로 올랐습니다. 5개월 만에 2.6배입니다. 비교 대상인 투게더 AI가 16개월에 2.5배였던 것과 견주면, 배수 자체보다 도달 속도가 눈에 띕니다. 자본이 서빙 레이어로 들어오는 속도가 그 아래 하드웨어 임대층보다 빠릅니다.

이 지형을 한 장으로 정리하면 세 개의 층이 됩니다. 맨 아래는 GPU를 소유하고 시간 단위로 빌려주는 하드웨어 층(투게더 AI 같은 네오클라우드). 그 위는 모델을 얹어 배칭·캐싱·라우팅으로 최적화해 API로 서빙하는 소프트웨어 층(이번 리포트의 Fireworks·Baseten). 그리고 맨 위는 그 추론을 실제로 값나가게 만드는 데이터·애플리케이션 층입니다. 이번에 자본이 재평가한 건 정확히 가운데 층입니다.

투자자 명단도 이 재평가가 우연이 아님을 보여줍니다. Fireworks 라운드는 Atreides Management·Index Ventures·TCV가 이끌었고, 엔비디아가 전략 투자자로 참여했습니다. 엔비디아는 GPU 공급사이자 투자자라는 이중 지위를 갖는데, 이 대목은 뒤 섹션 5의 반론에서 다시 등장합니다. Baseten 라운드는 Altimeter·Conviction·Spark가 리드했습니다. 눈여겨볼 점은 Baseten이 18개월 사이 네 번째 펀딩을 받았다는 사실입니다. 서빙 레이어로 자본이 얼마나 빠르게, 반복적으로 유입되는지를 보여주는 미시 신호입니다.

자본이 서빙 레이어로 올라온 데는 두 개의 전제가 깔려 있습니다. 첫째는 모델의 상품화, 둘째는 단가의 붕괴입니다. 두 전제가 맞물려 "값나가는 건 더 이상 모델 자체가 아니다"라는 판단을 만들었습니다.

2.1오픈웨이트는 격차를 좁혔지만, 지금도 좁히고 있는 건 아니다

라마·큐원·딥시크로 대표되는 오픈웨이트 모델은 폐쇄형 프론티어와의 성능 격차를 낮은 한 자릿수 %까지 좁혔습니다. 스탠퍼드 AI 인덱스 기준으로 최상위 오픈웨이트와 폐쇄형의 벤치마크 격차는 2026년 3월 약 3.3%p입니다. 코딩 영역에서는 사실상 격차가 사라졌습니다. 이 정도면 대부분의 실무 작업에서 "어느 쪽 모델이냐"가 결정적 변수는 아니게 됩니다 — 상품화라는 전제는 유효합니다.

다만 흔히 하는 "격차가 계속 좁혀진다"는 서술은 정확하지 않습니다. 같은 지표가 2024년 8월에는 0.5%p였으니, 2026년 3월의 3.3%p는 오히려 소폭 벌어진 값입니다. Epoch AI의 관측도 이와 일치합니다 — 오픈웨이트 최상위는 폐쇄형 프론티어를 약 4개월 지연으로 따라오는데, 이 지연은 2025년 말 3개월에서 소폭 늘었습니다. 추론(reasoning) 영역에서는 폐쇄형이 여전히 3~8%p 우위입니다. 그러니 정확한 문장은 이렇습니다. "격차는 낮은 한 자릿수 %로 충분히 작아 상품화는 성립하지만, 추세가 계속 좁혀지는 방향은 아니다."

2.2단가는 무너졌는데, 왜 자본은 몰릴까

토큰 단가는 지난 3년간 90%대 후반까지 떨어졌습니다(추정치에 따라 94.5~99.7%). 2023년 초 백만 토큰당 30달러를 받던 GPT-4급 성능이, 2026년에는 서브달러 구간으로 내려왔습니다. 아래는 그 하락을 몇 개의 이정표로 정리한 것입니다.

▲ 토큰 단가 하락 이정표 | 출처: Stanford HAI AI Index, Epoch AI(LLM 추론 가격 추세). 단가는 모델·조건에 따라 달라 이정표로만 제시.

단가가 이렇게 떨어졌으면 서빙 사업은 오히려 쪼그라들어야 할 것 같습니다. 그런데 실제로는 반대입니다. 단가↓를 볼륨↑↑이 압도하기 때문입니다. 골드만삭스 리서치는 총 토큰 소비량이 2026~2030년 사이 24배 증가해 월 120 quadrillion(경 단위)에 이를 것으로 봅니다. 개당 값은 싸져도 처리해야 할 개수가 폭증하니, 서빙 시장 총규모는 커집니다. 훈련과 추론의 컴퓨트 비중이 역전되는 것도 같은 원리입니다. 추론이 AI 컴퓨트 지출에서 차지하는 비중은 2023년 약 33%에서 2026년 말 70~80%로 뒤집힐 전망입니다(기관별 편차가 커, 방향성만 확정하고 대표 수치 하나만 인용합니다).

구도는 이렇게 갈립니다. 훈련은 소수의 대형 모델 회사에 집중·고정되는 반면, 추론 수요는 모든 애플리케이션으로 분산·폭증합니다. 그래서 자본은 "다음 프론티어 모델을 누가 만드느냐"보다 "그 폭증하는 추론을 누가 값싸고 빠르게 굴려 주느냐"에 베팅하기 시작했습니다. 이것이 서빙 레이어가 새 전장이 된 이유입니다.

여기서 자연스러운 의심이 하나 생깁니다. 추론 서빙이라는 게 결국 "GPU 위에서 모델을 실행하는 것"이라면, 그건 그냥 GPU 임대에 껍데기 하나 씌운 게 아닐까요. 그렇다면 175억 달러라는 값은 과열일 뿐입니다. 그러나 서빙 최적화는 그 자체로 독립적인 기술 난이도를 가진 공학 영역입니다. 이 사실을 이해해야 밸류에이션의 성격을 판단할 수 있습니다.

3.1서빙은 "GPU 실행"이 아니라 시스템 공학이다

지난 몇 년간 추론 서빙을 빠르고 싸게 만든 것은 일련의 시스템 연구였습니다. 개별 논문의 수치를 나열하기보다, 무엇이 왜 어려운지를 기술 계보로 봅니다.

• PagedAttention(vLLM) — KV 캐시를 운영체제의 메모리 페이지처럼 관리해 낭비를 줄이고 처리량을 끌어올린 대표 기법. "서빙 = 단순 실행"이 아니라 별도의 시스템 설계임을 보여준 상징입니다.
• 연속 배칭(continuous batching) — 요청을 고정 묶음이 아니라 토큰 단위로 동적 스케줄링해 GPU 이용률을 극대화합니다. 처리량과 비용을 가르는 핵심 레버입니다.
• 스페큘러티브 디코딩(speculative decoding) — 작은 초안 모델로 여러 토큰을 미리 뽑고 큰 모델이 검증해 지연을 줄입니다. 서빙사가 파는 "속도"의 기술적 실체입니다.
• 멀티-LoRA 서빙(S-LoRA 계열) — 하나의 베이스 모델 위에 수백~수천 개의 고객별 어댑터를 동시에 얹어 경제적으로 서빙합니다. 이 대목은 섹션 4에서 다시 만나게 됩니다.
• RadixAttention(SGLang) — 프리픽스 캐시를 재사용해 구조화된 생성과 다중 호출을 가속합니다.

이 목록의 마지막 항목인 멀티-LoRA 서빙을 기억해 두시기 바랍니다. 하나의 모델 위에 고객마다 다른 어댑터를 얹어 동시에 굴리는 이 기술이, 곧 "고객 데이터로 특화된 모델"을 값싸게 서빙하는 바로 그 메커니즘입니다. 섹션 4의 95% 지표는 이 기술 없이는 경제적으로 성립하지 않습니다. 서빙 최적화(섹션 3)와 데이터 특화(섹션 4)는 이 지점에서 하나로 이어집니다.

3.2최적화 자체가 독립 벤처 가치를 인정받는다

"서빙 최적화가 그렇게 어려운가"에 대한 시장의 답은 자본으로 나타났습니다. 2026년 1월, 오픈소스 서빙 엔진 SGLang의 핵심 개발팀이 RadixArk라는 이름으로 독립 창업했고, Accel이 주도한 라운드에서 약 4억 달러 밸류에이션을 인정받았습니다. 하드웨어 임대와 무관하게, "서빙을 빠르게 만드는 기술" 그 자체가 별도의 벤처 가치를 갖는다는 직접 증거입니다. 오픈소스 생태계의 규모도 이를 뒷받침합니다. vLLM은 깃허브 스타 7만 5천 개, 기여자 2천 명 이상을 모은 사실상의 산업 표준이 됐습니다.

상용 서빙사의 운영 규모도 "껍데기"라는 의심과 거리가 멉니다. Baseten은 87개 클러스터, 18개 클라우드 환경에서 하루 10억 건 이상의 추론 요청을 처리한다고 밝혔습니다(자사 발표). 여러 클라우드에 걸쳐 지연·비용·규제 요건을 동시에 맞추는 오케스트레이션은, 단일 GPU 임대와는 다른 층위의 문제입니다. 속도·멀티-LoRA 서빙·라우팅·컴플라이언스·멀티클라우드 — 이 다섯 가지가 서빙 레이어의 해자를 이룹니다.

서빙 레이어의 값이 진짜 어디서 나오는지, 그 답을 사업자 스스로가 지표로 내놨습니다. Fireworks는 시리즈 D 발표에서 하루 처리하는 토큰이 15조에서 40조로 약 3배 늘었다고 밝혔습니다. 여기까지는 규모의 이야기입니다. 결정적인 건 그다음 문장입니다. 그 40조 토큰 가운데 95% 이상이 고객 고유 데이터로 특화되고 특정 작업에 최적화된 모델에서 발생한다는 것입니다(자사 발표, 제3자 감사는 확인되지 않음).

이 수치가 왜 결정적인지는 반대 경우를 그려 보면 분명해집니다. 만약 서빙사의 트래픽 대부분이 범용 오픈웨이트를 그대로 실행하는 것이었다면, 서빙사의 역할은 "누구나 받을 수 있는 무료 모델을 대신 켜 주는 대행"에 가깝습니다 — 그건 상품화되기 쉽습니다. 그런데 실제 트래픽의 95%는 각 고객이 자기 데이터로 튜닝한 모델에서 나옵니다. 즉 서빙사가 값을 받는 건 "모델을 켜는 행위"가 아니라 "각 고객의 데이터로 특화된 모델을, 수백 수천 개를 한 인프라 위에서 경제적으로 굴려 주는 능력"입니다.

그리고 그 능력을 기술적으로 떠받치는 것이 섹션 3에서 미리 표시해 둔 멀티-LoRA 서빙입니다. 하나의 베이스 모델 위에 고객마다 다른 어댑터를 얹어 동시에 서빙하는 이 구조가 없다면, 95%의 커스텀 트래픽은 경제적으로 성립하지 않습니다. 정리하면 인과의 사슬은 이렇습니다. 오픈웨이트가 공짜가 됐다 → 그래서 값은 "무슨 데이터로 튜닝했느냐"로 옮겨갔다 → 그 튜닝된 모델을 값싸게 굴리는 멀티-LoRA 서빙이 서빙사의 진짜 상품이 됐다.

지금까지의 서술을 "그러니 추론 서빙에 올라타라"로 읽으면 곤란합니다. 이 밸류에이션에는 여러 방향의 반론이 실재하고, 그 반론들을 함께 놓아야 그림이 정직해집니다.

5.1밸류에이션 과열론

거시 지표부터 불편합니다. 글로벌 AI 인프라 투자가 연 4천억 달러에 근접하는데, 엔터프라이즈 AI 매출은 약 1천억 달러 수준에 그칩니다. 설비가 수요를 한참 앞질러 달린다는 "캐파 버블(capacity bubble)" 진단이 나오는 배경입니다. 펀드매니저의 40%가 AI 주식을 고평가로 인식한다는 설문도 있습니다. 개별 사례도 있습니다. 칩 회사 Cerebras는 2026년 IPO에서 2025년 매출 대비 약 95배 밸류에이션을 받았습니다(단, 이는 하드웨어 층으로 Fireworks·Baseten의 소프트웨어 서빙 층과는 구분해야 합니다). Fireworks의 175억 달러도 자사 발표 ARR 10억 달러 대비 약 17.5배 매출 배수로, 낙관적 프라이싱임은 분명합니다.

라운드의 성격도 짚어야 합니다. 섹션 1에서 엔비디아가 Fireworks에 전략 투자자로 참여했다고 했는데, 엔비디아는 GPU를 파는 공급사이면서 동시에 그 GPU 위에서 모델을 서빙하는 회사에 자본을 대는 투자자라는 이중 지위를 갖습니다. 자사 칩 수요를 떠받치는 생태계에 직접 투자하는 구조라, 이 밸류에이션에는 순수한 재무적 값매김만이 아니라 공급사의 전략적 이해가 섞여 있을 여지가 있습니다. 175억 달러라는 숫자를 시장의 냉정한 평가로만 읽어서는 안 되는 이유이며, 헤드라인 배수 하나로 서빙 레이어 전체의 몸값을 일반화할 때 주의가 필요한 대목입니다.

Baseten 라운드의 구조도 미묘한 신호를 냅니다. 밸류에이션이 130억과 110억으로 갈린 스플릿 트랜치였는데, 이는 투자자마다 커밋 시점과 눈높이가 달랐음을 시사합니다. 과열된 시장에서 가격 협상력이 흔들리기 시작했다는 미시 징후로 읽을 수 있습니다. 다만 닷컴버블과의 결정적 차이도 있습니다 — 당시 시스코의 PER이 472배였던 데 비해 지금 엔비디아는 44배로, 실제 이익 기반 위에 서 있습니다. "버블이다/아니다"의 이분법보다는 "낙관적 가정에 얼마나 기대고 있는가"로 보는 편이 정확합니다.

5.2서빙 레이어에도 닥치는 상품화 압력

더 근본적인 반론은 서빙 레이어 자체가 상품화될 수 있다는 것입니다. 하이퍼스케일러가 오픈웨이트 호스팅과 서빙 최적화를 흡수하면 독립 서빙사의 프리미엄은 얇아집니다. 학술 진단도 이 지점을 짚습니다. AI 버블을 다방법으로 평가한 한 연구(arXiv 2606.01575)는 추론 스타트업의 리스크가 "매출은 빠르게 늘지만 추론 비용 아래 총마진이 붕괴하거나, 고객 이탈이 크거나, 모델 성능이 상품화될 때" 집중된다고 봅니다. 세 조건 모두 서빙사에게 현실적인 위협입니다.

저희가 GPU 임대에서 시작해 추론 서빙까지 자본의 이동을 이어 추적하는 데는 이유가 있습니다. 이 흐름의 종착지가 데이터를 다루는 팀의 일과 맞닿아 있기 때문입니다. 이유는 크게 네 가지입니다.

첫째, 시장 재편의 중간 증거로서. "모델은 상품, 데이터는 차별화"라는 명제는 그동안 데이터 회사의 희망 섞인 주장처럼 들릴 때가 많았습니다. 그런데 이번에는 인프라 자본의 흐름과 서빙사 자신의 지표가 그 명제를 뒷받침합니다. 서빙사가 아무리 빨라도 결국 굴리는 것은 고객 데이터로 파인튜닝·그라운딩된 모델이고(Fireworks 95%가 그 실측), 이는 검증·정제된 학습·튜닝 데이터의 시장 수요가 자본 흐름으로 확인되는 지점입니다.

둘째, 데이터 품질이 추론 경제성의 상류 병목이라는 점. 멀티-LoRA 서빙이 아무리 효율적이어도, 그 어댑터를 학습시킨 데이터가 낡거나 오염됐다면 출력의 가치는 없습니다. 서빙의 최적화는 "값싸게 굴리는" 문제를 풀지만, "무엇을 굴릴 가치가 있는가"는 데이터 품질이 결정합니다. 학습 데이터의 특성이 모델 내부 표현을 거쳐 추론 출력의 가치로 이어지는 이 사슬의 맨 앞에, 데이터의 신선도·정확성·대표성 문제가 놓여 있습니다.

셋째, 기업 실무의 질문이 바뀐다는 점. 오픈웨이트와 저렴한 서빙이 보편화되면, 경쟁 우위는 "어느 모델을 쓰느냐"가 아니라 "자사 데이터를 얼마나 잘 정제·검증·최신화해 튜닝·그라운딩하느냐"로 이동합니다. 서빙 단가가 바닥을 칠수록 차별화의 여지는 데이터로만 남습니다. 이는 데이터 준비·검증 파이프라인 투자의 ROI를 정당화하는 근거이기도 합니다 — 모델값이 0에 수렴할 때 유일하게 남는 지출 정당성이 데이터 쪽에 있기 때문입니다.

넷째, 앞으로 탐구할 좌표로서. GPU → 서빙 → 데이터로 올라오는 자본이 결국 어디에 정착하는지를, 저희는 스택의 최상층(데이터·그라운딩)에서 미리 관찰하려 합니다. 이번 리포트가 던지는 열린 질문은 이렇습니다. 서빙이 완전히 상품화된 세계에서, "검증된·신선한 데이터로 그라운딩된 추론"과 "그렇지 않은 추론"의 출력 가치 격차는 얼마나 벌어질까요. 그 격차를 정량화하는 일이, 데이터를 다루는 팀이 다음에 풀어야 할 문제라고 봅니다.

보도 · 1차 (밸류에이션 · 운영지표)

• 1.Fireworks AI. (2026). "Series D Announcement." Fireworks AI Blog.
• 2.CNBC. (2026-07-16). "Fireworks AI valued at $17.5 billion in Nvidia-backed round." CNBC.
• 3.Value Add VC. (2026). "Fireworks AI Valuation 2026: $17.5B Series D and the $1B ARR Inference Business." Value Add VC.
• 4.Baseten. (2026). "Announcing our Series F." Baseten Blog.
• 5.PYMNTS. (2026-06-22). "Baseten Nears $1.5 Billion Funding Round as Inference Demand Surges." PYMNTS.
• 6.TechCrunch. (2026-07-01). "Neocloud Together AI raises $800M, leaps to $8.3B valuation." TechCrunch.

서빙 레이어 생태계

• 7.Yahoo Finance (TechCrunch 소스). (2026-01). "Sources: Project SGLang spins out as RadixArk with $400M valuation as inference market explodes." Yahoo Finance.
• 8."vllm-project/vllm." GitHub (오픈소스 서빙 엔진 저장소).

시장 · 데이터

• 9.Epoch AI. (2026). "Open vs. closed model capability gap (ECI)." Epoch AI Data Insights.
• 10.Epoch AI. (2026). "LLM inference price trends." Epoch AI Data Insights.
• 11.Stanford Institute for Human-Centered AI. (2026). "The AI Index Report 2026." Stanford HAI.
• 12.Grand View Research. (2026). "Artificial Intelligence (AI) Inference Market Report." Grand View Research.
• 13.Goldman Sachs Research. (2026-05). "AI Agents Forecast to Boost Tech Cash Flow as Usage Soars." Goldman Sachs.

배경 · 반론

• 14.Crunchbase News. (2026). "North America Startup Funding And M&A Shattered Records On AI In Q2 2026." Crunchbase News (배경 통계).
• 15.Forbes. (2026-05-14). "Cerebras Priced The Biggest IPO Of 2026." Forbes.
• 16.Forbes. (2026-07-18). "Open Weight Models Are Turning Inference Into A Control Point." Forbes.
• 17."Boom, Bubble, or Buildout? A Multi-Method Evaluation of Whether AI Is in an Ongoing Financial Bubble." arXiv:2606.01575.