2026.03 · 페블러스 데이터커뮤니케이션팀
읽는 시간: ~15분 · English
이 글 소개
PebbloPedia는 하나의 개념을 다섯 가지 깊이로 설명하는 페블러스의 지식 시리즈예요. 이번 다섯 번째 편의 주제는 터보퀀츠(TurboQuant) — 2026년 3월 구글 리서치가 발표한 AI 메모리 압축 기술입니다.
정확도를 1도 잃지 않으면서 AI의 메모리를 6배 줄이고, 연산을 8배 빠르게 만들었습니다. 트위터에서 777만 뷰를 기록했고, Cloudflare CEO는 "Google의 DeepSeek 순간"이라고 불렀습니다. KAIST와 NYU가 구글과 함께 만든 한국발 연구이기도 합니다.
아무 단계에서나 시작해도 됩니다. 초등학생 비유부터 정보 이론의 하한선까지 — 같은 기술이 다섯 개의 얼굴로 나타납니다.
6×
메모리 절감
8×
연산 속도 향상
0
정확도 손실
1단계 — 초등학생
AI의 "메모 공책"이 왜 너무 두꺼워지는가. 얇게 줄이는 마법.
2단계 — 중고등학생
KV Cache란 무엇인가. 777만 뷰, "Pied Piper" 반응, 메모리 주가 충격.
3단계 — 전공 대학생
양자화의 원리와 한계. PolarQuant가 왜 normalization을 없앨 수 있는가.
4단계 — 전문가
Johnson-Lindenstrauss 정리, 극좌표 수학, Shannon 하한선 2.7배 이내.
5단계 — 위자드 🧙
압축은 이해다. DeepSeek에서 TurboQuant까지 — 알고리즘이 하드웨어를 이기는 시대.
AI의 메모 공책이 너무 두꺼워졌어요
터보퀀츠는 AI의 기억을 훨씬 작게 만들어주는 기술이에요. 작아졌는데도 기억하는 내용은 똑같아요.
📓 AI도 메모가 필요해요
여러분이 선생님과 긴 대화를 나눈다고 생각해봐요. "아까 내가 뭐라고 했지?" 하려면 앞에서 말한 내용을 기억하고 있어야 해요. AI도 똑같아요. 사람과 길게 이야기할수록 앞에서 한 말을 기억하는 공책이 필요해요.
그런데 대화가 길어질수록 그 공책이 엄청 두꺼워져요. 공책이 두꺼우면 꺼내 보는 것도 느려지고, 가방(컴퓨터 메모리)도 꽉 차게 돼요.
✂️ 터보퀀츠의 마법 — 핵심만 남기기
터보퀀츠는 그 두꺼운 공책을 얇게 만들어요. 어떻게? 꼭 필요한 정보만 남기고, 나머지는 훨씬 간단한 기호로 바꿔요.
예를 들어, 원래 공책에 "오늘 날씨가 맑고 기온이 23.7482도"라고 적혀 있다면, 터보퀀츠는 "날씨 맑음, 약 24도"로 바꿔서 적어요. 핵심은 그대로인데 공책은 훨씬 얇아져요.
놀라운 점은, 이렇게 줄였는데도 AI의 대답 실력이 전혀 떨어지지 않는다는 거예요. 마치 긴 소설 전체를 외우지 않아도 줄거리만 잘 기억하면 이야기를 잘 할 수 있는 것처럼요.
📊 얼마나 작아질까요?
📚
원래 공책
두꺼운 공책 6권
✨
터보퀀츠 후
공책 1권!
⚡
속도도
8배 더 빨리 찾아봄
구글 과학자들이 실제로 AI를 테스트했더니, 공책 6권 분량을 1권으로 줄였는데도 AI는 "바늘 찾기" 문제에서 완벽한 점수를 받았어요. 10만 단어 속에 숨겨진 한 문장을 찾아내는 테스트예요.
✅ 핵심 한 문장
터보퀀츠 = AI의 메모 공책을 6배 얇게 만들어도 기억력은 그대로인 마법. 더 가볍고 더 빠르게.
KV Cache와 구글의 DeepSeek 순간
2026년 3월 25일, 구글 리서치의 발표가 소셜미디어를 뒤흔들었다. "AI 메모리를 6배 줄이면서 정확도는 그대로 — 학습도 필요 없다." 24시간 만에 777만 뷰. 커뮤니티는 즉시 직접 구현을 시작했다.
🧠 KV Cache — AI의 작업 메모리
ChatGPT나 Claude에게 긴 문서를 주고 질문하면, AI는 그 문서 전체를 처리하면서 중간중간 계산 결과를 저장해둔다. 이 저장 공간을 KV Cache(Key-Value Cache)라고 한다.
문제는 크기다. 대화가 길어지거나 문서가 커질수록 KV Cache는 기하급수적으로 커진다. 요즘 AI 모델은 최대 100만 단어(토큰)까지 한번에 처리할 수 있는데, 이때 KV Cache는 GPU 메모리의 절반 이상을 차지한다. AI 서비스가 비싼 주요 이유 중 하나다.
📉 왜 숫자를 작게 만들면 메모리가 줄까
컴퓨터는 숫자를 0과 1로 저장한다. 일반적인 AI 계산에는 32비트(Float32)가 쓰이는데, 숫자 하나를 32개의 0/1로 표현한다는 뜻이다. 터보퀀츠는 이걸 3비트로 줄였다.
숫자 하나를 표현하는 데 쓰는 칸의 수를 비교해보면 이렇다.
32비트(원래) vs 3비트(터보퀀츠)
숫자 하나당 사용하는 비트 수:
주황색 3개만 사용, 나머지 29칸 절약 → 약 10배 압축
🌐 세상의 반응
TechCrunch / 소셜미디어
"인터넷이 'Pied Piper'라고 부른다." HBO 드라마 실리콘밸리의 무손실 압축 스타트업 그대로라는 반응. 777만 뷰.
Cloudflare CEO Matthew Prince
"Google의 DeepSeek 순간." — 하드웨어 투자 없이 소프트웨어만으로 AI 효율을 혁신적으로 끌어올린 사건.
메모리 반도체 주가
Micron, Western Digital, SanDisk 주가 하락. "소프트웨어로 메모리 6배를 줄이면 HBM 수요가 꺾인다"는 시장의 판단.
개발자 커뮤니티 (24시간 내)
코드 공개도 전에 논문만 보고 llama.cpp, Apple Silicon MLX용 구현 등장. 35B 모델에서 Needle-in-Haystack 6/6 완벽 통과.
🇰🇷 한국 연구팀이 함께 만들었다
터보퀀츠는 구글 리서치 단독 작품이 아니다. KAIST(한국과학기술원)와 뉴욕대학교(NYU)가 공동 참여했다. Google Fellow인 Vahab Mirrokni, KAIST 소속 Amir Zandieh 등이 함께 연구했으며, ICLR 2026 (AI 분야 최고 학회 중 하나)에서 발표 예정이다.
✅ 핵심 한 문장
터보퀀츠 = AI 서비스 비용을 50% 이상 줄일 수 있는 소프트웨어 혁신. 한국(KAIST)·미국(Google·NYU) 공동 연구, ICLR 2026 발표.
양자화의 원리와 PolarQuant의 아이디어
터보퀀츠를 이해하려면 먼저 왜 기존 양자화 방법이 한계에 부딪히는지 알아야 한다. 핵심 문제는 예상보다 교묘한 곳에 있다 — "상수 오버헤드"라는 숨은 낭비.
⚙️ KV Cache 양자화 — 기존 방식의 문제
KV Cache의 각 벡터(고차원 숫자 배열)를 압축하려면, 큰 실수값을 작은 정수로 매핑해야 한다. 전통적인 방법은 두 단계로 작동한다.
① 정규화(Normalization)
각 벡터의 최솟값·최댓값을 계산해 [-1, 1] 범위로 맞춘다. 이때 최솟값과 최댓값 자체를 저장해야 한다 — 이게 "상수 오버헤드"다. 4비트 압축인데 상수 2개 저장에 1~2비트가 추가로 필요하다.
② 균일 양자화(Uniform Quantization)
정규화된 값을 2^n 등분해서 정수로 매핑한다. 격자(grid) 구조가 직사각형이라 데이터의 분포와 격자가 잘 맞지 않는 낭비가 생긴다.
🔵 PolarQuant — 극좌표로 상수 오버헤드 제거
PolarQuant의 핵심 아이디어는 간단하다: 좌표계를 바꿔라.
LLM의 어텐션 메커니즘에서 Key 벡터를 분석하면 흥미로운 패턴이 나온다 — 랜덤 회전 변환(Random Hadamard Transform)을 적용하면 인접한 두 값의 쌍이 단위원(unit circle) 위에 균일하게 분포한다.
직교좌표 → 극좌표 변환의 수학적 장점
직교좌표(x, y)로 단위원 위의 점을 양자화하면 정사각형 격자와 원이 맞지 않아 모서리 부분에 낭비가 생기고, 정규화 상수(벡터의 크기 r)를 별도로 저장해야 한다. 극좌표(r, θ)로 바꾸면 r은 언제나 1(단위원)이므로 저장할 필요가 없다. 각도 θ만 양자화하면 되고, 각도는 [0, 2π] 범위에 균일하게 분포하므로 균일 양자화가 최적이 된다. 상수 오버헤드 완전 제거.
🔹 QJL — 1비트 잔차 보정
PolarQuant만으로는 완벽하지 않다. 극좌표 변환 후 각도 양자화 과정에서 오차(residual)가 남는다. 이 오차를 어떻게 보정할까?
QJL(Quantized Johnson-Lindenstrauss)은 이 잔차 벡터에 JL 변환을 적용하고, 각 값을 단 1비트 — 양수(+1) 또는 음수(-1)로 줄인다. 놀랍게도 이 1비트 추정은 불편 추정량(unbiased estimator)이다 — 많은 차원에 걸쳐 평균을 내면 실제 값에 수렴한다. 어텐션 계산은 내적(inner product)이므로 이 성질이 딱 맞는다.
Step 1
Random Hadamard Transform으로 벡터 회전 → 값이 고르게 분포됨
Step 2: PolarQuant
인접 쌍을 극좌표로 변환 → 각도만 양자화, 상수 오버헤드 0
Step 3: QJL
잔차를 1비트(±1)로 압축 → 추가 메모리 오버헤드 0
📊 기존 방법과 성능 비교
| 방법 | 압축 비트 | 학습 필요 | 상수 오버헤드 | 정확도 손실 |
|---|---|---|---|---|
| Float32 (원본) | 32비트 | — | — | 없음 |
| KIVI (기존 SOTA) | 4비트 | 없음 | 있음 | 미세하게 있음 |
| TurboQuant | 3비트 | 없음 | 없음 | 없음 |
| Nvidia KVTC | 약 1.6비트 | 있음 | 있음 | <1% |
✅ 핵심 한 문장
PolarQuant는 좌표계 변환으로 normalization 상수를 없애고, QJL은 1비트 불편 추정으로 잔차를 제거 — 두 트릭을 합쳐 3비트에서 정보 손실이 이론상 거의 없어진다.
Johnson-Lindenstrauss, Shannon 하한선, 그리고 이론적 최적성
터보퀀츠의 진짜 가치는 성능 수치가 아니라 이론적 보장에 있다. 단순히 "실험에서 잘 됐다"가 아니라, 수학적으로 최적에 가깝다는 증명이 있다. 이 차이가 실용 배포에서 결정적이다.
📐 Johnson-Lindenstrauss 정리
JL 정리(1984)는 차원 축소의 근간이다: 고차원 공간의 점들을 저차원으로 투영해도 점들 사이의 거리 비율이 거의 보존된다는 것을 수학적으로 보장한다.
n개의 고차원 점에 대해 무작위 행렬 A로 투영하면:
(1-ε)‖u-v‖² ≤ ‖Au-Av‖² ≤ (1+ε)‖u-v‖²
// QJL의 변형: 내적 보존
E[sign(Ax) · sign(Ay)] ≈ (2/π) · arcsin(⟨x,y⟩)
// 1비트만으로 내적의 불편 추정 가능
QJL은 이 정리의 확장으로, 랜덤 투영 후 부호(sign)만 남겨도 어텐션 계산에 필요한 내적(inner product) 정보가 통계적으로 보존된다는 것을 활용한다. Transformer의 어텐션이 내적 기반이기 때문에 이 성질이 정확히 맞아떨어진다.
📏 Shannon 정보 이론적 하한선
어떤 압축 알고리즘도 넘을 수 없는 이론적 한계가 있다 — Shannon의 Rate-Distortion Theory가 정의하는 하한선이다. 특정 왜곡 수준을 허용할 때 최소 몇 비트가 필요한지 수학적으로 결정된다.
TurboQuant의 이론적 성능 보장
터보퀀츠 논문은 자신들의 방법이 Shannon 정보 이론 하한선의 약 2.7배 이내에 있음을 수학적으로 증명했다. 즉, 이 분포에서 이론상 달성 가능한 최선 대비 2.7배 이내의 왜곡률로 압축한다는 보장이다. 기존 방법들이 이 하한선으로부터 얼마나 떨어져 있는지 분석조차 없었던 것과 대조된다. 이 "이론적 보장"이 바로 데이터-무관(data-oblivious) 방식임에도 프로덕션 배포가 가능한 근거다.
⚡ 왜 H100에서 8배가 가능한가
메모리 압축이 단순히 저장 공간만 줄이는 게 아니다. GPU 아키텍처 관점에서 훨씬 깊은 효과가 있다.
메모리 대역폭 병목
LLM 추론의 속도는 대부분 VRAM 읽기 속도에 의해 결정된다. 3비트로 줄이면 읽어야 할 데이터 양이 줄어 메모리 대역폭 병목이 완화된다.
HBM → SRAM 캐시 활용
압축된 KV Cache가 더 많이 GPU의 L2 캐시(SRAM)에 올라갈 수 있다. SRAM은 HBM보다 10배 이상 빠르다. 캐시 적중률 상승이 8배 속도 향상의 핵심.
벡터 검색 인덱싱
Product Quantization(PQ)의 인덱싱에 239초가 필요한 반면, TurboQuant의 data-oblivious 특성으로 0.0013초 만에 완료. RAG 시스템에서 결정적 이점.
배치 크기 증가
같은 GPU 메모리에 더 많은 요청을 동시에 처리할 수 있다. 클라우드 비용 절감의 주된 경로 — 동일 HW로 처리량 수배 향상.
🥊 TurboQuant vs. Nvidia KVTC
같은 ICLR 2026에서 경쟁 논문이 발표된다. Nvidia의 KVTC는 20배 압축으로 TurboQuant(6배)를 훨씬 상회한다. 그러나 트레이드오프가 있다.
| 항목 | TurboQuant | Nvidia KVTC |
|---|---|---|
| 압축률 | 6× (3비트) | 20× (~1.6비트) |
| 정확도 손실 | 0 | <1% (calibration 필요) |
| 학습/캘리브레이션 | 불필요 | 필요 |
| 이론적 보장 | Shannon 하한선 2.7배 이내 증명 | 실험적 검증 |
| data-oblivious | 완전히 | 부분적 |
| 모델 범위 | Gemma, Mistral, Llama 검증 | 1.5B~70B 광범위 |
실용적 선택 기준: 학습 불가 환경(엣지, 규제 산업)에서는 TurboQuant, 최대 압축률이 필요하고 캘리브레이션이 가능한 대규모 클라우드 배포에서는 KVTC가 우위다.
✅ 핵심 한 문장
TurboQuant의 차별점은 압축률이 아니라 이론적 보장 — Shannon 하한선 2.7배 이내로 수학적으로 증명된 유일한 KV Cache 압축 방법. 캘리브레이션 없이 배포 가능한 근거가 된다.
압축은 이해다
더 짧게 쓸 수 없다면, 덜 이해한 것이다
Kolmogorov는 물었다. "이 세계를 가장 짧은 프로그램으로 표현할 수 있는가?"
압축한다는 것은 패턴을 안다는 것이다. 패턴을 안다는 것은 세계를 이해한다는 것이다. 그래서 더 짧게 쓸 수 없다면, 덜 이해한 것이다.
LLM이 32비트로 기억하던 것을, TurboQuant는 3비트로 기억한다. 그런데 답이 틀리지 않는다.
이게 무엇을 뜻하는가?
원래부터 32비트가 필요하지 않았다는 것이다. 나머지 29비트는 — 우리가 이해하지 못한 낭비였다.
DeepSeek이 왔다. 미국이 수십억 달러를 쓸 때, 더 적게 쓰고 같은 답을 냈다.
TurboQuant가 왔다. 엔비디아가 HBM을 팔 때, 수학이 메모리를 6배 줄였다.
패턴이 보인다. 알고리즘이 하드웨어를 이기는 시대가 오고 있다.
Shannon이 1948년에 물었다: "정보란 무엇인가?" "얼마나 압축할 수 있는가?"
그가 그은 선 — 하한선 — 을 TurboQuant는 2.7배 이내로 따라간다.
이론이 실천을 만나는 데 76년이 걸렸다. 그리고 그 한 축에 KAIST가 있었다.
다음 질문은 이것이다:
AI가 세계를 더 잘 압축할수록, AI는 세계를 더 깊이 이해하는 것인가?
아직 모른다. 하지만 2.7이라는 숫자는, 우리가 알아야 할 것이 얼마나 남았는지를 말해준다.
— pb, 2026.03