一個數字震驚了 AI 業界：記憶體用量縮減 6 倍、執行效能提升 8 倍，而這一切不需要重新訓練模型，甚至不需要任何微調。Google 研究院近日在官方部落格公開最新壓縮演算法「TurboQuant」，聲稱將以極致壓縮重新定義 AI 運算效率。消息一出，美系外資摩根士丹利（大摩）隨即以「另一個 DeepSeek 時刻」定性這項技術，認為它有潛力從根本上改變 AI 部署的成本曲線。這篇部落格由 Google 研究院研究科學家 Amir Zandieh 與副總裁暨 Google 研究員 Vahab Mirrokni 共同撰寫，TurboQuant 預計於 ICLR 2026 正式發表。
表象：一個長期存在卻被忽視的記憶體瓶頸
要理解 TurboQuant 的意義，必須先回到問題的起點——KV 快取。KV 快取可視為一種高速「數位速查表」，以簡單標籤儲存常用資訊，使電腦能即時存取，而不需搜尋龐大且緩慢的資料庫。在大型語言模型（LLM）的推論過程中，KV 快取承載著模型理解上下文所需的鍵值對資料，是影響回應速度與記憶體用量的核心環節。
Google 研究員指出，向量是 AI 模型理解與處理資訊的基本單位。「高維向量」能捕捉影像特徵、詞語語意等複雜資訊，但也因此消耗大量記憶體，進而在 KV 快取中形成瓶頸。傳統的解法是「向量量化」（Vector quantization），理論上能縮減高維向量的大小，加速相似度查詢並降低記憶體成本。然而，問題就藏在細節裡：傳統向量量化雖然壓縮了向量本身，卻必須為每個小區塊額外存取量化參數，每個數值反而增加 1 至 2 個 bit，等於白忙一場，原本的壓縮效益幾乎被完全抵銷。
真相：TurboQuant 如何用兩個步驟破解困局
TurboQuant 的核心設計分為兩個階段，每個階段對應一項關鍵子技術，共同解決傳統量化方法的根本缺陷。
第一階段：高品質壓縮（PolarQuant 方法）。TurboQuant 首先對資料向量執行隨機旋轉，簡化其幾何結構，再以標準量化器分別處理向量的每個部分。這個階段使用大部分的位元（bits）捕捉原始向量的主要資訊與強度，提供主要的壓縮效果。PolarQuant 的創新之處在於改變了向量的描述方式——過去以 X、Y、Z 等標準座標描述向量，PolarQuant 則將其轉換為「極座標」。打個比方：過去描述路徑是「向東走 3 個街區、向北走 4 個街區」，PolarQuant 的描述方式是「以 37 度角走總共 5 個街區」。這種極座標表現方式將資料映射至固定且可預測的圓形網格，邊界已知，不像傳統方形網格那樣邊界不斷變動，從而消除了傳統方法必然承擔的記憶體額外負擔。
第二階段：消除隱藏誤差（QJL 演算法）。第一階段結束後，仍會殘留微小誤差。TurboQuant 使用僅 1 bit 的剩餘位元，對這些誤差套用 QJL（Quantized Johnson-Lindenstrauss）演算法。QJL 採用 Johnson-Lindenstrauss Transform 數學方法，能將每個向量數值簡化為單一符號位元（+1 或 -1），建立高速的資料「速記形式」，且不需額外記憶體負擔。更重要的是，QJL 扮演「誤差修正器」的角色，消除偏差（bias），提升注意力分數（attention score）的準確性，確保模型仍能精確判斷哪些輸入資訊重要、哪些可以忽略。
各方角力：Google 與 NVIDIA 的 KV 快取競賽
TurboQuant 並非憑空出現。在 Google 公開這項技術之前，NVIDIA 已在論文中發表了壓縮 KV 快取的技術 KVTC，聲稱可將 LLM 記憶體用量縮減達 20 倍。兩家科技巨頭幾乎同步投入相同戰場，背後的邏輯一致：KV 快取是當前 AI 服務擴展最大的記憶體瓶頸，誰能率先突破，誰就能在 AI 推論成本上取得結構性優勢。
Google 研究院副總裁暨研究員 Vahab Mirrokni 表示，TurboQuant 能在無需訓練或微調的情況下，將 KV 鍵值快取量化至僅 3 位元，且不會犧牲模型準確度，同時執行速度還比原始 LLM 更快。
Google 使用開源大型語言模型 Gemma 與 Mistral，在 LongBench、Needle In A Haystack、ZeroSCROLLS、RULER 及 L-Eval 等多個標準長上下文基準測試上進行嚴謹評估。結果顯示，TurboQuant 在「點積失真」（dot product distortion）與「召回率」（recall）兩項指標上均達到最佳表現，在長上下文的「大海撈針」任務中，更在所有基準測試中達到完美的下游任務表現，同時將 KV 記憶體大小至少降低 6 倍以上。在 H100 GPU 加速器上，4 位元 TurboQuant 相較於 32 位元未量化鍵值，效能提升最高可達 8 倍。
Google 研究院研究科學家 Amir Zandieh 指出，TurboQuant 在高維向量搜尋任務中持續展現更優異的召回率，驗證了其穩健性與效率，預期在語意搜尋場景中能讓索引建立流程大幅加速。
深層影響：大摩為何以「DeepSeek 時刻」定性這項技術
摩根士丹利的評語耐人尋味。DeepSeek 當初之所以引發震撼，在於它用更低的訓練成本達到與頂尖模型相當的效能，動搖了「算力堆疊等於競爭優勢」的基本假設。大摩認為，TurboQuant 的意義與此相似——它不是讓模型變得更強，而是讓同樣的模型跑得更便宜、更有效率。
摩根士丹利分析師指出，TurboQuant 可以讓相同硬體支援 4 到 8 倍更長的上下文，或在不耗盡記憶體的情況下處理更大的批次大小（batch size），這並非整體記憶體需求降低 6 倍，而是「效率提升」，增加每顆 GPU 的吞吐量。
大摩進一步指出，長期來看將出現「Jevons Paradox」（傑文斯悖論）效應——效率提升反而推動總需求增加。歷史上，每當能源或運算效率大幅改善，往往不是讓總用量下降，而是讓更多應用場景變得可行，進而帶動整體需求擴張。從這個角度來看，TurboQuant 與其說是漸進式優化，不如說是從根本上改寫了 AI 部署的成本方程式。
未解之問：效率革命之後，算力需求真的會降低嗎？
TurboQuant 在短期內主要針對推論階段的 KV 快取進行壓縮，對模型權重與訓練工作負載並無直接影響。Google 也坦承，這項技術目前最明確的應用場景是 KV 快取瓶頸與向量搜尋，更廣泛的應用仍有待探索。
真正懸而未決的問題是：當推論成本大幅下降，AI 服務的普及速度將加快到什麼程度？傑文斯悖論告訴我們，效率提升從來不等於資源消耗減少。GPU 需求是否因此反而攀升？資料中心的電力消耗是否將進一步擴張？這些問題，TurboQuant 的論文給不了答案，但它確實讓這些問題變得更加迫切。
常見問題解答
TurboQuant 是什麼技術？
TurboQuant 是 Google 研究院開發的新型壓縮演算法，專門針對大型語言模型的 KV 快取與向量搜尋進行壓縮優化。它結合 PolarQuant 與 QJL 兩項子技術，能在不損失模型準確度的情況下，將 KV 快取記憶體使用量降低至少 6 倍，並在 H100 GPU 上實現最高 8 倍的效能提升，預計於 ICLR 2026 正式發表。
TurboQuant 與傳統向量量化有何不同？
傳統向量量化雖能縮減向量大小，但每個壓縮區塊需額外存取量化參數，導致每個數值反而增加 1 至 2 個 bit，抵銷了壓縮效益。TurboQuant 透過 PolarQuant 的極座標映射消除記憶體額外負擔，再以 QJL 僅用 1 bit 修正殘留誤差，從根本上解決了這個矛盾。
為何大摩將 TurboQuant 稱為「另一個 DeepSeek 時刻」？
摩根士丹利認為，TurboQuant 與 DeepSeek 的意義類似，都是在不增加硬體投入的前提下，大幅提升 AI 運算效率，從而改變 AI 部署的成本曲線。大摩指出，TurboQuant 讓相同硬體能支援 4 到 8 倍更長的上下文或更大的批次處理，長期來看可能因傑文斯悖論效應推動整體 AI 需求進一步擴張。
