0
| 本文作者： 張進 | 2026-01-08 10:36 |
目前，不同大模型廠商發(fā)布的大語言模型在處理超長上下文方面已經(jīng)有顯著突破，最高的已能支持數(shù)百萬 Token 的輸入，例如 MiniMax-M1、Qwen2.5-1M 系列模型，均支持百萬Token（1M）級別的超長上下文處理能力。
但是這場有關(guān)提升大模型上下文長度的“軍備賽”依然不會停止，這是一項巨大的工程與效率之戰(zhàn)。因為超長下文為模型智能提供了最廣闊的發(fā)揮空間——在處理如金融、法律、醫(yī)療等領(lǐng)域的長語境任務是表現(xiàn)更好。所以誰能率先突破更長上下文處理能力，便有機會創(chuàng)造出更大的商業(yè)與技術(shù)價值。
胡俠團隊便針對這一目標提出了一項最新研究方案——“通過有損計算（Lossy Computation）來提高大語言模型的推理效率”。這項研究的基本思路是，利用大語言模型對來自低精度計算等“有損”操作產(chǎn)生的噪聲具有極強魯棒性這一特點，主動引入可控的、不損害性能的信息損失，以換取顯著的效率提升。
大模型中的“有損計算”是通過有選擇地犧牲一部分精度來大幅降低計算或者存儲成本，從而提升推理效率，主要圍繞模型參數(shù)量化、KV Cache 壓縮、模型剪枝與知識蒸餾等核心路徑展開。
胡俠認為，大語言模型雖已實現(xiàn)類人對話能力，但在處理醫(yī)療領(lǐng)域長篇文獻信息提取等長語境任務時，面臨著“預訓練長度限制”與“推理內(nèi)存需求激增”的雙重挑戰(zhàn)。
針對這兩項挑戰(zhàn)，團隊提出的“通過有損計算（Lossy Computation）來提高大語言模型的推理效率”方案，實現(xiàn)了兩項關(guān)鍵技術(shù)突破：一是在算法層面，通過粗化遠距離標記的位置信息，成功將大語言模型的語境長度擴展至原有水平的 8 倍；二是在系統(tǒng)層面，將過往標記的中間狀態(tài)（KV Cache）量化為 2 比特數(shù)字，實現(xiàn)了 8 倍內(nèi)存效率的提升和 3.5 倍時鐘時間加速的重大進展。
胡俠是人工智能領(lǐng)域的國際知名學者，長期從事數(shù)據(jù)挖掘、機器學習和人工智能研究，目前是上海人工智能實驗室主任助理、領(lǐng)軍科學家，曾擔任美國萊斯大學正教授、數(shù)據(jù)科學中心主任，亦是AIPOW公司聯(lián)合創(chuàng)始人兼首席科學家。其主導開發(fā)的開源系統(tǒng) AutoKeras 成為最常用的自動機器學習框架之一（超過 8000 次 star 及 1000 次 fork），開發(fā)的 NCF 算法及系統(tǒng)（單篇論文被引用超 8000 余次）成為主流人工智能框架 TensorFlow 的官方推薦系統(tǒng)，主導開發(fā)的異常檢測系統(tǒng)在通用、Trane、蘋果等公司的產(chǎn)品中得到廣泛應用。
關(guān)于這兩項關(guān)鍵技術(shù)的相關(guān)細節(jié)以及應用前景，近日我們跟胡俠教授聊了聊，以下內(nèi)容經(jīng)過不改變原意的編輯、整理：
雷峰網(wǎng)：請您先簡單介紹下"通過有損計算實現(xiàn)高效大語言模型推理"的具體思路？
胡俠：我們根據(jù)大語言模型對來自低精度計算等"有損操作"產(chǎn)生的噪聲具有極強魯棒性這一特點，主動引入可控的、不損害性能的信息損失，能夠極高地提供推理效率，實際上是用精度換取效率的思路。我們的"有損計算"主要實施方式是兩種，一是在算法層面，不要用上下文精確的相對距離來進行計算，而是通過粗化遠距離標記的位置信息，成功將大語言模型的語境長度擴展至原來水平的 8 倍；二是在系統(tǒng)層面，將過去令牌的中間狀態(tài)（KV Cache）做相應的量化，量化為 2 比特數(shù)字，可以實現(xiàn) 8 倍內(nèi)存效率提升和 3.5 倍實際速度加速，且不影響模型性能。
雷峰網(wǎng)：“有損計算”的靈感是否部分源于對大模型本身作為一種“有損世界壓縮器”的理論認知？
胡俠：整個方案的靈感來源于深度學習，深度學習中有兩個重要的發(fā)現(xiàn)。一個是模型的參數(shù)量實際上比模型的精度更重要，我們做了很多實驗，其中一堆實驗都表明相對大的模型比相對精確的模型，它的推理無論是效率還是準確度來講都更好。
第二個重要發(fā)現(xiàn)是在深度模型中，當我們把很多參數(shù)刪掉以后，模型的準確率損失非常小。
于是我們就想到了怎樣從模糊的上下文信息以及模糊的 KV Cache 這兩點入手做有損計算。具體舉個例子，比如我們讀書時，當我們試圖記憶上下文，比如想知道上一章出現(xiàn)了一個什么故事，但我們不需要知道這個故事發(fā)生在第 265 個字之前還是第 257 個字之前，我只需要知道大概兩三百個字之前出現(xiàn)了這么一個故事就行了。
雷峰網(wǎng)：您的"有損計算"方案主要通過兩種方案，其中通過粗化位置信息來擴展上下文，這種粗化策略是靜態(tài)，還是根據(jù)文本內(nèi)容動態(tài)調(diào)整的？
胡俠：都不是，它實際上是根據(jù)當時上下文的需要進行動態(tài)調(diào)整的。
雷峰網(wǎng)：第二種方法是將 KV Cache 壓縮到 2 比特，這是一項非常激進的優(yōu)化，在這個過程中您以及您團隊遇到最大的挑戰(zhàn)是什么？
胡俠：整個研究最大的挑戰(zhàn)就是壓縮到 2 比特以后，在這種低精度表示的情況下是否還能夠讓模型保持相應的準確率，所以必須通過大量實驗來解決。
雖然我們在實驗環(huán)境下壓縮到 2 比特是可行的，但在現(xiàn)實應用中很少有人這么做，工業(yè)界主流的優(yōu)化手段例如 DeepSeek 是壓縮到 8 比特，在實際應用中壓縮到 4 比特已經(jīng)非常激進了，2 比特現(xiàn)在更多還是一個實驗室的結(jié)果。
壓縮能夠提高模型的工作效率，這已經(jīng)形成了廣泛共識，壓縮方法是最大的挑戰(zhàn)，所以我們的工作最大的貢獻就是對 Key Cache 和 Value Cache 的壓縮方式是不一樣的。
雷峰網(wǎng)：壓縮 KV Cache 后，能實現(xiàn)什么價值？
胡俠：KV Cache 是大模型訓練和推理中最重要的一個中間存儲狀態(tài)，KV Cache 直接跟 GPU 的內(nèi)存相關(guān)，例如A100 80GB，其中的 80GB 就是它的內(nèi)存，而 80GB 當中可能有 90% 以上的用途都是用來存 KV Cache，它是計算中一個最重要的中間存儲計算工具。
如果從 16 比特壓到 2 比特，就相當于壓縮了近 10 倍，就相當于能夠讓 80GB A100 的 GPU 增加了 10 倍的存儲量，這就非常有價值了，因為一塊普通的 GPU 就是兩三萬美金，如果能增加 10 倍存儲量的話，粗算下來相當于把 2 萬美金的 GPU 直接增值到 20 萬美金。
雷峰網(wǎng)：這兩個方法主要在哪些模型上實驗過？
胡俠：我們主要的結(jié)果是在 llama 上做的。兩篇文章都是 2024 年發(fā)的。
雷峰網(wǎng)：您團隊開發(fā)的 AutoKeras 等開源項目已被廣泛采用。對于這項有損計算技術(shù)，您是否也計劃通過類似的路徑來推動其工業(yè)界采納？
胡俠：已經(jīng)有很多主流的開源軟件包都在使用了，像 hugging face 的 transformer，llama.cpp 都在使用這兩個方法。
雷峰網(wǎng)：您的方案跟當前其他一些推理方法，比如混合專家模型 MoE，模擬計算等，在哲學和技術(shù)路徑有和根本不同？
胡俠：哲學上是差不多的，有句話叫 no free lunch，我們得到的是它的效率，損失的是精度，就看損失的精度會不會影響模型的準確性。但是我們追求的并不是模型的精度，而是最后的準確率。所以哲學上都是通過一些方法來讓模型效率更快，在快的同時還不掉點，即準確率還不會下降。
技術(shù)上就完全不一樣了，MoE 是通過 sparsity（稀疏性）來解決問題。舉個例子，比如你讀篇文章，sparsity 意味著有些詞就完全不讀，刪掉，而我們的粗化位置信息方法則是都要讀完，但是讀的非?？欤挥萌ビ洔蚀_的位置，我只知道它可能在 1～10 之間，20～30 之間，但不需要去記位置是 5 還是 16。
雷峰網(wǎng)：如果模型在生成過程中突然需要回顧一個之前被判定為“不重要”并丟棄的信息，您的算法如何應對這種“大海撈針（Needle- in-a-Haystack）”的失敗風險？
胡俠 ：模型不用非要去看之前的絕對位置，所有的模型的目標都是在最后生成正確的答案即可。
雷峰網(wǎng)：該“有損計算”方案對于模型處理不同任務的影響是相同的嗎？
胡俠：現(xiàn)在我們的方案更多是針對語言大模型，但對于多模態(tài)大模型或者其他智能體的效果是不同的，其他的我們也沒有實驗去支撐，所以很難講效果會好還是不好。但從機理上來講，我們大概的思路就是用精度換效率，但這個損失的精度并沒有損害到模型的準確率。所以從大的邏輯上來講對很多任務應該沒有太多影響，但具體任務也要具體分析。
雷峰網(wǎng)：從柯氏復雜度和最小描述長度的角度看，訓練大模型是尋找數(shù)據(jù)背后的最短程序，那么您認為在推理階段進行有損計算，是否可以理解為在特定任務和上下文約束下進一步尋找“最短的運行時程序”？
胡俠：我覺得可以這么講，這個講法對我來說還挺新穎。
雷峰網(wǎng)：如何評估并確保這些“有損操作”沒有過度？
胡俠：這是個很好的問題。我們更多是用大量實驗來看是否過度，比如說現(xiàn)在常見的是 16 比特，究竟要壓縮到 8 比特、還是 4 比特、還是 2 比特，這就要根據(jù)實際需求來判斷，因為模型準確率的下降曲線在不同的任務上也是不同的。當實驗時模型的準確率已經(jīng)開始大幅下降了，就壓過頭了，就不能再壓了。
雷峰網(wǎng)：您提到壓縮時，模型準確率的下降曲線在不同任務上不同，是否可以舉例在哪些任務上出現(xiàn)明顯不同？
胡俠：我們實驗比較多的任務，包括多模態(tài)的任務、classification 的任務，主要是回答問題，即 chatbot 的準確率在壓縮到 2 比特的時候不會掉點，但是可能用來做生成程序比較困難。我們的有損方法對生成程序這種對精度要求非常高的任務可能會影響其準確性，我們沒做相應的實驗，但我感覺可能比較困難。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))：經(jīng)歷了多少次實驗才發(fā)現(xiàn)將 KV Cache 壓縮到 2 比特的時候掉點很少？
胡俠：很難講，因為這個項目也不是憑空從頭開始做的，也是基于我們之前很多其他工作積累出來的。我們在通過不同方式跑通大模型的過程中不斷做各種實驗，然后發(fā)現(xiàn)了這個現(xiàn)象，但我們也不是第一個做壓縮的人，做壓縮的人很多。但我們主要貢獻了一種新的壓縮方法，就是 Key 跟 Value 這兩種 Cache，所以叫它 KV Cache，之前大家都用同一種方法來壓縮這兩種 Cache，但我們比較創(chuàng)新地將 Key 跟 Value 按照不同的壓縮方法壓縮，可以讓它在 2 比特的時候掉點非常少或者幾乎不掉點，這是最大的一個貢獻。
雷峰網(wǎng)：那有沒有實驗證明壓縮到 1 比特的時候，開始出現(xiàn)大的掉點？
胡俠：不可能 1 比特，1 比特就相當于只用 0 和 1 來表示，整個矩陣就是 0、1，信息量太少了。
雷峰網(wǎng)：在法律、醫(yī)療這種對準確性要求極高的場景，您的有損計算方案是否完全不能應用到這些場景？
胡俠：實際上，法律跟醫(yī)療沒有大家想象的對準確性要求那么高，因為它還是基于大量統(tǒng)計信息，比如要判斷某個人是否患有某種疾病，信息來源非常多，這就是為啥中醫(yī)、西醫(yī)都可以判斷有沒有病，做血檢也可以。所以不需要那么多的信息就可以做出非常精準的判斷了。
這跟大家想象的可能不太一樣，反而需要精確地控制的比如說做一道數(shù)學題，寫一個程序，而判斷一個人有沒有什么疾病，在多數(shù)情況下數(shù)據(jù)好的話是一個比較簡單的任務。
雷峰網(wǎng)：您的有損計算方案可以應用到哪些場景？
胡俠：現(xiàn)在主要是 chatbot，我們在醫(yī)療健康領(lǐng)域應用的是一個基于罕見病的問診系統(tǒng)，如果一個人出現(xiàn)一些癥狀，他是否可能有某種罕見病就可以問這個系統(tǒng)，效果還是非常好的。醫(yī)療領(lǐng)域現(xiàn)有的系統(tǒng)、有關(guān)罕見病的數(shù)據(jù)創(chuàng)建得特別少，因為一個醫(yī)生沒辦法囊括幾千種罕見病，但是大模型可以，而且具有了長上下文能力的大模型能夠做得更好。
雷峰網(wǎng)：您的研究成果是否考慮了與特定硬件（如內(nèi)存計算、低精度AI芯片）的協(xié)同設計？要發(fā)揮最大潛力，是否需要硬件層面的相應變革？
胡俠：現(xiàn)在還沒有考慮硬件。但 KV Cache 存在于 GPU 上，實際上是專用于 GPU 的一種方法，這個層面是考慮了硬件的。
雷峰網(wǎng)：如果推理階段我們可以丟棄 80% 的信息而不影響效果，這是否反向說明，目前的模型架構(gòu)在預訓練階段就存在巨大的效率浪費，未來的架構(gòu)是否應該直接把這種稀疏性設計在預訓練階段，而不是留給推理階段來補救？
胡俠：這倒是一個好問題，你可以這么講，可能有一個新的架構(gòu)會更好地利用這些信息讓預訓練變得更高效，而不光是推理階段。
雷峰網(wǎng)：您的這個研究是否對于大模型部署到手機上或者筆記本電腦等端側(cè)的意義更大？
胡俠：很難講，實際上現(xiàn)在不管用 DeepSeek 還是其他大語言模型，不知道你注意到?jīng)]，點了發(fā)送鍵后，還是要等好一會兒才會出結(jié)果，原因就是它推理太慢了，所以在 server 端還沒解決推理慢的問題，還沒到研究是否到端側(cè)更有用的地步。
雷峰網(wǎng)：您認為有損計算的下一個前沿會是什么？
胡俠：我認為更多的是比如 2 比特能不能真的應用到實際中，什么情況下能用，什么情況下不能用，現(xiàn)在還不是特別清楚。還有就是理論研究得跟上，現(xiàn)在更多是實驗型的研究。從哲學上來講有太多可以有損的地方，但具體一個系統(tǒng)的實現(xiàn)，從設計出來到最后落地哪些地方可以有損，哪些不能有損，這其中還有蠻多可以做的事情。
雷峰網(wǎng)：您的高效推理方案是“即插即用”的還是要針對特定的模型甚至特定的垂直領(lǐng)域數(shù)據(jù)進行額外的微調(diào)呢？
胡俠：它好就好在是“即插即用”的，而且實現(xiàn)的原理非常簡單大家都能理解，因為這些因素現(xiàn)在用戶很多。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
