這項(xiàng)由香港城市大學(xué)、中科院自動(dòng)化所等多家知名機(jī)構(gòu)聯(lián)合開展的研究發(fā)表于2025年8月，是首個(gè)系統(tǒng)性研究擴(kuò)散大語言模型量化技術(shù)的學(xué)術(shù)成果。有興趣深入了解的讀者可以通過arXiv:2508.14896v1訪問完整論文。研究團(tuán)隊(duì)由林浩昆、徐浩博等學(xué)者領(lǐng)導(dǎo)，他們來自香港城市大學(xué)、清華大學(xué)、哈佛大學(xué)、中文大學(xué)香港分校等頂尖學(xué)府。
在人工智能快速發(fā)展的今天，大語言模型就像是一臺(tái)超級(jí)智能的文字處理器，能夠理解和生成各種文本內(nèi)容。傳統(tǒng)的大語言模型采用自回歸方式工作，就像我們寫作文時(shí)一個(gè)字一個(gè)字地往下寫，前面的內(nèi)容決定后面寫什么。但最近出現(xiàn)了一種全新的方法——擴(kuò)散大語言模型，它的工作方式更像是在一張模糊的畫紙上逐漸清晰地顯現(xiàn)出文字，能夠同時(shí)考慮前后文的關(guān)系，提供更精細(xì)的文本生成控制。
然而，這些強(qiáng)大的擴(kuò)散語言模型面臨著一個(gè)現(xiàn)實(shí)問題：它們實(shí)在太"龐大"了。就像一座裝滿書籍的巨大圖書館，雖然知識(shí)豐富，但要把它搬到普通人的手機(jī)或電腦上幾乎不可能。為了解決這個(gè)問題，研究人員開發(fā)了各種"壓縮"技術(shù)，其中最受關(guān)注的就是量化技術(shù)。量化技術(shù)就像是將圖書館里厚重的精裝書換成輕便的口袋書，在保持大部分內(nèi)容不變的情況下，大幅減少存儲(chǔ)空間和計(jì)算需求。
這種量化技術(shù)在傳統(tǒng)自回歸語言模型上已經(jīng)相當(dāng)成熟，但對(duì)于新興的擴(kuò)散語言模型來說，還是一片未開墾的土地。研究團(tuán)隊(duì)決定填補(bǔ)這個(gè)空白，系統(tǒng)性地探索擴(kuò)散語言模型的量化壓縮之路。
一、擴(kuò)散模型中的"異常分子"現(xiàn)象
當(dāng)研究團(tuán)隊(duì)深入分析擴(kuò)散語言模型的內(nèi)部結(jié)構(gòu)時(shí)，他們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象——激活異常值的存在。這就像在一個(gè)安靜的圖書館里，突然有幾個(gè)人大聲說話，他們的聲音遠(yuǎn)遠(yuǎn)超過了周圍的正常音量。在神經(jīng)網(wǎng)絡(luò)中，這些"異常分子"表現(xiàn)為數(shù)值異常巨大的激活值，它們雖然數(shù)量不多，但卻主導(dǎo)了整個(gè)數(shù)值范圍。
研究團(tuán)隊(duì)通過可視化分析發(fā)現(xiàn)，這些異常值可以分為兩類。第一類是"普通異常值"，它們?cè)谒形谋疚恢蒙隙急憩F(xiàn)出相對(duì)較大的數(shù)值，就像圖書館里那些天生聲音比較大的人。第二類是"極端異常值"，它們只在少數(shù)幾個(gè)特定位置出現(xiàn)極大的數(shù)值，就像偶爾有人忍不住大喊一聲。
有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)極端異常值特別喜歡出現(xiàn)在神經(jīng)網(wǎng)絡(luò)的前饋層的第二個(gè)線性層中。這個(gè)發(fā)現(xiàn)與傳統(tǒng)自回歸語言模型的觀察結(jié)果一致，說明這種現(xiàn)象具有一定的普遍性。然而，與傳統(tǒng)模型相比，擴(kuò)散語言模型中的普通異常值數(shù)值相對(duì)較小，但極端異常值卻分布在更多的文本位置上，這給量化壓縮帶來了新的挑戰(zhàn)。
這些異常值的存在就像在錄音時(shí)突然出現(xiàn)的噪音峰值，如果直接按照最大音量來調(diào)整整個(gè)錄音設(shè)備的設(shè)置，會(huì)導(dǎo)致正常聲音變得模糊不清。同樣，如果量化算法需要照顧這些異常值，就會(huì)犧牲大部分正常數(shù)值的精度。這就是為什么傳統(tǒng)的量化方法在面對(duì)擴(kuò)散語言模型時(shí)表現(xiàn)不佳的原因。
二、量化技術(shù)的"烹飪實(shí)驗(yàn)"
為了系統(tǒng)性地研究擴(kuò)散語言模型的量化效果，研究團(tuán)隊(duì)設(shè)計(jì)了一系列精心安排的實(shí)驗(yàn)，就像一位經(jīng)驗(yàn)豐富的廚師嘗試不同的烹飪方法來制作同一道菜。他們選擇了當(dāng)前最具代表性的擴(kuò)散語言模型作為研究對(duì)象，包括LLaDA-8B模型的基礎(chǔ)版和指令微調(diào)版，以及Dream-7B模型。
在量化方法的選擇上，研究團(tuán)隊(duì)采用了兩種主要策略。第一種是"僅權(quán)重量化"，這就像只壓縮食譜中的配料用量，而保持烹飪過程不變。具體來說，他們使用了GPTQ和AWQ兩種先進(jìn)的量化方法。GPTQ方法更像是精確的數(shù)學(xué)計(jì)算，通過優(yōu)化算法來最小化量化誤差。AWQ方法則更注重實(shí)用性，它會(huì)識(shí)別最重要的權(quán)重參數(shù)并給予特殊保護(hù)。
第二種策略是"權(quán)重和激活值同時(shí)量化"，這相當(dāng)于既壓縮配料用量，又簡化烹飪步驟。這種方法雖然壓縮效果更顯著，但技術(shù)難度也更高。研究團(tuán)隊(duì)測(cè)試了SmoothQuant、QuaRot和DuQuant三種方法。SmoothQuant采用重新分配的策略，將量化難度從激活值轉(zhuǎn)移到權(quán)重上。QuaRot和DuQuant則采用旋轉(zhuǎn)變換的方法，就像轉(zhuǎn)動(dòng)萬花筒一樣重新排列數(shù)據(jù)分布，使其更適合量化處理。
三、不同精度下的表現(xiàn)差異
研究團(tuán)隊(duì)發(fā)現(xiàn)，量化位寬的選擇就像調(diào)節(jié)畫筆的粗細(xì)一樣，直接影響最終的繪畫效果。對(duì)于僅權(quán)重量化來說，4位量化被證明是最佳選擇。在這種設(shè)置下，模型性能幾乎沒有損失，有時(shí)甚至略有提升。比如，經(jīng)過4位GPTQ量化的LLaDA-8B指令版本在六個(gè)常識(shí)問答任務(wù)上的平均準(zhǔn)確率從65.7%提升到66.0%，在數(shù)學(xué)推理任務(wù)上也僅有0.6%的輕微下降。
然而，當(dāng)量化位寬進(jìn)一步壓縮到3位時(shí)，性能損失開始變得明顯。這就像用過于粗糙的畫筆作畫，雖然還能看出大致輪廓，但細(xì)節(jié)開始模糊。特別是在數(shù)學(xué)推理和代碼生成這些需要精確邏輯的任務(wù)上，性能下降更加顯著，有時(shí)甚至超過10%。
對(duì)于權(quán)重和激活值同時(shí)量化的情況，8位量化表現(xiàn)出了令人滿意的效果。幾乎所有的量化方法在這個(gè)精度下都能保持接近原始模型的性能，性能損失通常不超過2%。這說明即使是相對(duì)簡單的SmoothQuant方法也能在8位設(shè)置下有效處理擴(kuò)散語言模型中的激活異常值。
但是，當(dāng)同時(shí)量化精度降到4位時(shí)，情況發(fā)生了戲劇性的變化。SmoothQuant的性能出現(xiàn)了災(zāi)難性的下降，在某些任務(wù)上準(zhǔn)確率甚至下降了30%以上，幾乎完全失去了實(shí)用價(jià)值。這就像用破損的工具進(jìn)行精密加工，結(jié)果可想而知。相比之下，基于旋轉(zhuǎn)變換的QuaRot和DuQuant方法雖然也有性能損失，但仍能保持相對(duì)可接受的水平，證明了它們?cè)谔幚砑せ町惓Ｖ捣矫娴膬?yōu)勢(shì)。
四、不同量化方法的對(duì)決
在僅權(quán)重量化的比較中，GPTQ方法展現(xiàn)出了全面的優(yōu)勢(shì)。在絕大多數(shù)任務(wù)和設(shè)置下，GPTQ都能提供比AWQ更好的性能保持。這種優(yōu)勢(shì)特別體現(xiàn)在常識(shí)推理任務(wù)上，GPTQ量化后的模型通常能保持更高的準(zhǔn)確率。
有意思的是，AWQ方法的相對(duì)弱勢(shì)可能與擴(kuò)散語言模型的特殊性質(zhì)有關(guān)。AWQ的核心思想是保護(hù)那些被激活值標(biāo)記為重要的權(quán)重參數(shù)，但在擴(kuò)散語言模型中，激活異常值的分布模式與傳統(tǒng)自回歸模型不同，這可能削弱了AWQ的優(yōu)勢(shì)。這就像一個(gè)專門為某種地形設(shè)計(jì)的導(dǎo)航系統(tǒng)，在另一種完全不同的地形中可能就不那么有效了。
在代碼生成任務(wù)上，情況變得更加復(fù)雜。雖然GPTQ在大多數(shù)情況下仍然表現(xiàn)更好，但AWQ在某些極端壓縮設(shè)置下反而顯示出了一定的韌性。不過，需要注意的是，代碼生成任務(wù)本身對(duì)量化技術(shù)提出了更高的挑戰(zhàn)，即使是最好的方法也難以在低位寬設(shè)置下保持令人滿意的性能。
對(duì)于權(quán)重和激活值同時(shí)量化，基于旋轉(zhuǎn)變換的方法明顯勝出。QuaRot和DuQuant在各種任務(wù)和設(shè)置下都顯著優(yōu)于SmoothQuant，特別是在具有挑戰(zhàn)性的4位量化設(shè)置下。這兩種方法通過巧妙的數(shù)學(xué)變換，有效緩解了激活異常值帶來的問題。
在QuaRot和DuQuant的直接對(duì)比中，DuQuant展現(xiàn)出了細(xì)微但一致的優(yōu)勢(shì)。比如在常識(shí)問答任務(wù)上，DuQuant在LLaDA-8B模型上的性能下降為5.1%，而QuaRot為6.6%。在指令微調(diào)版本上，這個(gè)差距更加明顯，DuQuant的性能下降僅為2.5%，而QuaRot為3.9%。這種一致的優(yōu)勢(shì)使得DuQuant成為權(quán)重激活值同時(shí)量化的首選方法。
五、任務(wù)類型對(duì)量化效果的影響
研究團(tuán)隊(duì)發(fā)現(xiàn)，不同類型的任務(wù)對(duì)量化技術(shù)的敏感度存在顯著差異，這就像不同類型的精密儀器對(duì)環(huán)境擾動(dòng)的容忍度不同。一般性的常識(shí)問答任務(wù)表現(xiàn)出了最強(qiáng)的量化魯棒性。這些任務(wù)通常不需要復(fù)雜的多步推理，更多依賴于模型已經(jīng)學(xué)到的知識(shí)和常識(shí)，因此對(duì)量化引起的精度損失相對(duì)不敏感。
數(shù)學(xué)推理任務(wù)的情況就完全不同了。這類任務(wù)需要精確的邏輯推理和多步計(jì)算，每一步的小誤差都可能在后續(xù)步驟中被放大，最終導(dǎo)致完全錯(cuò)誤的結(jié)果。這就像搭建多米諾骨牌，如果某一塊的位置稍有偏差，就可能導(dǎo)致整個(gè)鏈條的失敗。在3位量化設(shè)置下，即使是表現(xiàn)最好的GPTQ方法也會(huì)在數(shù)學(xué)任務(wù)上出現(xiàn)超過10%的性能下降。
代碼生成任務(wù)面臨著更加嚴(yán)峻的挑戰(zhàn)。代碼不僅需要語法正確，還要邏輯嚴(yán)密，任何細(xì)微的錯(cuò)誤都可能導(dǎo)致程序無法運(yùn)行。量化引入的精度損失會(huì)影響模型對(duì)代碼語法和邏輯的精確把握，進(jìn)而導(dǎo)致生成的代碼出現(xiàn)各種問題。在4位權(quán)重激活值同時(shí)量化的設(shè)置下，即使是最優(yōu)秀的DuQuant方法也會(huì)出現(xiàn)超過14%的性能下降。
更值得注意的是，代碼生成任務(wù)的評(píng)估結(jié)果往往具有較大的標(biāo)準(zhǔn)差，這表明量化對(duì)不同類型代碼任務(wù)的影響程度差異很大。某些相對(duì)簡單的編程任務(wù)可能受影響較小，而復(fù)雜的算法實(shí)現(xiàn)則可能受到嚴(yán)重影響。
這些發(fā)現(xiàn)提醒我們，在實(shí)際應(yīng)用中部署量化后的擴(kuò)散語言模型時(shí)，需要根據(jù)具體的使用場景來選擇合適的量化策略。對(duì)于主要處理常識(shí)問答的應(yīng)用，可以采用更激進(jìn)的量化設(shè)置來獲得更好的壓縮效果。而對(duì)于需要進(jìn)行數(shù)學(xué)計(jì)算或代碼生成的應(yīng)用，則需要更加保守的量化策略，甚至考慮為這些關(guān)鍵功能保留更高的精度。
六、模型類型的量化表現(xiàn)差異
研究團(tuán)隊(duì)觀察到一個(gè)非常有趣的現(xiàn)象：經(jīng)過指令微調(diào)的模型在量化面前表現(xiàn)出了更強(qiáng)的"抗壓能力"。LLaDA-8B指令版相比基礎(chǔ)版在幾乎所有量化設(shè)置下都表現(xiàn)出更小的性能損失。這種差異并非偶然，而是反映了兩種模型在訓(xùn)練過程中形成的不同特性。
指令微調(diào)的過程就像給模型進(jìn)行了專門的"抗干擾訓(xùn)練"。在這個(gè)過程中，模型學(xué)會(huì)了如何在面對(duì)各種變化和擾動(dòng)時(shí)仍然保持穩(wěn)定的輸出。這種訓(xùn)練使得模型的內(nèi)部表示更加魯棒，對(duì)量化引入的數(shù)值擾動(dòng)有更強(qiáng)的容忍能力。相比之下，基礎(chǔ)模型雖然學(xué)習(xí)了大量的語言知識(shí)，但缺乏這種專門的穩(wěn)定性訓(xùn)練，因此在面對(duì)量化擾動(dòng)時(shí)更容易出現(xiàn)性能下降。
這種差異在具有挑戰(zhàn)性的任務(wù)上表現(xiàn)得更加明顯。在數(shù)學(xué)推理任務(wù)上，3位量化設(shè)置下，指令微調(diào)版本的性能下降約為5%，而基礎(chǔ)版本的下降幅度接近10%。在代碼生成任務(wù)上，這種差異同樣顯著，指令微調(diào)版本展現(xiàn)出了更好的量化魯棒性。
為了驗(yàn)證這些發(fā)現(xiàn)的普遍性，研究團(tuán)隊(duì)還對(duì)Dream-7B模型進(jìn)行了評(píng)估。結(jié)果證實(shí)了他們的主要結(jié)論：4位量化是僅權(quán)重量化的最佳選擇，而GPTQ方法持續(xù)優(yōu)于AWQ。在Dream模型上，3位量化同樣導(dǎo)致了顯著的性能下降，進(jìn)一步證明了這個(gè)精度閾值的重要性。
值得注意的是，Dream模型系列在面對(duì)激進(jìn)量化時(shí)表現(xiàn)出了相對(duì)更高的敏感性。即使在一般任務(wù)上，3位量化也會(huì)導(dǎo)致接近風(fēng)險(xiǎn)級(jí)別的性能下降，這提醒我們不同的模型架構(gòu)和訓(xùn)練策略可能會(huì)影響量化的效果。
七、量化技術(shù)的實(shí)用性思考
通過這項(xiàng)全面的研究，我們可以清楚地看到擴(kuò)散語言模型量化技術(shù)的現(xiàn)狀和前景。目前來說，4位僅權(quán)重量化已經(jīng)達(dá)到了相當(dāng)實(shí)用的水平，能夠在保持幾乎無損性能的同時(shí)，顯著減少模型的存儲(chǔ)需求和內(nèi)存占用。這對(duì)于在資源受限的設(shè)備上部署擴(kuò)散語言模型具有重要意義。
8位權(quán)重激活值同時(shí)量化也展現(xiàn)出了良好的實(shí)用價(jià)值。雖然這種方法的壓縮效果不如僅權(quán)重量化那么激進(jìn)，但它能夠進(jìn)一步減少推理時(shí)的計(jì)算需求，這對(duì)于提高模型的運(yùn)行速度具有重要作用。對(duì)于需要實(shí)時(shí)響應(yīng)的應(yīng)用場景，這種方法提供了一個(gè)很好的性能和效率平衡點(diǎn)。
然而，研究也揭示了一些需要進(jìn)一步改進(jìn)的領(lǐng)域。4位權(quán)重激活值同時(shí)量化仍然面臨較大的性能損失，特別是在復(fù)雜任務(wù)上。這表明現(xiàn)有的量化技術(shù)還需要進(jìn)一步發(fā)展，才能實(shí)現(xiàn)真正的超低精度量化而不顯著損害模型性能。
研究團(tuán)隊(duì)的工作還指出了擴(kuò)散語言模型量化研究的幾個(gè)重要方向。首先，針對(duì)擴(kuò)散模型特有的激活異常值分布模式，需要開發(fā)更加專門化的量化算法。其次，考慮到不同任務(wù)對(duì)量化的敏感度差異，未來可能需要開發(fā)任務(wù)感知的自適應(yīng)量化策略。最后，隨著擴(kuò)散語言模型架構(gòu)的不斷演進(jìn)，量化技術(shù)也需要相應(yīng)地發(fā)展和適應(yīng)。
說到底，這項(xiàng)研究為擴(kuò)散語言模型的實(shí)用化部署鋪平了道路。雖然目前的量化技術(shù)還不能完全解決所有問題，但已經(jīng)為我們提供了足夠的工具來在實(shí)際應(yīng)用中平衡性能和效率。隨著技術(shù)的不斷進(jìn)步，我們有理由相信，未來會(huì)有更加強(qiáng)大而高效的擴(kuò)散語言模型出現(xiàn)在我們的日常生活中，從智能助手到內(nèi)容創(chuàng)作工具，從教育應(yīng)用到專業(yè)軟件，它們將以更加輕量和高效的形式服務(wù)于各個(gè)領(lǐng)域。對(duì)于普通用戶來說，這意味著他們將能夠在自己的設(shè)備上享受到更加智能和便捷的AI服務(wù)，而不需要依賴昂貴的云計(jì)算資源。這項(xiàng)研究雖然看起來技術(shù)性很強(qiáng)，但它的最終目標(biāo)是讓AI技術(shù)真正惠及每一個(gè)人。
Q&A
Q1：擴(kuò)散語言模型和傳統(tǒng)語言模型有什么區(qū)別？
A：傳統(tǒng)語言模型像寫作文一樣一個(gè)字一個(gè)字地生成文本，而擴(kuò)散語言模型更像在模糊畫紙上逐漸顯現(xiàn)文字，能同時(shí)考慮前后文關(guān)系，提供更精細(xì)的文本生成控制。擴(kuò)散模型采用雙向上下文編碼和迭代去噪方式工作。
Q2：量化技術(shù)會(huì)讓模型變笨嗎？
A：研究發(fā)現(xiàn)4位權(quán)重量化幾乎不會(huì)影響模型性能，有時(shí)甚至略有提升。但在數(shù)學(xué)推理和代碼生成等復(fù)雜任務(wù)上，過度量化確實(shí)會(huì)導(dǎo)致明顯的性能下降。就像把精裝書換成口袋書，內(nèi)容基本保持不變，但極其精細(xì)的部分可能會(huì)有所損失。
Q3：普通用戶能用上量化后的擴(kuò)散語言模型嗎？
A：量化技術(shù)的最終目標(biāo)就是讓AI模型能在普通設(shè)備上運(yùn)行。4位量化已經(jīng)能顯著減少存儲(chǔ)需求，8位量化還能降低計(jì)算需求。這意味著未來用戶可以在自己的手機(jī)或電腦上使用強(qiáng)大的AI功能，而不需要依賴云服務(wù)。
