機(jī)器之心報(bào)道
編輯：澤南
訓(xùn)練、推理性?xún)r(jià)比創(chuàng)新高。
大語(yǔ)言模型（LLM），正在進(jìn)入 Next Level。
周五凌晨，阿里通義團(tuán)隊(duì)正式發(fā)布、開(kāi)源了下一代基礎(chǔ)模型架構(gòu) Qwen3-Next?？倕?shù) 80B 的模型僅激活 3B ，性能就可媲美千問(wèn) 3 旗艦版 235B 模型，也超越了 Gemini-2.5-Flash-Thinking，實(shí)現(xiàn)了模型計(jì)算效率的重大突破。
新模型立即在 Qwen.ai 上線，并上傳了 HuggingFace。
新模型網(wǎng)頁(yè)版：https://chat.qwen.ai/HuggingFace：https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9dKaggle：https://www.kaggle.com/models/qwen-lm/qwen3-next-80b
Qwen3-Next 針對(duì)大模型在上下文長(zhǎng)度擴(kuò)展（Context Length Scaling）和參數(shù)量擴(kuò)展（Total Parameter Scaling）的未來(lái)趨勢(shì)而設(shè)計(jì)。通義團(tuán)隊(duì)表示，其模型結(jié)構(gòu)相較 4 月底推出的 Qwen3 的 MoE 模型新增了多種技術(shù)并進(jìn)行了核心改進(jìn)，包括混合注意力機(jī)制、高稀疏度 MoE 結(jié)構(gòu)、一系列提升訓(xùn)練穩(wěn)定性的優(yōu)化，以及提升推理效率的多 token 預(yù)測(cè)（MTP）機(jī)制等。
模型結(jié)構(gòu)示意圖：
通義團(tuán)隊(duì)介紹了新架構(gòu)使用的一些機(jī)制。
混合架構(gòu)：Gated DeltaNet + Gated Attention
線性注意力打破了標(biāo)準(zhǔn)注意力的二次復(fù)雜度，在處理長(zhǎng)上下文時(shí)有著更高的效率。通義團(tuán)隊(duì)發(fā)現(xiàn)，單純使用線性注意力或標(biāo)準(zhǔn)注意力均存在局限：前者在長(zhǎng)序列建模上效率高但召回能力弱，后者計(jì)算開(kāi)銷(xiāo)大、推理不友好。
通過(guò)系統(tǒng)實(shí)驗(yàn)，人們發(fā)現(xiàn) Gated DeltaNet 相比常用的滑動(dòng)窗口注意力（Sliding Window Attention）和 Mamba2 有更強(qiáng)的上下文學(xué)習(xí)（in-context learning）能力，并在 3:1 的混合比例（即 75% 層使用 Gated DeltaNet，25% 層保留標(biāo)準(zhǔn)注意力）下能一致超過(guò)超越單一架構(gòu)，實(shí)現(xiàn)性能與效率的雙重優(yōu)化。
在保留的標(biāo)準(zhǔn)注意力中，通義進(jìn)一步引入多項(xiàng)增強(qiáng)設(shè)計(jì)：
（1）沿用先前工作中的輸出門(mén)控機(jī)制，緩解注意力中的低秩問(wèn)題；
（2）將單個(gè)注意力頭維度從 128 擴(kuò)展至 256；
（3）僅對(duì)注意力頭前 25% 的位置維度添加旋轉(zhuǎn)位置編碼，提高長(zhǎng)度外推效果。
極致稀疏 MoE：僅激活 3.7% 參數(shù)
Qwen3-Next 采用了高稀疏度的 Mixture-of-Experts (MoE) 架構(gòu)，總參數(shù)量達(dá) 80B，每次推理僅激活約 3B 參數(shù)。實(shí)驗(yàn)表明，在使用全局負(fù)載均衡后，當(dāng)激活專(zhuān)家固定時(shí)，持續(xù)增加專(zhuān)家總參數(shù)可帶來(lái)訓(xùn)練 loss 的穩(wěn)定下降。
相比 Qwen3 MoE 的 128 個(gè)總專(zhuān)家和 8 個(gè)路由專(zhuān)家，Qwen3-Next 擴(kuò)展到了 512 總專(zhuān)家，10 路由專(zhuān)家與 1 共享專(zhuān)家的組合，在不犧牲效果的前提下最大化資源利用率。
訓(xùn)練穩(wěn)定性友好設(shè)計(jì)
通義團(tuán)隊(duì)發(fā)現(xiàn)， 注意力輸出門(mén)控機(jī)制能消除注意力池與極大激活等現(xiàn)象，保證模型各部分的數(shù)值穩(wěn)定。Qwen3 采用了 QK-Norm，部分層的 norm weight 值會(huì)出現(xiàn)異常高的情況。為緩解這一現(xiàn)象，進(jìn)一步提高模型的穩(wěn)定性，通義在 Qwen3-Next 中采用了 Zero-Centered RMSNorm，并在此基礎(chǔ)上對(duì) norm weight 施加 weight decay，以避免權(quán)重?zé)o界增長(zhǎng)。
通義還在初始化時(shí)歸一化了 MoE router 的參數(shù)，確保每個(gè) expert 在訓(xùn)練早期都能被無(wú)偏地選中，減小初始化對(duì)實(shí)驗(yàn)結(jié)果的擾動(dòng)。
Multi-Token Prediction
Qwen3-Next 引入原生 Multi-Token Prediction (MTP) 機(jī)制，既得到了 Speculative Decoding 接受率較高的 MTP 模塊，又提升了主干本身的綜合性能。Qwen3-Next 還特別優(yōu)化了 MTP 多步推理性能，通過(guò)訓(xùn)練推理一致的多步訓(xùn)練，進(jìn)一步提高了實(shí)用場(chǎng)景下的 Speculative Decoding 接受率。
通義千問(wèn)大模型負(fù)責(zé)人林俊旸在 X 上分享了新一代模型開(kāi)發(fā)的細(xì)節(jié)。他表示團(tuán)隊(duì)已經(jīng)在混合模型和線性注意力機(jī)制上進(jìn)行了大約一年的實(shí)驗(yàn)。新的解決方案應(yīng)該足夠穩(wěn)定可靠，能夠應(yīng)對(duì)超長(zhǎng)上下文。
Gated DeltaNet 加混合是經(jīng)過(guò)大量嘗試和錯(cuò)誤才實(shí)現(xiàn)的，而 Gated Attention 的實(shí)現(xiàn)就像是免費(fèi)的午餐，可以獲得額外好處。
得益于創(chuàng)新的混合模型架構(gòu)，Qwen3-Next 在推理效率方面表現(xiàn)出顯著優(yōu)勢(shì)。與 Qwen3-32B 相比，Qwen3-Next-80B-A3B 在預(yù)填充（prefill）階段展現(xiàn)出卓越的吞吐能力：在 4k tokens 的上下文長(zhǎng)度下，吞吐量接近前者的七倍；當(dāng)上下文長(zhǎng)度超過(guò) 32k 時(shí)，吞吐提升更是達(dá)到十倍以上。
在解碼（decode）階段，該模型同樣表現(xiàn)優(yōu)異 —— 在 4k 上下文下實(shí)現(xiàn)近四倍的吞吐提升，而在超過(guò) 32k 的長(zhǎng)上下文場(chǎng)景中，仍能保持十倍以上的吞吐優(yōu)勢(shì)。
基于 Qwen3-Next 的模型結(jié)構(gòu)，通義團(tuán)隊(duì)訓(xùn)練了 Qwen3-Next-80B-A3B-Base 模型，該模型擁有 800 億參數(shù)（僅激活 30 億參數(shù)），實(shí)現(xiàn)了與 Qwen3-32B dense 模型相近甚至略好的性能，同時(shí)訓(xùn)練成本（GPU hours) 僅為 Qwen3-32B 的十分之一不到，在 32k 以上的上下文下的推理吞吐則是 Qwen3-32B 的十倍以上，實(shí)現(xiàn)了極致的訓(xùn)練和推理性?xún)r(jià)比。
通義團(tuán)隊(duì)開(kāi)源了 Qwen3-Next-80B-A3B 的指令（Insctruct）模型和推理（Thinking）兩款模型。新模型解決了混合注意力機(jī)制 + 高稀疏度 MoE 架構(gòu)在強(qiáng)化學(xué)習(xí)訓(xùn)練中長(zhǎng)期存在的穩(wěn)定性與效率難題，實(shí)現(xiàn)了 RL 訓(xùn)練效率與最終效果的雙重提升。
在編程（LiveCodeBench v6）、人類(lèi)偏好對(duì)齊 (Arena-Hard v2) 以及綜合性能力 (LiveBench) 評(píng)測(cè)中，Qwen3-Next-Instruct 表現(xiàn)甚至超過(guò)了千問(wèn)的開(kāi)源旗艦?zāi)Ｐ?，并在包含通用知識(shí)（SuperGPQA）、數(shù)學(xué)推理（AIME25）等核心測(cè)評(píng)中全面超越了 SOTA 密集模型 Qwen3-32B；Qwen3-Next-Thinking 則全面超越了 Gemini2.5-Flash-Thinking，在數(shù)學(xué)推理 AIME25 評(píng)測(cè)中獲得了 87.8 分。而達(dá)到如此高水平的模型性能，僅需激活 Qwen3-Next 總參數(shù) 80B 中的 3B。
目前，Qwen3-Next 模型也已經(jīng)在很多第三方平臺(tái)中上線。
使用新模型在 anycoder 中的 vibe coding 示例：
