智通財(cái)經(jīng)APP獲悉，9月12日，阿里巴巴(09988)通義發(fā)布下一代基礎(chǔ)模型架構(gòu)Qwen3-Next，并開源了基于該架構(gòu)的 Qwen3-Next-80B-A3B 系列模型。該模型包含兩個(gè)版本：更擅長(zhǎng)理解和執(zhí)行指令的指令(Insctruct)模型，以及更擅長(zhǎng)多步推理和深度思考的推理(Thinking)模型。

據(jù)介紹，相比Qwen3的MoE(混合專家)模型結(jié)構(gòu)，Qwen3-Next進(jìn)行了以下核心改進(jìn)：混合注意力機(jī)制、高稀疏度MoE結(jié)構(gòu)、一系列訓(xùn)練穩(wěn)定友好的優(yōu)化，以及提升推理效率的多token預(yù)測(cè)機(jī)制(簡(jiǎn)稱MTP，Multiple-Token Prediction)。

具體表現(xiàn)方面，新模型總參數(shù)80B僅激活3B，性能可媲美千問(wèn)3旗艦版235B模型，模型計(jì)算效率大幅提升。Qwen3-Next訓(xùn)練成本較密集模型Qwen3-32B大降超90%，長(zhǎng)文本推理吞吐量提升10倍以上，并可支持百萬(wàn)Tokens(文本處理的最小單位?)超長(zhǎng)上下文。

阿里巴巴通義團(tuán)隊(duì)指出，高稀疏MoE架構(gòu)是Qwen3-Next面向下一代模型的最新探索。當(dāng)前，MoE是主流大模型都采用的架構(gòu)，通過(guò)激活大參數(shù)中的小部分專家完成推理任務(wù)。此前，Qwen3系列的MoE專家激活比約為1比16，而Qwen3-Next通過(guò)更精密的高稀疏MoE架構(gòu)設(shè)計(jì)，實(shí)現(xiàn)了1比50的極致激活比。