这项由阿里巴巴集团通义实验室FunAudioLLM团队完成的研究发表�𻂉月，论文题目为《MinMo: A Multimodal Large Language Model for Seamless Voice Interaction》。感兴趣的读者可以通过论文官网https://funaudiollm.github.io/minmo查看完整内容，代码和模型也将很快开源发布。

你有没有想过，未来有一天我们能和AI助手像和好朋友聊天一样自然？不需要按下任何按钮，不需要等待对方说完，就像面对面谈话那样随时插话、随时回应？阿里巴巴的研究团队刚刚让这个梦想变成了现实。他们开发出了一个名为MinMo的AI模型，它能够实现真正"无缝"的语音交互，就像两个人在咖啡厅里轻松聊天一样自然流畅。

这个研究的重要性远超我们的想象。现在的语音助手，比如Siri或小爱同学，都需要你说"嘿Siri"来唤醒，然后等它完全说完才能继续对话，就像古时候的对讲机一样僵硬。而MinMo开创了一个全新的时代：它能够边听边说，能够理解你想要插话的时机，还能根据你的要求调节说话的情绪、语速甚至方言，就像一个真正贴心的朋友。

更令人惊叹的是，MinMo拥有�亿个参数，在各种语音相关的任务上都达到了业界最佳水平。它不仅能够完美理解多种语言的语音内容，还能捕捉到说话者的情绪变化、年龄特征，甚至能识别各种环境声音。而且，它的反应速度快得惊人：从听到你的话到开始回应，只需要大�毫秒，比眨眼还快；即使在复杂的双向对话中，延迟也仅�毫秒，几乎感受不到任何停顿。

一、突破传统束缚的全新语音交互革命

传统的语音助手就像是一个严格按照剧本表演的演员。你必须等它完全念完台词，然后轮到你说话，再等它回应，整个过程就像两个人在用对讲机交流一样别扭。更糟糕的是，这些系统往往只能理解语音的字面意思，却错过了语调中包含的丰富情感信息，就像只看到了黑白照片而错过了彩色世界。

研究团队发现，现有的多模态语音模型主要分为两大类。第一类是"原生多模态模型"，就像一个从零开始学习说话和理解语言的婴儿，需要同时掌握语音和文字两套完全不同的沟通系统。这种方法面临着巨大的挑战：语音转换成数字信号后，序列长度往往是文字的两倍多，就像要同时记住一首歌的歌词和复杂的旋律一样困难。更要命的是，高质量的语音数据相比文字数据稀缺得多，导致模型在学习过程中会"忘记"已经掌握的文字理解能力，这种现象被称为"灾难性遗忘"。

第二类是"对齐多模态模型"，它们的策略更像是让一个已经精通文字交流的人学习语音表达。这种方法能更好地保持原有的文字理解能力，但以往的研究存在明显不足：训练数据量太少（比如LLaMA-Omni只用�万个样本，F(xiàn)reeze-Omni用�万小时），测试范围有限，而且缺乏对复杂语音风格控制的系统性探索。更重要的是，这些模型都无法实现真正的全双工对话——也就是像人类一样能够边听边说、随时打断和被打断的自然交流方式。

MinMo的出现彻底改变了这一局面。研究团队采用了一种全新的多阶段训练策略，就像培养一个全才演员一样：首先让它精通语音理解，然后学会语音生成，接着掌握语音到语音的直接对话，最后训练复杂的全双工交互能力。这个过程使用了超�万小时的多样化语音数据，涵盖了从日常对话到专业翻译、从情感识别到环境声音理解的各个方面。

二、MinMo的核心架构：像搭建智能大脑一样精巧

MinMo的整体架构设计就像为一个智能助手精心搭建一套完整的感官和表达系统。整个系统的核心是一个强大的大语言模型——Qwen2.5-7B，它就像这个智能助手的"大脑"，负责理解和思考。

在输入端，MinMo配备了一个精密的"耳朵"——语音编码器。这个组件基于SenseVoice-large编码器开发，不仅能够准确识别多种语言的语音内容，还能感知说话者的情绪变化和环境中的各种声音事件。就像一个敏感的听众，它能从你的语调中察觉到你是高兴、难过还是着急。

为了让"大脑"能够理解"耳朵"传来的信息，研究团队设计了一个巧妙的输入投影器。这个组件就像一个精通多种语言的翻译，能够将语音信号转换成大语言模型能够理解的"思维语言"。它由两层Transformer和一个卷积神经网络层组成，还能将语音信号进񕋺倍下采样，提高处理效率。

在输出端，MinMo拥有一套革命性的语音生成系统。这套系统的核心创新在于它的流式语音解码器，就像一个能够即兴发挥的演说家。传统的语音生成系统往往需要先生成完整的文本，然后再转换成语音，就像先写好演讲稿再朗读。而MinMo的解码器能够直接从"大脑"的思维状态生成语音，实现真正的流式输出。

这个语音解码器的工作原理特别巧妙。它采用了一񌈇:15的固定比例混合机制：񃘛个文本语义向量后�个语音令牌。这种设计就像音乐中的节拍，既保证了语音的流畅性，又维持了内容的准确性。当系统需要生成语音时，它会在语义向量和语音令牌之间建立精确的对应关系，确保最终输出的语音不仅发音标准，还能准确表达预期的内容和情感。

最令人惊叹的是MinMo的全双工预测器。这个组件就像一个善于观察的谈话伙伴，能够实时判断对话的节奏。它由一个单层Transformer和一个线性输出层组成，虽然结构简单，但功能强大。它能够分析当前的对话语境，判断是应该继续说话、停下来听取用户的新输入，还是在用户插话时优雅地让出话语权。

整个系统总共包含�亿个参数，但其中大部分来自预训练的组件。真正需要从零训练的部分相对较少，这种设计哲学就像站在巨人的肩膀上创新，既保证了系统的强大能力，又提高了训练效率。从用户说话到系统开始回应的理论延迟约�毫秒，在实际应用中约�毫秒，这个速度已经接近人类对话的自然节奏。

三、创新性的流式语音解码器：让AI学会"即兴发挥"

MinMo最具突破性的创新之一是它的流式语音解码器设计。这个组件的重要性就像给一个优秀的作家配上了一支能够即兴创作的神笔，让AI能够在理解的同时就开始表达，而不需要像传统系统那样"先想好再说"。

传统的语音生成方法就像一个严格按照说明书操作的工厂流水线。LLaMA-Omni使用的是非自回归流式Transformer，它接收语言模型的输出，然后使用连接主义时序分类方法来预测语音令牌序列。这种方法虽然速度快，但就像用模板印刷文章一样，生成质量往往不够理想。而Freeze-Omni则采用了三个不同的语音解码器，包括非自回归前缀语音解码器、非自回归语音解码器和自回归语音解码器，整个系统就像一个过于复杂的乐器，虽然功能全面但操作繁琐。

MinMo采用了一种全新的设计哲学。它的自回归流式Transformer就像一个能够边思考边说话的智慧演说家。这个解码器能够同时处理语言模型的隐藏状态和语音令牌，按񆸋:15的固定比例进行混合处理。这种设计的妙处在于，它能够充分利用语言模型丰富的语义信息，同时保持语音生成的自然流畅性。

具体来说，系统在每个对话轮次开始时，会将用户输入的嵌入信息和语言模型最后一层的隐藏状态连接起来，形成查询嵌入向量。这些向量就像包含了完整背景信息的"说话指令"，告诉语音生成系统不仅要说什么，还要怎么说。然后，系统会将这些查询嵌入𰲑个采样文本令牌及其对应的隐藏状态沿着序列维度连接，输入到投影器中。投影器的输出被称为语义向量，它们承载着丰富而准确的语义信息。

语音令牌语言模型接收到这些语义向量后，会𱓷:15的比例自回归生成语音令牌。在训练过程中，系统采用教师强制策略，并引入一个特殊的令牌来指示下一组语义向量的连接时机。当语言模型的文本响应完成且语义向量用尽时，系统会插入一个"语音轮次"令牌，指示语音令牌语言模型后续只生成语音令牌。整个语音合成过程在遇到"语音结束"令牌时终止。

为了重建最终的音频波形，MinMo使用了一个现成的流式令牌到波形合成器。这个合成器包含了一个块感知的流匹配模型和一个mel谱到波形的声码器，能够�个令牌为单位合成音频波形块。这种设计确保了音频输出的高质量和低延迟。

理论上，语音解码器的延迟可以用一个简单的公式来计算：延迟 = 5×语言模型生成一个文本令牌的时间 + 15×语音语言模型生成一个语音令牌的时间 + 15×令牌到波形合成器处理每个语音令牌的时间。这种透明的延迟计算让整个系统的性能变得可预测和可优化。

四、多样化训练数据：打造语音理解的"全科医生"

MinMo的卓越性能很大程度上归功于其丰富多样的训练数据。整个训练数据集就像一个包罗万象的语音博物馆，总计超�万小时，涵盖了语音交互可能遇到的各种场景和挑战。

在语音转文本类别中，系统接受了�万小时的训练，就像让一个学生同时精通多门外语和各种专业技能。这些数据包括自动语音识别、语音翻译、语言识别、上下文偏置语音识别、语音情感识别、音频事件检测、说话人分析、口语语言平滑和语音转文本聊天等多个任务。每种任务都有其独特的挑战：自动语音识别需要精确理解语音内容，语音翻译要求跨语言的准确转换，情感识别则需要捕捉语调中的细微变化。

研究团队为这些任务设计了统一的数据格式，就像为不同的学科制定了标准的教学大纲。每个训练样本都采用ChatML格式组织，包含系统提示、用户输入和助手输出三个部分。用户输入部分包含任务指令和音频文件路径，任务指令用自然语言描述不同的语音转文本任务。例如，"语音转录"用于语音识别任务，"将中文翻译成英文"用于语音翻译任务。这种统一的格式设计让模型能够同时掌握多种技能，就像一个全科医生能够处理各种不同的病症。

文本转语音类别的训练数据主要来自CosyVoice 2的基础合成数据，包�万小时的文本-语音配对数据，支持中文、英文、韩文和日文四种语言。此外，研究团队还构建了�小时的指令控制音频生成数据，这些指令被扩展为自然语言描述，涵盖了情感、语速、方言和角色扮演等多个维度。例如，用户可以说"请用快速的语调说：今天是快乐的一天，充满了欢声笑语"，系统就会生成相应风格的语音。这种训练让MinMo不仅能够生成准确的语音内容，还能够根据用户的具体要求调节说话风格。

语音转语音类别的数据主要通过仿真获得，包含񏉽万小时的多轮对话语音�小时的风格可控多轮对话语音。研究团队采用了巧妙的数据生成策略：首先从Alpaca和ShareGPT等开源文本对话数据开始，使用CosyVoice的零样本上下文生成方法将用户文本转换为用户语音。然后，他们使񉎒小时的特定说话人数据微调CosyVoice基础模型，创建了针对目标说话人的语音合成模型CosyVoice-SFT，用于合成助手语音。

为了解决合成音频与真实音频之间的差异，研究团队还从自动语音识别数据中选择合适的真实语音作为用户查询，使用相应的文本作为Qwen-Max的输入来生成回应文本，然后用CosyVoice-SFT模型合成助手语音。这种策略进一步增强了模型对真实用户音频输入的鲁棒性。

语音转控制令牌类别主要包含用于全双工交互的训练数据，�小时。这些数据分为两部分：一部分来自现有的真实语音交互数据，包括Alimeeting、Fisher和内部语音交互数据；另一部分通过文本对话数据仿真获得，主要包括开源MOSS数据集和内部文本对话数据合成的语音对话。

五、四阶段渐进训练策略：像培养天才一样循序渐进

MinMo的训练过程就像培养一个语言天才的完整教育方案，分为四个精心设计的阶段，每个阶段都有其特定的学习目标和训练重点。这种渐进式的训练策略确保了模型能够逐步掌握从基础理解到高级交互的各种能力。

第一阶段是语音转文本对齐训练，就像教会一个孩子首先学会"听懂"别人在说什么。在这个阶段，系统主要学习将音频信号转换为可理解的文本信息。由于语音编码器和大语言模型都是预训练的，而输入投影器的参数是随机初始化的，研究团队采用了一种巧妙的预对齐策略。他们首先使用语音转文本数据的一个子集进行预对齐训练，只更新输入投影器的参数。这个过程就像让翻译员先熟悉基本词汇，避免随机初始化的参数对预训练语音编码器产生过大的梯度影响。

预对齐之后，系统进入完全对齐阶段，使用完整的语音转文本数据同时训练输入投影器和语音编码器，而保持大语言模型参数冻结。这个过程被称为Full-Align。接下来是监督微调阶段，使用�万个样本涵盖各种任务，此时通过LoRA方法更新大语言模型，增强模型的指令跟随能力。整个第一阶段的数据分布经过精心设计，确保模型能够均衡地掌握各种语音理解技能。

第二阶段是文本转语音对齐训练，就像教会学生不仅要听懂别人说话，还要学会清晰地表达自己。这个阶段首先训练输出投影器，然后联合训练输出投影器和语音令牌语言模型，而保持MinMo的其他参数冻结。除了基本的文本转语音功能外，这个阶段还利用端到端框架让MinMo能够根据用户指令进行风格可控的语音生成。�小时的指令语音合成数据让MinMo学会了根据用户要求调节情感、语速、方言口音或说话人风格。

第三阶段是语音转语音对齐训练，使用񏉽万小时的配对音频数据继续训练。这个阶段继续只更新输出投影器和语音令牌语言模型。训练数据不仅包括一般的语音转语音对话，还包括各种设置的音频生成指令，如采用特定方言、语速和情感的口语对话。研究团队发现，即使不更新大语言模型，仅通过与小规模指令数据集对齐的嵌入，大模型仍能学会相当有效的音频生成控制能力。

第四阶段是全双工交互对齐训练，这是最复杂也是最关键的阶段。在完成前三个训练阶段后，MinMo已经具备了音频理解、音频生成和半双工语音对话的能力。在此基础上，研究团队进一步添加了使�小时长篇人机对话训练的全双工模块。这个阶段专门训练全双工预测器模块，它接收大语言模型的隐藏嵌入作为输入，预测模型是否需要生成回应。

全双工预测器利用大语言模型固有的语义理解能力来确定两个关键问题：第一，模型是否应该对当前用户查询做出回应；第二，模型是否应该停止正在进行的音频输出来听取用户查询并提供适当回应。这种设计让MinMo能够像人类一样进行自然的双向对话，既能够在适当的时候主动说话，也能够在用户需要插话时优雅地让出话语权。

六、全面的性能评估：在各个维度都达到顶尖水平

为了验证MinMo的性能，研究团队进行了全面而严格的评估，涵盖了语音识别和翻译、语音分析和理解、语音转文本增强、语音生成以及语音聊天等多个维度。这些评估就像给一个全能运动员进行各项体能测试，确保在每个项目上都达到世界级水平。

在多语言语音识别方面，MinMo在包括Aishell-2、LibriSpeech、WenetSpeech、Fleurs和Common Voice在内的多个公开测试集上都取得了优异成绩。特别值得注意的是，无论是否提供语言识别信息作为提示，MinMo都表现出了稳定的性能。例如，在Fleurs数据集上，MinMo在中文、英文、日文、韩文、粤语�种语言的平均表现都超过了Whisper Large v3和Qwen2-Audio等强基线模型。更重要的是，MinMo在有无语言识别信息的情况下性能差异很小，这说明它具有很强的鲁棒性，不像其他模型那样严重依赖语言识别信息。

在多语言语音翻译任务上，MinMo同样表现出色。在Fleurs和CoVoST2测试集上，MinMo在大多数翻译方向上都超过了cascaded模型（Whisper Large V3 + Qwen2.5-7B-Instruct）和其他端到端基线模型。特别是在中英互译和日英互译方向上，MinMo取得了最佳性能。即使只在CoVoST2数据集上进行训练而没有使用Fleurs训练数据，MinMo在两个测试集上都保持了一致的高性能，这表明了模型的泛化能力。

语音情感识别是另一个展现MinMo综合能力的重要测试。在包括CREMA-D、MELD、IEMOCAP等在内的七个广泛使用的情感识别数据集上，MinMo都超过了SALMONN和Qwen-Audio等基线模型。特别是在表演类音频数据集上，MinMo达到了接�%的准确率。为了更公平地比较，研究团队还使用了专门设计用于评估大型音频语言模型的Air-Bench基准测试，结果显示MinMo在语言识别、性别识别、年龄识别、情感识别和声音分类等所有任务上都超过了所有基线模型。

在语音转文本增强任务方面，MinMo展现了处理复杂语音场景的能力。口语语言平滑任务要求将自动语音识别的转录结果转换为正式的书面文本风格。在SWAB数据集上，MinMo与Qwen2.5-7B的性能相当，在保持内容忠实性和正式性方面都表现良好。在标点符号插入和逆文本规范化任务上，虽然这些任务具有主观性，但通过GPT-4 Turbo的评估，MinMo在主观评价方面表现更好。

语音生成能力的评估同样令人印象深刻。在文本转语音任务上，MinMo的语音解码器在内容一致性和语音质量方面都达到了很高的水平。更重要的是，在指令跟随语音生成方面，MinMo展现了卓越的控制能力。在包含情感、方言、语速、角色扮演�种指令控制类型的测试中，MinMo达到�.4%的指令跟随准确率，大幅超过了GLM-4-Voice等基线模型，特别是在方言和角色扮演方面达到�%的控制精度。

七、全双工对话能力：实现真正自然的人机交互

MinMo最引人注目的创新之一是其全双工对话能力，这项技术让AI助手第一次具备了像人类一样进行自然双向对话的能力。传统的语音助手只能进行"半双工"通信，就像古老的对讲机一样，必须严格按照"说话-等待-回应"的模式进行交流。而MinMo实现的全双工通信就像面对面的自然对话，可以随时插话、随时回应，真正做到了无缝交流。

为了评估这种复杂的交互能力，研究团队构建了三个测试数据集：中文Alimeeting数据集、英文Fisher数据集，以及专门设计的更接近真实人机对话场景的仿真测试集。评估从预测性能和预测效率两个角度进行，就像测试一个交通指挥员既要判断准确，又要反应迅速。

在预测性能方面，评估分为三个具体任务：助手轮次接管、用户轮次接管和用户反向通道。助手轮次接管指的是系统判断用户说完话后应该开始回应的时机；用户轮次接管则是系统识别用户想要插话时应该停止说话并转为倾听的能力；用户反向通道是指系统区分用户的简短反馈（如"嗯"、"是的"）和真正的插话意图的能力。

结果显示，MinMo在人机对话数据集上表现出色，无论是用户轮次接管还是助手轮次接管，在允�个时间单位偏差的情况下，预测性能都接�%。在实际人际对话的测试集上，虽然助手轮次接管的性能有所下降，但这主要是因为真实人际对话中存在大量背景噪音、语速变化、停顿等复杂因素。然而，MinMo在用户轮次接管预测方面仍保持高灵敏度和预测性能，确保系统能够及时停止说话当用户开始插话时，避免与用户产生语音冲突。

在预测效率方面，MinMo展现了令人惊叹的响应速度。用户轮次接管的平均响应延迟�毫秒，其中在人机对话测试集上最快达�.8毫秒，即使在最具挑战性的Alimeeting测试集上也只�.8毫秒的延迟。助手轮次接管的平均响应延迟约�毫秒，这个延迟相比用户轮次接管略长，主要是因为助手轮次接管涉及用户话语即将结束的部分，需要更全面的上下文语义信息来做决策。

系统延迟分析显示，MinMo的全双工交互由四个模块组成：全双工预测器、语音转文本模块、文本转语音令牌模块和令牌转波形模块。以助手轮次接管为例，当用户实际语音结束时，全双工模块通常需�毫秒的延迟进行评估，语音转文本过程中预测𳜇个文本令牌需要�毫秒，预测�个语音令牌需要�毫秒，从语音令牌转换到第一个音频包需要额外�毫秒。因此，基于MinMo开发全双工语音对话系统时，助手轮次接管的标准体验延迟约�毫秒，这个速度已经非常接近人类对话的自然节奏。

八、语音聊天与问答：展现智能对话的全方位能力

MinMo在语音对话和问答方面的表现同样令人瞩目，它不仅能够准确理解各种复杂的问题，还能以自然流畅的语音进行回答，就像一个知识渊博、反应敏捷的好朋友。

在口语问答能力评估中，研究团队使用了三个标准数据集：Llama Questions、TriviaQA和Web Questions。这些数据集涵盖了从日常常识到专业知识的各种问题类型。评估分为语音转文本和语音转语音两种模式，前者测试MinMo理解语音问题并生成文本答案的能力，后者则测试完整的语音到语音问答流程。

结果显示，MinMo在语音转语音模式下相较于现有的顶级模型取得了显著优势。在Llama Questions数据集上，MinMo达到�.1%的准确率，相比Moshi�%和GLM-4-Voice�.7%有了大幅提升。在Web Questions上，MinMo达到�.9%的准确率，远超Moshi񊄱.2%和GLM-4-Voice�.9%。虽然语音转语音模式的性能相比语音转文本模式有所下降，但研究团队认为这主要是因为许多测试集中的答案包含丰富的文本结构和专业词汇，对语音合成能力提出了更高要求。

为了更全面地评估MinMo的对话能力，研究团队还构建了两个内部测试集：Alpaca测试集和ChitChat测试集。Alpaca测试集重点评估逻辑推理能力，ChitChat测试集则针对日常闲聊场景。使用Qwen-Max作为评判模型，每个对话样本获𻯦�分的评分。

测试结果表明，通过在MinMo训练中加入额外的语音转文本任务数据，系统能够有效保持基础模型的对话能力。与使用自动语音识别结合纯文本基础模型相比，MinMo的对话能力基本保持一致。虽然MinMo的回应质量略低于Ground Truth回应，但这种差异主要归因于两个方面：首先，多种语音任务的集成以及在基础模型上实施LoRA训练在一定程度上影响了原始大语言模型的逻辑生成能力；其次，MinMo的音频理解能力仍有改进空间，在自动语音识别任务中还存在进一步降低字符错误率的潜力。

特别值得一提的是，MinMo支持风格可控的语音生成，这让它能够根据用户的具体要求调节回应的语调、情感和风格。无论用户希望得到正式的商务风格回应，还是轻松的朋友式对话，或者是特定方言的表达，MinMo都能灵活适应。这种能力让人机对话变得更加丰富多彩，也更符合不同用户的个性化需求。

说到底，MinMo的出现标志着人工智能语音交互技术迈入了一个全新的时代。它不仅在技术指标上全面超越了现有系统，更重要的是在用户体验上实现了质的飞跃。从此以后，我们与AI助手的交流将变得像与朋友聊天一样自然轻松。可以想象，在不远的将来，当我们在厨房做饭时可以随时向AI助手询问食谱建议，开车时可以自然地与AI讨论路线选择，工作时可以无缝地与AI协作完成各种任务，而所有这些交互都将如同与老朋友对话般自然流畅。

这项研究为整个行业树立了新的标杆，也为我们描绘了一个更加智能、便捷的未来生活图景。随着代码和模型的开源发布，相信会有更多开发者在MinMo的基础上创造出各种创新应用，让这项技术真正惠及每一个人的日常生活。

Q&A

Q1：MinMo是什么？它有什么特别之处？

A：MinMo是阿里巴巴通义实验室开发的多模态大语言模型，专门用于实现无缝语音交互。它最大的特别之处是支持全双工对话，意思是可以像人类一样边听边说、随时插话，不需要等待对方说完再回应。它还能根据用户要求调节情感、语速、方言等说话风格，反应速度只�-800毫秒，几乎感受不到延迟。

Q2：MinMo的全双工对话功能具体是怎么工作的？

A：MinMo通过一个全双工预测器来实现自然对话。这个组件能实时分析对话语境，判断三种情况：什么时候应该开始回应用户、什么时候应该停止说话听取用户新输入、什么时候用户只是简单反馈而不是真正插话。它的反应速度很快，识别用户想插话只�毫秒，开始正式回应约�毫秒，这个速度已经接近人类对话的自然节奏。

Q3：MinMo支持哪些语言和功能？普通用户能使用吗？

A：MinMo支持中文、英文、日文、韩文等多种语言，具备语音识别、语音翻译、情感识别、说话人分析等多种功能。它能进行语音问答、多轮对话，还能根据指令生成不同风格的语音回应。目前研究团队承诺将开源代码和模型，普通用户未来可以通过https://funaudiollm.github.io/minmo网站了解更多信息和使用方式。