全球首款类脑脉冲大模型“瞬悉 1.0”问世,实现全流程国产化

IT之家 9 月 8 日消息,据中国科学院自动化研究所官方微信公众号消息,近日,中国科学院自动化研究所李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上,与沐曦 MetaX 合作,打造了类脑脉冲大模型“瞬悉 1.0”(SpikingBrain-1.0),在国产千卡 GPU 算力平台上完成全流程训练和推理,实现了大模型在超长序列推理上数量级的效率和速度提升,展示了构建国产自主可控的新型非 Transformer 大模型架构生态的可行性。研究团队开源了 SpikingBrain-1.0-7B 模型并开放 SpikingBrain-1.0-76B 测试网址,同步公开了经工业界大规模验证的类脑脉冲大模型 SpikingBrain-1.0 中英文技术报告。这是全球首款类脑脉冲大模型,实现了全流程国产化,标志着我国在类脑计算与大模型融合创新方面取得重要突破。

IT之家从官方介绍获悉,研发团队借鉴大脑神经元内部复杂工作机制提出“基于内生复杂性”的大模型构架方式,打造类脑脉冲大模型“瞬悉 1.0”( SpikingBrain-1.0),在理论上建立了脉冲神经元内生动力学与线性注意力模型之间的联系,揭示了现有线性注意力机制是树突计算的特殊简化形式,从而清晰地展示了一条不断提升模型复杂度和性能的新型可行路径。研发团队进而构建并开源了基于脉冲神经元、具有线性(SpikingBrain-1.0-7B)及混合线性复杂度(SpikingBrain-1.0-76B,激活参数量 12B)的新型类脑基础模型,开发了面向国产 GPU(沐曦 MetaX 曦云 C550)集群高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。

李国齐表示,这项成果不仅是我国在类脑脉冲大模型架构和国产算力全流程建设上的重大突破,更为法律、医疗、科学模拟等超长序列应用场景提供了更高效的建模工具,也将启迪下一代神经形态计算理论和芯片设计。

清遠(yuǎn)
上一篇:{loop type="arclist" row=1 }{$vo.title}
男人的网站在线观看| 巨胸美乳无码人妻视频| 激情无码成人一区小说| 日日添夜夜操试看一二区| 一本一道波多野结衣av黑人 | 特级毛片a级毛片免费播放| 久久夜色精品国产噜噜噜| 午夜免费啪视频在线观看| 毛片24种姿势无遮无拦| 3000月AV网站| 成 人色 网 站| 色欲香天天天综合网站| 国产精品视频午夜福利| 国产在线永久视频| 人人妻人人爽人人澡欧美一区 | 九九这里面只有精品| 日韩av无码成人无码免费| 67194熟妇人妻欧美日韩| 国产精品久久久久无码Aⅴ| 欧美另类人妖| 日韩一区二区三区高清视频| 国产乱了真实在线观看| 热久久 国产| 国产a在亚洲线播放| 无码久久人妻一区二区浴池| 色婷婷五月综合亚洲小说| 中文字幕人妻熟在线影院| 欧美性爱亚洲色图| 亚洲AV永久无码精品无码自慰| 亚洲性夜夜摸人人天天| www.激情av| 久久久久久精品无码| 亚洲男同志网站| 丁香五月亚洲综合深深爱| 人妻少妇乱子伦精品无码| 无码少妇精品一区二区免费| 免费成人福利视频| 欧美亚洲色图视频小说| 无夜无码AV| 婷婷午夜影院| 激情文学a亚洲c|