11小时前,小米深夜“惊喜”发布并开源最新大规模专业混合架构(MoE)语言模型MiMo-V2-Flash。该模型有 3090 亿个总参数和 150 亿个活动参数。它使用开发者友好的 MIT 开源协议,底层版权发布在 Hugging Face 上。小米MiMo团队负责人罗富力在社交平台上澄清,“MiMo-V2-Flash现已上线,这只是AGI路线图的第二步。”这一声明凸显了小米在AI领域的长期规划和技术野心。从市场影响的角度来看,MiMo-V2-Flash的进入可能会改变现有开源人工智能模型的竞争环境。官方宣布的每百万输入代币 0.1 美元和每百万输出代币 0.3 美元的极低成本,加上高达 150 个代币/秒的推理速度,为开发者和企业提供了非常有吸引力的选择。平杆尤其是,高性能人工智能技术在更广泛场景的应用和扩散,或将加速形成“手机x AIoT”庞大生态圈的强大赋能者。与 DeepSeek-V3.2 和“非常经济高效”的 MiMo-V2-Flash 的性能相当,在多个可靠的基准测试中表现出极大的鲁棒性。它的性能足以与一些最好的开源和闭源模型竞争。根据小米官方公布的数据,在衡量可编程性的SWE Bench Verified测试中,MiMo-V2-Flash取得了73.4%的成绩,超越了所有已知的开源机型,接近最佳闭源机型的水平。该模型还介于 AIME 2025 数学竞赛和 GPQA-Diamond 科学知识测试等测试推理能力项目的两个领先开源模型之间。摩根斯坦利研究报告的图表也表明 MiMo-V2-Flash 可以与更大的模组竞争就整体性能而言,类似于DeepSeek-V3.2。 MiMo-V2-Flash 还为日益重要的座席任务提供卓越的性能。该数据显示,他们在通信、零售和航空等多个类别的 τ²-Bench 排名中得分很高,展示了他们理解复杂任务逻辑和执行多轮交互的能力。小米表示,该模型的高性能和150个代币/秒的推理速度,以及极低的运营成本,使其成为目前最具性价比和高性能的模型之一。该模型目前在 API 平台上限时免费提供,底层版权在 MIT 开源许可下发布在 Hugging Face 上。支持“最大性价比”的技术创新:效率更高,支持长文本 MiMo-V2-Flash在保持高性能的同时,可以实现低成本高效率因为它在模型架构和学习方法上融合了许多关键技术。创新。第一个是“混合滑动窗口注意力机制”。小米采用5:1的混合比例。也就是说,每五层滑动窗口注意力(SWA)与一层全局注意力相结合。这使得KV缓存(一种用于存储中间结果的内存)的存储容量减少了近6倍,同时支持高达256k的超长上下文窗口。罗福利在他的文章中分享了工程细节。其次,还有轻量级多令牌预测(MTP)。该技术允许模型同时并行预测多个标记,而不是传统的逐字生成,从而将推理速度提高 2 至 2.6 倍。罗福利说:“使用3级MTP,平均接受的token数量大于3,编码任务的速度提高了。观察到大约2.5倍的提升。”他透露。他补充说,t他的技术有效解决了GPU宕机的问题。虽然由于项目周期紧张,此次未能完全融入到强化学习(RL)周期中,但小米已经开放了3层MTP供开发者使用。今年11月,曾在DeepSeek工作的罗福利在X上发布重大消息,宣布加入或正式加入小米,担任MiMo团队负责人。小米MiMo是小米旗下推动研发的核心品牌,罗福利的官方公告也透露了小米MiMo,瞄准最前沿:空间智能“黑科技”训练:减少1/50算力调整性能。小米在训练阶段采用业界领先的技术,最大限度地提高效率。该模型在预训练阶段使用FP8混合精度技术,并使用27万亿数据令牌进行训练。据小米介绍,该技术利用了Thinking Machine策略蒸馏的思想,允许学生模式在训练过程中从多个专家教师模型中获取集中奖励信号。它最重要的优点是效率。让学生模型以传统强化学习和SFT技术1/50的计算分析能力,实现教师模型的最大性能。一个“自我强化循环系统”,今天的学生模型可以演变成明天更强大的学生。教师模式,让小米AI模型持续高效迭代:从手机到AGIMiMo-V2-Flash的推出,这不是一个孤立的技术展示,而是小米AI战略的重要组成部分。正如罗福利提到的,这只是AGI路线图的“第二步”,暗示未来还会有更详细的设计。此举清楚地表明小米全力致力于将AI打造成其核心竞争力之一。摩根士丹利发表的一份研究报告称,此举“表明习近平青米致力于AI研发”,未来公司有望在云端和边缘AI领域取得进一步重大进展。自主研发的强大AI核心能力,为手机、物联网设备乃至新能源汽车等硬件产品带来独特的智能体验,构筑更深的生态护城河。摩根士丹利认为,MiMo-V2-Flash的推出不仅可以重塑开源AI模型的市场格局,更彰显了小米深度强化整个“人车”的战略野心。通过自研AI技术打造“家”生态系统。14年前,小米手机以1999元的价格重新定义了旗舰智能手机市场。现在看来,通过MiMo-V2-Flash,小米想以其优越的性能和颠覆性的成本为开源AI领域带来新的“小米时刻”。体验模型可见https://aistudio.xiaomimimo.com/#/。
特别提示:以上内容(包括图片、视频,如有)由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注:以上内容(包括图片和视频,如有)由网易号用户上传发布,网易号是一个仅提供信息存储服务的社交媒体平台。