小米正搭建GPU万卡集群 将对AI大模型大力投入

12月26日，界面新闻独家获悉，小米正在着手搭建自己的GPU万卡集群，将对AI大模型大力投入。小米大模型团队在成立时已有6500张GPU资源。 　　界面新闻据此向小米方面求证，截至发稿，小米暂未置评。　　一名知情人士对界面新闻记者表示，该计划已经施行数月之久，雷军在其中扮演了重要的领导角色。“在AI硬件这件事情上，最核心的是手机而不是眼镜，小米在这个领域不‘all in’是不可能的。”　　小米对AI大模型的重视度提升此前已有信号。12月20日，据第一财经报道，DeepSeek开源大模型DeepSeek-V2的关键开发者之一罗福莉将加入小米，或供职于小米AI实验室，领导小米大模型团队。　　此前DeepSeekV2在模型架构上的重要创新在于对MLA（Multi-head Latent Attention）的采用，这项技术在降低大模型使用成本上发挥了关键作用，而罗福莉是这项工作的核心人物之一。　　2023年4月，小米AI实验室大模型团队正式组建，任命栾剑担任大模型团队负责人，向小米技术委员会副主席、AI实验室主任王斌汇报。　　栾剑此前为AI实验室语音生成团队的负责人，曾任东芝（中国）研究院研究员、微软（中国）工程院高级语音科学家、微软小冰首席语音科学家及语音团队负责人等职位。 　　同一时间，雷军发文谈论对大模型和AIGC的看法时表示，小米在AI领域已经耕耘多年，有AI实验室、小爱同学、自动驾驶等团队。“对于大模型，我们当然会全力以赴，坚决拥抱。我们正在研发一些有趣的技术和产品，等我们打磨好了，再给大家展示。”　　随后，在小米2023周年演讲上，雷军再度谈及公司大模型业务进展。 　　他称团队成立之后，小米大模型技术的主力突破方向为轻量化、本地部署。作为最新成果，小米已初步跑通手机端侧大模型（13亿参数级别），在部分场景效果接近云端60亿参数级别的大模型，将同步推送升级大模型版本的小爱同学。　　彼时，小米有MiLM-6B/1.3B两个参数级别模型。王斌在接受界面新闻等媒体采访时强调，包括数据、算法等在内，小米所训练的模型都是从零开始，但团队也不反对第三方大模型，将以开放态度坚持自研与第三方合作相结合，来推动其大模型发展。　　值得注意的是，小爱同学首次升级时的大模型版本就采用了第三方和自研的混合方案。　　公开资料显示，自2016年组建AI团队以来，小米人工智能团队经过7年6次扩展，相关领域人员规模已达3000多人，其AI技术能力已覆盖视觉、声学、语音、NLP、知识图谱、机器学习、大模型、多模态方向，并逐步接入手机、汽车、AIoT、机器人等业务板块。（文章来源：界面新闻）