Meta发布开源大模型Llama4 首次采用“混合专家”架构

　　当地时间周六(4月5日)，美国科技巨头Meta推出了其最强大的开源人工智能(AI)模型Llama 4，Llama 4目前有两个的版本，名为Scout和Maverick。

　　Meta表示，Llama 4是一个多模态大模型，它能够处理和整合各种类型的数据，包括文本、视频、图像和音频，并且可以在这些格式之间转换内容。

　　Llama 4系列首次采用了混合专家(MoE)架构的模型，这种架构在训练和回答用户查询时的效率更高，可以将模型划分为多个专注于特定任务的“专家”子模型。

　　据Meta介绍，Scout和Maverick不仅是其“迄今为止最先进的模型”，也是“多模态领域中最先进的模型”。

　　据悉，Scout有170亿个活跃参数、16个“专家”模型、1090亿个总参数；Maverick也有170亿个活跃参数，但有128个“专家”模型，总参数量高达4000亿。

　　除了Scout和Maverick之外，Meta还在训练功能更加强大的Behemoth，称其为世界上最智能的大模型之一，是“新模型中的教师”。

　　所有这些模型都经过了 “大量未标注的文本、图像和视频数据” 的训练，以使它们具备 “广泛的视觉理解能力”。

　　Scout 和Maverick模型在Llama.com网站以及Meta的合作伙伴处均可公开获取，也可以在WhatsApp、Messenger、Instagram Direct上获取。

　　Meta表示，其人工智能助手Meta AI已在40个国家更新为使用Llama 4模型。目前，多模态功能仅在美国以英语提供。

　　该公司首席执行官扎克伯格周六发表讲话称：“我们的目标是建立世界领先的人工智能，将其开源，并使其普遍可用，以便世界上每个人都能受益。”

　　“我很久以前就说过，我认为开源人工智能将成为领先的模型，而随着Llama 4的推出，这一切已经开始发生。”他说，“Meta AI今天得到了一次重大升级。”

　　Meta首席产品官Chris Cox上个月表示，Llama 4的推出将让AI智能体变得更强大，使其具备更高水平的推理和行动能力。

　　据知情人士透露，Llama 3已经推出一年了，而Llama4之所以迟迟未能发布，是因为在开发过程中，该模型在技术基准上没有达到Meta的预期，尤其是在推理和数学任务方面。此外，Meta也担心其模型在模拟人类语音对话方面不如OpenAI的模型。

　　Meta计划今年斥资高达650亿美元扩大其人工智能基础设施，然而投资者正向大型科技公司施压，要求它们展示投资带来的实际回报。

（文章来源：财联社）

(原标题：Meta发布开源大模型Llama 4，首次采用“混合专家”架构)

(责任编辑：126)