Solidot

Meta 宣布最新模型 Llama 4 herd

2025-04-06 23:11 by 时间的地图

Meta 宣布了其最新的开放权重原生多模模型 Llama 4 Scout 和 Llama 4 Maverick。新模型使用了混合专家架构（mixture-of-experts）构建，每个有 170 亿活跃参数。Llama 4 Scout 有 16 个专家，适合单个 NVIDIA H100 GPU，提供了 1000 万上下文窗口，性能强于 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。Llama 4 Maverick 有 128 个专家，在基准测试中超过 GPT-4o 和 Gemini 2.0 Flash，在 LMArena 的 ELO 得分为 1417，它适合单台 H100 主机。Meta 还训练了一个教师模型 Llama 4 Behemoth，它有 16 个专家和 2880 亿个活跃参数，在多项 STEM 测试中超过了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro，该模型仍然在训练中。最新模型通过 llama.com 和 Hugging Face 提供下载。

Meta AI- The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation

#人工智能

www.tg-me.com/us/Solidot/com.solidot/26784

4.3K viewsApr 7 at 02:30

Meta 宣布最新模型 Llama 4 herd

2025-04-06 23:11 by 时间的地图

Meta 宣布了其最新的开放权重原生多模模型 Llama 4 Scout 和 Llama 4 Maverick。新模型使用了混合专家架构（mixture-of-experts）构建，每个有 170 亿活跃参数。Llama 4 Scout 有 16 个专家，适合单个 NVIDIA H100 GPU，提供了 1000 万上下文窗口，性能强于 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。Llama 4 Maverick 有 128 个专家，在基准测试中超过 GPT-4o 和 Gemini 2.0 Flash，在 LMArena 的 ELO 得分为 1417，它适合单台 H100 主机。Meta 还训练了一个教师模型 Llama 4 Behemoth，它有 16 个专家和 2880 亿个活跃参数，在多项 STEM 测试中超过了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro，该模型仍然在训练中。最新模型通过 llama.com 和 Hugging Face 提供下载。

Meta AI- The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation

#人工智能

BY Solidot