模型#部署#模型推理

Mistral 开放 Large 4 权重:1T 参数 MoE,NVFP4 后 606GB

Mistral 10 月 29 日开放 Large 4 权重:1T 总参 52B 激活 MoE,编码与安全基准居开源前列,NVFP4 后 606GB。

Mistral 官方横幅:「#1 in Sovereign AI.」,像素猫坐在橙红色渐变上

Mistral AI 于 10 月 29 日正式开放旗舰模型 Mistral Large 4 的权重,距 10 月 6 日的公开预览约三周。这是目前参数量最大的开放权重模型之一:总参数 1 万亿、每 token 激活 52B 的多模态混合专家(MoE)架构,上下文 1M token。官方称这次发布比预览版「更紧凑、更高效」,技术报告给出的两项编码基准列开源第一,安全基准居开源前列但非第一,而 NVFP4 量化后仍有 606GB——门槛没有因为「开放」二字消失。

要点

  • 架构:1T 总参 / 52B 激活的 MoE,128 个路由专家选 4 个加 1 个共享专家,Pixtral 风格视觉编码器,原生 image-text-to-text
  • 成绩:FrontierCode 2.0 19.7%、Terminal-Bench 4.0 41%(预览版 28%)两项编码基准列开源第一;Cyber Index 50.9 居开源前列但非第一,MiMo-V2.6-Pro 56% 与 DeepSeek V4.1 Flash 57% 在其之上
  • 门槛:官方 NVFP4 量化版 606GB,技术报告称 4 块 GB300 可跑;整节点 8 卡张量并行是推荐配置
  • 许可:Mistral Ecosystem Open-Weight License(改版 MIT),可商用,但对外做模型服务需另签商业授权
  • 降价:API 定价从预览版 $1.36/$4.18 降到 $0.70/$2.10 每百万 token

技术报告拆解

权重之外,alphaxiv 上的技术报告(2611.mistral-large-4)讲了一个架构层面的教训。团队最初的设计包含滑动窗口注意力、跨层注意力和 YOCO(约 16 倍 KV 缓存压缩),验证集困惑度看着没问题,但 SWE-bench 一类的智能体任务明显变差——省缓存的结构改动直接损伤了多步工具调用能力。团队最终做了「模型手术」恢复完整上下文,再叠加 DeepSeek 式稀疏注意力(每个 query 保留 2048 个 key)找补效率。报告的结论是:评估架构要看真实智能体负载,语言建模损失不是可靠代理。这套经验对所有在省显存和 agent 性能之间做权衡的团队都有参考价值。

训练数据侧,报告描述了一条 agent 化流水线:任务编写 agent 自建可执行环境、规格、参考解法和验证器,再由精炼 agent 用多个求解器测试、修复坏测试、检查 reward hacking,成功的轨迹回收为训练数据。安全向基准的强势与这条流水线直接相关——Cyber Index 高分出自一个能自动生成并验证攻防任务的系统。

部署门槛的现实账

606GB 是 NVFP4 量化后的数字,BF16 原版约为其两倍。技术报告称量化后「与 FP8 参考在评估上持平」,4 块 GB300(每卡 288GB HBM3e)勉强装下;Hugging Face 模型卡给出的默认路径则是单节点 8 卡张量并行,transformers 原生加载要 torchrun 起 8 卡。模型卡还提到内置 DSpark 投机解码头(3 层稠密 MLA),官方称吞吐最高提升 1.9 倍。对照 9 月底 Inferact 用 16 块 TPU v7 跑 Kimi K3 的案例,万亿参数开放模型的「可自托管」始终是机构级命题:一台 4 卡 GB300 节点的采购价以数百万人民币计,个人玩家只能等社区量化再量化。Hacker News 上 dlcarrier 的留言说得直白:「我得再加一 TB 内存才跑得动。」

与中文开源阵营的正面交锋

这次发布第一次把 Mistral 和中文开源旗舰放在同一张基准表上。

基准Mistral Large 4GLM-5.3DeepSeek V4.1 FlashKimi K3
FrontierCode 2.019.7%17.8%19.3%17.3%
Terminal-Bench 4.041%40.0%——
Artificial Analysis Cyber Index50.9%36%57%41%

数字来自 Mistral 技术报告(11 月 3 日经 alphaXiv 公开)与官方发布页;alphaXiv 页面的 AI 概览指出 Terminal-Bench 的对比并非受控测试,差距薄到可以忽略。FrontierCode 上 ML4 对 DeepSeek V4.1 Flash 的领先只有 0.4 个百分点,反而是表内最薄的差距;Cyber Index 上 DeepSeek V4.1 Flash 更以 57% 领先 ML4 的 50.9%,MiMo-V2.6-Pro 的 56% 也在其上,官方图把它们标成了对比项而非被超越者。换句话说,「开源第一」的宣称只在两项编码基准成立。我们在 10 月预览版入库时 就写过:月底权重开放后,第三方复现才会给出真判定;现在权重有了,复现才刚要开始。

社区反应与许可争议

Hacker News 讨论帖 1726 分、440 余条评论,热度说明关注度,但评论区的分歧集中在两处。一是「开放」的定义:rcr-anti 等人指出改版 MIT 不是 OSI 开源,对外提供服务需另签授权,「叫 weights available 更准确」——这与 蚂蚁 Ling-3.1-flash 用标准 MIT 的做法形成对照。二是性价比:有用户贴出评测称降价后「值得重新评估」,miroljub 则追问缓存价格——「我的编码会话输入缓存命中率超过 97%,DeepSeek 把我们惯坏了」,ML4 缓存输入 $0.07 每百万 token 是一个回应,但也有用户认为思考模式下仍偏贵偏慢。vincentshipsit 的总结有代表性:「我按任务表现来选模型,就我所见,它并不胜任」;satvikpendem 则说,除非特别在意欧盟来源,选它的理由并不充分。Artificial Analysis 独立页面给出的 Intelligence Index v5.0 为 26 分(该梯队 23 个模型里排第 10),与官方叙事的「领先开源」存在温差。

编辑判断

对自托管团队,这是 2026 年第一次可以在美国、中国之外选一个万亿参数的开放权重旗舰,欧洲数据驻留诉求第一次有了不降级的答案;606GB 的部署门槛反而说明了诚意——没有用「开放」包装一个小模型。对多数开发者,性价比仍是绕不开的问题:编码榜单上 ML4 对 DeepSeek V4.1 Flash 只领先 0.4 个百分点,安全榜单被反超 6.1 个百分点,优势薄到经不起一次复现;DeepSeek 的缓存定价更激进,ML4 的差异化落在长上下文、多模态输入和欧洲合规上。真正的判定要等权重到手后的第三方复现——尤其 Terminal-Bench 和 Cyber Index 这类智能体基准,自建环境流水线既是它们的强项,也是潜在的评分偏差来源。值得盯的下一件事:社区量化(Unsloth、mradermacher 一类)何时把可用版本压进 4 卡 RTX 服务器的内存窗口,那才是「开放权重」从声明变成事实的时刻。