模型#跑分#模型推理

蚂蚁百灵开源 Ling-3.1-flash 权重(MIT):约 560B MoE,但当前实际上下文 256K

蚂蚁百灵 10 月 13 日开源 Ling-3.1-flash 权重(MIT),比原计划提前;配置与文档显示当前上下文 256K,1M 尚未开放。

Hugging Face 模型页分享卡:蓝紫渐变底上的 inclusionAI / Ling-3.1-flash 字样

10 月 13 日,蚂蚁百灵把 Ling-3.1-flash 的权重放上了 Hugging Face 仓库 inclusionAI/Ling-3.1-flash,MIT 许可、54 个 safetensors 分片。模型卡架构表写的是「63 KDA + 9 Gated MLA (7:1)」加 4 个 dense 层、512 个路由专家(每 token 激活 8 个加 1 个共享专家),config.json 里的 num_hidden_layers 是 72。真正要盯的是随权重一起交付的一个数字:config.json 里 max_position_embeddings 是 262144,官方文档明写「模型上下文窗口上限为 1M,当前官方服务开放 256K」——宣传里的 1M 到今天还不是能拿到的东西。

要点

  • 权重 10 月 13 日落地,不是 15 日:Hugging Face API 的 createdAt 是 2026-10-13T11:16:41Z,gated=false,54 个分片对应的 total_size 是 573,753,281,152 字节;中文报道里出现的开源日 10 月 15 日晚于仓库建立两天。
  • 1M 是天花板,256K 是现货:config.json 的 max_position_embeddings=262144,SGLang 部署文档同样写「context limit of 262,144 tokens」;百灵 9 月 30 日的公告原文是「免费体验期间模型服务长度为 256K;免费体验期结束并转为付费服务后,计划开放 1M 上下文」。
  • 第三方实测存在落差:Artificial Analysis 测出智能指数 41(176 个模型中第 5)、输出 213.2 tokens/s、首 token 1.79s;这个页面至今仍把该模型标为「Proprietary、权重不可公开获取」,与 10 月 13 日权重已在位的事实相反。

背景

Ling-3.1-flash 是 9 月 30 日以服务形式先露面的。百灵官方公众号当晚 20:30 发文《Ling-3.1-flash:面向真实世界任务的模型升级》,讲架构、办公与软件研发任务,也讲两周免费体验。关于开源,原文的顺序是:「免费体验期结束并转为付费服务后,计划开放 1M 上下文。届时,团队也计划同步开源」——1M 上下文与开源被排在同一个时点,即免费期结束之后,当天并没有给权重。

之后两周,它进入了按长任务跑的开发者视野。第三方路由商 OrcaRouter 10 月 12 日的文章是这段时间最完整的梳理,结论一句话:这是「announced vs shipped」的典型——官方 API(api.ant-ling.com,需支付宝账号开通)和 Ling Studio 可用,限速 2 req/s,但 Hugging Face 的 inclusionAI 组织下没有这个仓库,「no model card, no licence text, and no checkpoint file」。文章自陈的核查口径是「a check against our live model list on 2026-10-13 returns no Ling or inclusionAI entry」——也就是说,它 10 月 13 日当天再查一次,那里仍然没有。权重在其后落地(HF createdAt 为 10 月 13 日 11:16:41Z),官方的执行比原计划提前了:它没有等 1M 开放,先把权重放了出来。这条顺序上的跳步,是这次开源与 9 月 30 日公告之间真正的变化。

节奏上也摆得上台面:智谱 10 月 12 日把 GLM-5.3-Highspeed 放进 Zcode 随机灰度,MiniMax 9 月底把 1M 上下文打进 Flash 档的 M3.1-Flash 预览只给订阅用户。国产 Flash 档这一轮的竞争点在长上下文、速度和部署成本,权重只是其中一项。

事实部分

Hugging Face 上能直接核对的部分(10 月 15 日查看):

项目数值
仓库inclusionAI/Ling-3.1-flash
建立时间2026-10-13T11:16:41Z
许可license:mit
权重分片54 个 safetensors,索引 total_size 573,753,281,152 字节
上下文max_position_embeddings = 262144
架构BailingMoeV3ForCausalLM,num_hidden_layers=72;模型卡写「63 KDA + 9 Gated MLA (7:1)」,另有 4 个 dense 层
专家512 路由专家,每 token 激活 8 个,另有 1 个共享专家
词表157184
量化quant_method: fp8,SGLang 文档描述为 FP8 E4M3、128×128 分块
访问gated=false,无需申请

层数有两种口径,都不能当成等式。模型卡与官方公众号都写「63 KDA + 9 Gated MLA (7:1)」(公众号原话是「按照 7 层 KDA 配 1 层 Gated MLA 的方式组成混合结构」),但 num_hidden_layers=72 本身就不等于 63+9。按 model.safetensors.index.json 的权重表逐层数:0–3 是 4 个 dense 层(有 mlp.down_proj,无 KDA/MLA 投影),带 k_conv1d 的 KDA 层 63 个,带 kv_a_proj_with_mqa 的 Gated MLA 层是 7、15、23、31、39、47、55、63、71 共 9 个,加上第 72 层(MTP/nextn 输出层,同样带 MLA 投影)——合计 4 + 63 + 9 + 1。两种口径都引自一手材料,但读法不同,别拿 63+9 去凑 72。

参数量同样两个口径:模型卡与官方文档都是「约 560B 总参数、每 token 激活约 25B」,而权重索引的 total_size 是 573,753,281,152 字节(约 573.8 GB 十进制,约 534.3 GiB)——一个是参数量口径,另一个是权重字节数,同一个数的不同单位,不是两个来源。模型卡、config.json、SGLang 文档都没有给出其他以 GB 计的权重大小。

部署配方来自模型卡与 SGLang cookbook:8×H200 走 TP8 + EP8,4×GB300 走 TP4 + EP4,都要加 --speculative-algorithm NEXTN 启用 MTP 投机解码;vLLM 侧是 --speculative-config '{"method":"mtp","num_speculative_tokens":3}'。SGLang cookbook 记录 H200 TP8+EP8 开 NEXTN 后 batch-1 输出 251.2 tokens/s,GB300 对应 180.0 tokens/s;投机接受长度在随机 token 上 2.61、真实文本探针上 2.13。

Artificial Analysis(10 月 15 日查看)给的独立实测:智能指数 41,在 176 个模型里第 5;输出 213.2 tokens/s,中位数 109.2;首 token 1.79s,中位数 1.81s。计价一栏是 $0.30/M 输入、$0.90/M 输出,缓存命中打二折,按 7:2:1 的缓存/输入/输出比例折出混合价 $0.19/M——这个混合价是第三方折算口径,不是任何一家的挂牌价。OpenRouter 上 inclusionai/ling-3.1-flash 列出 context 262144,由 Novita 提供,prompt $0.075/M、completion $0.225/M、缓存读 $0.015/M(含 0.75 折扣),与 Artificial Analysis 的输入/输出价不同。

百灵自报的长任务三项(官方口径,未与竞品在同一 harness 下对测):Lua 到 x86-64 ELF 编译器 182 项测试过 178 项(约 97.8%,对面 Claude Fable 5 的 99.0%、GLM-5.3-Flash 的 95.9%);Pyright 1.1.400 优化 1.432 倍(对面 1.502 与 1.290);C 图像库 Rust 重实现 8.015 倍(对面 GLM-5.3-Flash 的 1.396 倍、Claude Fable 5 的 27.310 倍)。

各方说法

OrcaRouter 那篇 10 月 12 日的文章最有信息量的一点,是把「1M 上下文」拆成两半:窗口上限 1M,官方服务当期只给 256K,文章建议按 256K 做容量规划,把 1M 当没有日期的路线图。它同时点出几个接口层面的坑:temperature 与 top_p 默认值是 1,思考开关的文档只写在 Ling-3.0-flash 名下,API 参考的模型列表里没有这个模型,更新日志里也没有条目。对照之下,Artificial Analysis 的模型页至今仍标 Proprietary、写着权重不可公开获取,且把上下文记作 1M——这两个判断在 10 月 13 日之后都已过期,但它测出的速度与智能指数仍然可用。

中文报道的口径明显更松。InfoQ 那篇文章的标题把型号写成 Ling-3.0-flash、正文写 3.1,正文只写「最高支持 1M 上下文」,没有交代 256K 这层;页面本身不带可核的发布日期元数据(无 datePublished,正文只用「10 月 15 日」表述且未标年份),所以这里只按正文转述,不报它的上线时间。同一篇里 MXFP4 的说法——对 routed experts 用 MXFP4、dense 层保留 block-FP8、权重占用从约 534GB 降到 292GB、Hopper 上 8 卡降 4 卡——在 HF 模型卡、config.json 的量化字段和 SGLang 部署文档里都找不到对应描述。官方的 inclusionAI/ling-cookbook 仓库(head 5d93a6c1,最后推送 2026-10-12T12:49:11Z)共 162 个文件,16 个 mxfp4 配方全部落在 ling-3.0-flash(4 个)、ling-3.0-flash-fin(4 个)等 3.0 路径下,没有任何 3.1 条目;这与 SGLang 文档站是两处,后者的 InclusionAI/Ling-3.1-flash 页面确实已有 3.1 配方。这三个数字目前只有 InfoQ 一个来源,按单源处理。

社区侧几乎没有沉淀:Hacker News 10 月 15 日出现了提交给 HF 仓库的帖子,1 分、0 评论;同站更早一条 10 月 13 日的评论顺带把它当下位比较对象(「weaker than Ling 3.1」),也只说明它在此前的对话里已有位置。

编辑判断

这次开源的实际价值不在「又一个 560B」,而在三样东西:MIT 许可、一份 573,753,281,152 字节(约 534.3 GiB)的 FP8 权重、以及一份 8×H200 就能跑起来的 day-0 配方。对自建推理的团队,第三样比前两样更省事——NEXTN 投机解码在镜像里已默认带上,SGLang 文档给了接受长度,落到生产环境前能先算出预期收益。反过来说,534 GiB 的权重加上 8 卡 H200 的门槛,意味着这不是个人开发者能在本地复现的东西;真正的使用场景是已经有推理集群的团队,以及会在 OpenRouter 一类的托管上调它的开发者。

诚实地说两处要打折扣。第一,1M 上下文目前拿不到:config.json 与官方文档都锁在 262144,且按 9 月 30 日公告的排期,1M 与开源本应同在免费期之后发生——权重先到、1M 未到,说明官方把顺序提前了,但 1M 什么时候跟进没有日期。第二,性能数字的来源要分清:Artificial Analysis 的 213.2 tokens/s 是托管 API 上的实测,SGLang 的 251.2 tokens/s 是 H200 单 batch 自建实测,百灵的长任务三项是自己的 harness、无第三方复现——三套数字都成立,但不能摆在同一张表里比。权重大小同理,可核的只有 total_size 那一个数,534.3 GiB 与 573.8 GB 都是它换算出来的单位。MXFP4 那三个数字若日后被官方材料证实再补,现在引用它只是在给一个单源说法背书。

值得盯的后续有两件:1M 上下文随付费版开放时,已发布的权重是否同步更新;以及 vLLM 侧的 MTP 配方是否成熟到可以绕开 day-0 镜像。

怎么试

先看再下。Hugging Face 仓库页可以直接读模型卡、config.json 和安装命令,不用登录;ModelScope 上有同名仓库(创建于 2026-10-14T03:00:14Z,License=mit)。

真要跑,按模型卡走 SGLang day-0 镜像:8×H200 用 --tp 8 --ep 8,4×GB300 用 --tp 4 --ep 4,都加 --speculative-algorithm NEXTN。算力不够就走托管:OpenRouter 上 inclusionai/ling-3.1-flash 的 context 是 262144,正好和权重侧一致;百灵自己的服务与 Ling Studio 需要支付宝账号开通。