英伟达开源 Nemotron 3.5 Super VL：120B 总参 12B 激活，另有两款端侧 Bolt 模型
英伟达 2026-10-15 开源 Nemotron 3.5 Super VL：120B 总参 12B 激活多模态模型，附配方与数据集，另发 24GB Bolt
英伟达 2026 年 10 月 15 日的官方博客开源了 Nemotron 3.5 Super VL，一个 1200 亿总参数、每 token 只激活 120 亿的多模态专家模型；同一篇里还有两款端侧型号 Bolt。这是 Nemotron 3.5 家族的多模态旗舰，不是 8 月发布的 Lightning，也不是做难推理的 Ultra。Hugging Face 权重卡写明它上下文最高 1M token、许可证为 OpenMDW-1.1（允许商用与非商用），基础权重、后训练权重、NVFP4 量化权重、数据集、训练配方和强化学习环境全部挂了出去。NVIDIA 自己的定位是给「需要全天候运行的专用智能体」用。
要点
- Super VL 是 120B 总参、12B 激活的 MoE，512 个路由专家、Mamba-2 与 Transformer 混合架构，配 C-RADIO 视觉编码器，输入覆盖文本、图像和短视频（HF 模型卡，2026-10-15）。
- Bolt 74B-A9B 24GB 仍是 74B 总参、9B 激活，靠 2-bit 量化把文件压到约 20.5 GiB，在 RTX Spark 上跑出 83.99 TPS（NVIDIA Research 技术页，2026-10-15）。
- 训练规模各来源口径不一：官方博客写预训练加持续预训练共约 26 万亿 token，HF 权重卡写基础语料超过 20 万亿 token、其中文本超过 10 万亿，图像 100 万到 10 亿张、视频 1 万到 100 万小时。
背景
Nemotron 3.5 是个家族而不是单点。The Decoder 的梳理是：8 月的 Lightning 主打吞吐（30B-A3B），Ultra 负责硬推理，这次的 Super VL 接多模态和企业智能体。Super VL 由 Nemotron 3 Ultra 蒸馏而来，研发集合了 Nemotron Coalition 的成员——Mistral AI、Thinking Machines Lab、Perplexity、Black Forest Labs。NVIDIA 在博客里把这次发布的意义押在「企业可以拿自己的数据后训练、跑在自己的基础设施上」，避开供应商服务条款。
硬件侧的近邻是端侧盒子。NVIDIA 博客说 RTX Spark 笔记本 10 月 16 日上市，The Decoder 提到 DGX Spark 最高 128GB 统一内存也能跑 Bolt；本站 10 月 2 日那条《DGX Spark 64GB 版开售》记过 64GB 版 4999 美元、128GB 版涨到 6950 美元，《Surface Ultra 发布》则记过 RTX Spark 笔记本 2599 美元起。换句话说，24GB 这个门槛落到具体机器上并不是个小数。
事实部分
Super VL 的主要规格和跑分都来自 NVIDIA 自己的两处出处，没有独立第三方复测：
| 项目 | 数字 | 出处 |
|---|---|---|
| 总参数 / 激活参数 | 120B / 12B | HF 权重卡 |
| 架构 | MoE，512 路由专家，Mamba-2-Transformer 混合，C-RADIO v4-H | HF 权重卡、NVIDIA Research |
| 上下文 | 最高 1M token | HF 权重卡 |
| 许可证 | OpenMDW-1.1 | HF 权重卡 |
| SWE-bench Verified | 71.07（NVFP4）/ 71.10（BF16） | HF 权重卡 |
| CharXiv 图表推理 | 79.88（NVFP4）/ 80.82（BF16） | HF 权重卡 |
| GPQA-Diamond | 89.90 / 89.52 | HF 权重卡 |
| Hermes Bench | 63.44% | NVIDIA 博客（IT之家转述） |
| LangChain 行为评估 | 87.05% | NVIDIA 博客（IT之家转述） |
| 单 GPU 智能体吞吐 | 最高为同级开放模型 5 倍 | NVIDIA 引 Artificial Analysis |
| 获取方式 | Hugging Face、OpenRouter、ModelScope、NIM | NVIDIA 博客 |
训练配方同批开放。官方博客写预训练加持续预训练约 26 万亿 token、后训练约 380 万个样本，在数十个环境里做强化学习；HF 权重卡的清单更细，Nemotron-CC-v2/v2.1 占 9.1 万亿 token，代码语料 1.7 万亿，并说明基础语料覆盖英语、另外 19 种口语语言和 43 种编程语言（卡片原文，不是印度语专项）；另有一段 1000 亿 token 的 Indic 持续预训练，数据集清单里的英文数据源含 ai4bharat/sangraha（1.09 亿条索引序列，其中 7731 万条已验证）。两个数字对不上：HF 卡说基础语料超过 20 万亿，官方博客说约 26 万亿，本文取「约 25 至 26 万亿」并保留这个差异。
企业侧的百分比数字 NVIDIA 官方博客里一个都没有——博客只列了用途，没说效果。具体数字出自 IT之家与 The Decoder 的转述，且两者口径不同：IT之家写 Scale AI 与 Skydance 的推理成本预计降低 97.5%、延迟降低 80%（即约四十分之一、五分之一），Ramp 预计吞吐最高提升 50%、延迟降低 90%，AI21 与 Alice 用于威胁情报和漏洞分析、相关任务准确率提升 40%；The Decoder 把前一组写成成本降至约四十分之一、延迟降至约五分之一，给 Ramp 的是「快 10 倍」，并注明 AI21/Alice 的 40% 来自 NVIDIA。没有任何来源给出这些数字的实测方法。
端侧与显存
Bolt 74B-A9B 24GB 是这次发布里离开发者最近的一块。NVIDIA Research 的技术页说明它是用自研的 Star Elastic 框架从 Super VL（12B 激活）压到 9B 激活的：预算条件化的路由器逐层选路由专家数和 MoE 中间层宽度，目标 top-K 定为 9（母模型是 22），搜索目标就是压到 24GB 以内。作者的主张是，同样内存预算下压缩大模型比从小模型训练起更划算。
量化是逐层混合而非一刀切：路由专家和共享专家走 IQ2_XXS，每参数 2.0625 bit，用量化感知蒸馏（QAD）补精度；Mamba 层用 NVFP4；embedding、attention 和 lm_head 用 Q8_0。只量化权重、不动激活，理由是 RTX/DGX Spark 上的推理基本受权重带宽限制。模型卡称 batch size 1、128K 上下文下占用低于 24GB，两个 GGUF 文件合计约 20.5 GiB。
跑分是 NVIDIA 自报的，且同表中已有对手压过它：PinchBench 87.82，同表的 Qwen3.6-35B-A3B 是 88.07；BrowseComp 66.75 则明显领先其余三家。速度上 RTX Spark 上 AIPerf SPEED-Bench 83.99 TPS，NVIDIA Research 说设计目标是 24GB 内至少 80 TPS。另外 Bolt 的训练 token 只有 800 亿，母模型是 20 万亿以上。第三款 Bolt E4B 4GB 官方与 IT之家都只写 10 月 23 日推出，没给参数量，这里的空位别自己填。
各方说法
The Decoder 的标题就是批评：「开放模型卖的是英伟达硬件」。文章认为 Nemotron 一切围绕英伟达芯片调优，想让模型发挥全力最终得买英伟达的卡，并把这个策略称为自我服务——开放模型部署越多，算力需求越大；同时点出 24GB 门槛在当下显卡价格下多数消费者撑不住，本地智能体暂时只够开发者和工作站用户。它还提醒，在 Artificial Analysis 总榜上 Super VL 仍大幅落后闭源前沿模型。
ZDNET 的角度更谨慎：Artificial Analysis 的证据目前「证明的是效率收益」，Super VL 基座本身打不过闭源前沿。ZDNET 举的例子是 NVIDIA 自己给的一个匿名后训练案例——医疗理赔任务提升 44%、把模型推到 Claude Opus 5 之上；它据此指出增益来自后训练工作，不等于出厂即领先。这个医疗理赔用例在 ZDNET 里没有点名客户，NVIDIA 博客里做医疗理赔与收入周期管理的是 R1；AI21 与 Alice 在 NVIDIA 博客里对应的是网络安全攻击韧性，40% 那个数出自 IT之家转述，两者不是一回事。
Prime Intellect 那篇是目前唯一有第三方细节的后训练记录，但要说清它不是独立复现：2500 个企业智能体任务是 Prime Intellect 与 NVIDIA Nemotron 团队一起构建的，训练由 NVIDIA 用 NeMo RL 在 128 张 GB200 上跑完（32 卡训练、96 卡生成 rollout），GRPO 100 步约 11 小时、约 1450 GPU 小时。AutomationBench-AA 公开分片从 34.0% 到 57.7%，提升 23.7 个百分点，一半收益在前 40 步（约 4.5 小时）内就到手。作者自陈「训练短、数据集按预训练标准很小」，瓶颈在数据质量而不是步数；另外披露了约 15% 的生成任务在加专项检查前是可糊弄的，审计还发现三处泄漏（任务数据可从 shell 读到、评分器源码在沙箱内可见、策略文本与评分器指令相似）。
编辑判断
Super VL 值得先看的是「权重、数据、配方、环境」四样一起放出来——企业真要后训练时不用从猜开始；24GB 的 Bolt 则是同一套东西第一次被压到一张消费级显卡能常驻。代价也直白：所有关键数字都是 NVIDIA 自报，唯一有第三方细节的那次后训练还是合作产物。
如果你手里有 24GB 显存的卡，可以先跑 Bolt 再决定要不要上 Super VL。分辨率不够、你打算微调的任务又很窄，那么 12B 激活的母模型加上官方那批开放环境，可能比直接信榜单更省事。
怎么试
Super VL 权重在 Hugging Face 的 nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4，Bolt 24GB 是 nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF，两个仓库都标了 OpenMDW-1.1。Bolt 走 llama.cpp，模型卡推荐 temperature 1.0、top_p 0.95，32GB 配方给 262144 token 上下文（配 7 个草稿 token 的投机解码），28GB 配方给 65536 token 上下文并用量化 KV cache；Ollama、LM Studio、vLLM 也在支持列表里。不想下载本地的，Super VL 已上 OpenRouter 和 NIM，官方说 NIM 每两周更新一次安全与性能补丁。