英伟达发布 Nemotron for Science:开放化学数据集与后训练配方
英伟达发布 Nemotron for Science:近 5 万题化学数据集与后训练配方,模型可在单台 128GB DGX Spark 上跑。

英伟达 11 月 16 日发布 Nemotron for Science,把一个多月前开源的 Nemotron 3.5 Super VL(120B 总参数、12B 激活、最长 100 万 token 上下文)和化学推理数据集 LitmusBench v0.2、一套后训练配方打包在一起,交给需要在自己实验数据上改造模型的研究团队。官方新闻稿称,模型已在 Hugging Face 上可下载,并为单台 128GB 的 DGX Spark 做了优化。数据集这一版有 47,118 道训练题和 2,056 道测试题,比上一版扩大约九倍。
要点
- 数据集是这次真正的增量:LitmusBench v0.2 的题目来自 ChEMBL、ExpansionRx 与 Biogen 三个来源,覆盖 126 种分子性质与 12 类测定终点,全部是短答题,总体积约 64 MB。上一版 v0.1 只有 5,232 道训练题、482 道测试题,且只用了 ChEMBL。
- 许可按题目分开,不是一刀切:模型卡写的是 OpenMDW 1.1,不是 Apache;数据集中来自 ChEMBL 的题目按 CC BY-SA 4.0 发布,其余题目按 OpenMDW 1.1 发布。
- 配方是博客里的代码片段,不是一键脚本:官方给的是用 NeMo Gym 把实验 CSV 变成可验证奖励环境的步骤、NeMo RL 的 GRPO 与 SFT 配置、以及用 Claude Sonnet 5.5 生成蒸馏数据的脚本,示例训练跑在 16 张 GPU 上。
发布背景
Nemotron for Science 建立在 10 月 15 日那次开源之上。当时英伟达把 Super VL 的权重、训练数据说明、NVFP4 检查点和强化学习环境一起放出,本站 10 月 16 日的条目 记录了那次发布,并指出其数字全部为厂商自测。数据集 v0.2 早在 10 月 15 日随模型上线;本轮真正的新材料是配方文档与三组客户案例,模型本身没有换:BF16 仓库的模型卡最后修改停在 10 月 22 日,通篇没有提到 LitmusBench 或科学版,单卡部署的说明写在另一张 NVFP4 模型卡上。
时间点与 SC26 有关。英伟达技术博客把这篇文章归在 SC26 标签下,同一天新闻稿还发布了 Vera CPU 平台扩展与量子计算合作,科学计算是这轮发布的主线。评测数据集的上一版 v0.1 最后一次更新停在 9 月 29 日。这次把数据源从单一 ChEMBL 扩到三个,许可也从统一的 CC BY 4.0 改成按来源区分。
事实部分
| 项目 | 数值 | 来源 |
|---|---|---|
| 模型规模 | 120B 总参数 / 12B 激活,Mamba-2 与 MoE、注意力混合,C-RADIO 视觉编码器 | HF 模型卡 |
| 上下文 | 最长 100 万 token,MTP 支持原生投机解码 | HF 模型卡 |
| 模型许可 | OpenMDW 1.1 | HF 模型卡 |
| 数据集规模 | 47,118 训练 + 2,056 测试,126 种性质、12 类终点,约 64 MB | HF 数据集卡 |
| 数据集许可 | ChEMBL 来源题目 CC BY-SA 4.0,其余 OpenMDW 1.1 | HF 数据集卡 |
| 上一版对比 | v0.1:5,232 + 482 题,仅 ChEMBL,CC BY 4.0 | HF 数据集卡 |
| 后训练示例 | 药物代谢预测,16,384 token 输出预算;SFT 提升 12%,RL 再提升 17% | 英伟达技术博客 |
| 示例训练规模 | 4 节点 × 4 卡共 16 张 GPU;GRPO 100 步,SFT 55 步 | 英伟达技术博客 |
| 部署 | BF16 示例 4× H100;NVFP4 可单台 DGX Spark,单序列并发 | HF 模型卡 |
新闻稿给出的案例数字分属不同机构,每一项的公开来源都是同一份新闻稿。Lila Sciences 用实验室反馈做后训练,把量子点合成的准确率几乎翻倍到 61%,英伟达称这一数字超过 GPT-6 Astra 的 54%,且推理成本低 10–20 倍;同一段还说,在为自动化实验室设计可执行方案时,该模型未经额外微调就已能匹配前沿水平。Terray Therapeutics 针对化学反应图做抽取,在 RxnScribe 测试上按基准的匹配标准召回了约 76% 的标注反应。Therna 做 mRNA 药物设计,称蛋白表达区间预测准确率接近前沿模型的两倍,且在 96% 的对比中科学家更偏好它的解释。KTH 皇家理工学院的智能体负责修 GROMACS 分子动力学配置,单台 DGX Spark 跑一夜,开启推理时修好 81% 的测试用例,每个修复都由 GROMACS 自己校验。
机构采用方面,阿贡国家实验室把 Nemotron 接进 StructBioReasoner 多智能体系统,用于设计蛋白质类治疗候选物;于利希超级计算中心在把模型整合进药物与科学发现智能体;RIKEN 则通过推理网关 RiVault 把 Nemotron 系列放上 RIKYU 超算平台。这些是使用状态的描述,新闻稿没有给出任何性能数字。
配方开放到什么程度
英伟达技术博客是这轮发布里信息量最大的一份材料,它把「配方」拆成了四段可复制的代码:把实验 CSV 转成 JSONL、写一个资源服务器给提交的分子打分、注册环境、以及在训练器里接线。打分逻辑是 Morgan 指纹的 Tanimoto 相似度,半径 2、2048 位,模型必须调用 submit_metabolite 工具提交 SMILES,分数直接作为奖励,不需要人工标注偏好。
代码落在两个 Apache-2.0 仓库里:NeMo Gym 与 NeMo RL,截至 11 月 17 日分别约 1,338 与 2,135 星,11 月 16–17 日都还有提交。蒸馏环节用 Anthropic 的 Claude Sonnet 5.5 跑 1,934 条训练题,按 Tanimoto ≥ 0.7 过滤后留下 1,123 条推理轨迹,作为 SFT 的热启动数据。
但它是教学示例,不是封装好的产品。配置里模型名被写成 NVIDIA-Nemotron-3.5-Super-VL-120B-A128-BF16,参数后缀多了一个 8;文件名带 lora 的 SFT 配置里 lora_cfg 的 enabled 是 false;博客也没有配套的 notebook 或 Dockerfile。要复现示例,需要 4 个节点、每节点 4 张 GPU,以及对 NeMo 训练栈的熟悉。
各方说法
Unite.AI 在同日的报道里给这批案例加了限定:提升集中在边界明确的任务上,不构成实验室层面的自主科研;决定成败的是验证器设计、任务选择和留出集评测,而不是模型本身。这篇报道只转述厂商数字,没有声称做过独立复现。
开发者社区的反应很淡。截至 11 月 17 日,Hacker News 上这条新闻稿的提交只有 3 分、0 条评论;10 月底 Nemotron 3.5 Transcribe 的帖子拿到 134 分、26 条评论。权重和数据集都放出来了,讨论却没有跟上来,这可能只是发布时间撞上了 SC26,也可能是做科研智能体的人还没把注意力放到这条线上。
命名上,三份官方材料没有对齐:新闻稿写 LitmusBench v0.2,技术博客写 Litmus-Bench V2.0,Hugging Face 仓库是 Nemotron-RL-litmus-bench-v0.2。指向同一个数据集,但检索时容易被拆成三个实体。厂商自报跑分的老问题也还在,本轮与 Qwen4-Max 那次发布一样,没有任何第三方复测。
编辑判断
这次发布里最值得借鉴的不是模型,而是「环境」这个思路:把已有实验记录变成可自动打分的任务,奖励直接来自数据,模型在闭环里自我改进。药物代谢那个例子只有 1,934 条训练题,按官方数字 SFT 提升 12%、RL 再提升 17%(原文未说明是百分点还是相对值),说明小样本、强验证器的组合对专业任务是有效的。对只有几张卡的高校课题组,这比等一个更大的通用模型现实得多。
限制同样具体。61% 对 54% 这组数字没有公开题目集、评分脚本和样本量,无法判断是模型能力还是任务构造的差异;DGX Spark 上的部署是单序列并发,适合一个人跑实验,不适合当组内共享服务;配方里的配置错误说明它没有经过完整的端到端复跑。硬件门槛同样真实,128GB 版 DGX Spark 的售价 在 6,950 美元级别,而官方跑 BF16 权重的示例用的是 4 张 H100。
还没答案的问题有三个:技术博客那张科学基准图只有柱状图没有数字表;LitmusBench 的测试集是否与训练题同源、会不会泄漏,卡片没有说明;以及这些后训练过的权重能不能拿到——目前三家的模型都只出现在新闻稿里,Hugging Face 上没有对应的科学版检查点。
怎么试
想先看数据格式,打开 Hugging Face 上的 nvidia/Nemotron-RL-litmus-bench-v0.2,训练与测试各一个 JSONL,每题是短答,附带来源标注。想跑配方,克隆 NeMo Gym 后从「CSV 转 JSONL」那一步开始,把 metxbiodb.csv 换成自己的实验记录,再改 resources_servers/metxbiodb/app.py 里的打分函数;先确认验证器给分合理,再开 GRPO,官方建议从窄任务起步。只想本地推理的话,走 NVFP4 检查点加 LiLiCorr 投机解码器,vllm serve 的参数里把 --max-num-seqs 设为 1。