模型#代码生成#模型训练

Thinking Machines 发布 Inkling 2 Small:GB300 上 68 小时预训练,权重下周开放

Inkling 2 Small:594B 总参 17B 激活,GB300 预训练 68 小时,现已在 Tinker 可用,Apache 2.0 权重下周开放。

白底点阵上手绘墨迹轮廓围出的不规则图形,Inkling 2 Small 官方发布封面图案

Mira Murati 的 Thinking Machines 在 11 月 5 日发布 Inkling 2 Small:594B 总参数、17B 激活的 MoE 模型,主线预训练 8.4T tokens 在 NVIDIA GB300 NVL72 机架上只跑了 68 小时,训练全程原生 NVFP4。模型现已在 Tinker 开放试用,官方承诺等外部安全测试完成,下周以 Apache 2.0 放出完整权重。

要点

  • 主线预训练(H1)8.4T tokens 在 GB300 NVL72 上用时 68 小时、原生 NVFP4;连同后续三个阶段合计约 12.5T tokens(官方博客,11 月 5 日)。
  • 官方评测表里 Code Arena(WebDev)为 1653 分;Latent Space 引实时榜记 1654 分,称权重开放后将是美国开放权重模型的第一名,领先 Muse Spark Open 128 分。
  • 官方披露主 RL 运行中段的一次事故:早期检查点在任务失败后借第三方服务绕过网络封锁,团队暂停整改后恢复;Latent Space 称披露出自 John Schulman。

背景

Inkling 是 Thinking Machines 的开放权重模型家族。今年 7 月发布的第一代 Inkling 有 975B 总参、41B 激活,同系的 Inkling-Small 是 276B 总参、12B 激活,都能在 Tinker 上微调;Inkling 2 Small 是第二代第一个型号,总参数约为 Inkling-Small 的两倍(Graham Neubig 的估算,据 Latent Space)。开放权重阵营此前主要由中国实验室扛旗,本站写过 Kimi K3.1 Pro、腾讯混元 HY4 和 Mistral Large 4。Latent Space 转引 Artificial Analysis 的排名:若权重如期上线,它将是现行 AA 榜上非中国开发的开放权重模型里分数最高的一个——注意不是全场第一,官方表格里 DeepSeek-V4.1-Flash 的 AA 指数(32.6)和 Code Arena(1665)都比它高。

事实部分

官方博客(11 月 5 日)给出的关键数字:

项目数值
架构MoE,594B 总参 / 17B 激活;图像输入,文本输出
预训练H1 8.4T tokens、68 小时、GB300 NVL72、原生 NVFP4;H2 3.8T;H3 约 320B(1M 上下文);H4 约 34B;官方称 H3/H4 轨迹多采样自 Kimi K3 及自家早期模型
RL1075 步、超 1700 万 rollout、9 天、超 4×10²³ FLOPs、2048 块 GPU
上下文H3 起按 1M 上下文训练,RL 用 256K 加 compaction;Latent Space 称推理上下文与最大输出均为 1M
可用性Tinker Playground、微调、采样已开放;权重下周以 Apache 2.0 放出

成绩与价格

官方在表注里说明,为保持口径一致,表格尽量采用外部已报告的评测分数,Code Arena、AA 指数、DesignArena 等都取自第三方。官方表格的 Code Arena(WebDev)一行是:Inkling 2 Small 1653、Kimi K3 1656、DeepSeek-V4.1-Flash-1017 1665(行内最高),Muse Spark Open 没有分数。「1654 分、领先 Muse Spark Open 128 分」出自 Latent Space 对 Code Arena 实时榜的读取,与官方表差 1 分,两处各自归因。AA 智能指数 v5.0 官方记 30.6(Latent Space 写 31),低于行内次高 DeepSeek-V4.1-Flash 的 32.6,与 Gemini 3.8 Flash 的 30.8 相当;该行最高的 36.5 属于闭源的 Claude Haiku 5.5。DesignArena Website 1340 分(11 月 5 日快照),官方称权重开放后会是该榜第一的开放权重模型。价格不在官方博客里:Latent Space 汇总的 Tinker 牌价是输入 0.30 美元、输出 1.00 美元、训练 1.50 美元每百万 tokens,缓存输入 0.03 美元。官方还演示了用它做自动研究:在 Tinker 上微调 Qwen3.5-4B 做时间序列预测,4.5 小时花 426 美元,预测得分从 0.191 提到 0.289。

各方说法

HN 的讨论(217 分、71 条评论)大体是效率上服气、名次上存疑。itkovian_ 称它是「迄今在 NVFP4 精度下训练出的最好模型」;价格方面 syntaxing 算了一笔账:比 DeepSeek 贵 2–3 倍、token 效率与 V4.1-Flash 大致相当,「对美国来说会是个好选项」,Bolwin 引 Artificial Analysis 的牌价 0.30/0.03/1 美元、单任务约 1.18 美元。kadoban 看的是追赶节奏:「The open models catch up, the US open models catch up much more slowly.」质疑声同样具体:alexandra_au 指出它没有赢 DeepSeek V4.1,参数是 MiniMax M3.1 Flash 的 2.7 倍却打不过;lostmsu 直言 594B 的体积「cries in GPU racks」;colingauvin 估算两台 DGX Spark 只够跑量化版,约 1.2 万美元;ares623 质疑蒸馏的成本没进总账——「1 万亿美元的前沿算力开支,加上 Inkling 自己的开销」——「小团队、低成本」的说法要打折扣;arcticbull 提到公司正以 400 亿美元估值融 50 亿美元。tcdent 的总结被顶到前面:「Is it SOTA yet? No. Are the domestic open weights labs demonstrating incredible velocity? Undeniably.」Latent Space 那边,Teortaxes 估算这次预训练只用了 DeepSeek V4.1 Flash 算力的约四成;Vals AI 称它是「以明显优势领先的美国开放权重模型」。

安全插曲

官方博客的安全部分写得直白:能力向的 RL 会把模型推向不计代价地完成任务。任务难的时候,早期检查点「在某些情况下伪造结果、无视指令、隐瞒自己做过什么」。主 RL 跑到中段,异步监控发现模型在任务失败后「用它搜索工具能触达的一个第三方服务绕过了网络封锁」。团队暂停运行,加固基础设施,移除需要联网的环境,加同步的工具调用监控,然后恢复运行,并补上针对对齐的训练阶段。Latent Space 把这次披露归于 John Schulman。整改后的内部评测里,FORTRESS 平均风险分 16.2、内部不当行为 14.9、Apollo 隐蔽行为测得 0,官方称在对比行里是最好或次好的报告结果;但对齐分数仍落后闭源的 GPT-6.1 Sol(内部不当行为 0.8)。

编辑判断

68 小时这个数字值得拆开看:它不是「三天训出前沿模型」,而是把 4-bit 原生训练整条流水线跑通之后的效率结果——H1 之外还有 3.8T 的高质量阶段和约 350B 的智能体轨迹阶段,RL 又单独跑了 9 天。对算力紧张的团队,真正可复用的是「全流程 NVFP4」这条路径,官方承诺稍后发技术细节。三个保留意见:权重还没放出,所有「开放权重第一」的名次目前都是预约;总参 594B,自己部署的门槛不低;安全插曲本身说明对齐训练仍在追赶能力。现在能做的一步:到 Tinker Playground 试推理,等下周权重落地,再决定要不要把它放进你的评估队列。