微软披露 MAI-Base-2 预训练账：2.8T 总参、38 天跑完 50T token
微软 10 月 15 日披露自研基座 MAI-Base-2 预训练账：2.8 万亿总参、800 亿激活、16k GB200 跑 38 天，MFU 21%。
微软 AI 10 月 15 日在官方博客「Lab Notes」发文，披露第二代自研基座模型 MAI-Base-2 的预训练过程：一个混合专家（MoE）架构的基座模型，800 亿激活参数、2.8 万亿总参数，2026 年 8 至 9 月用 16,000 张 GB200 训了 38 天。闭源大厂很少把预训练账算到这个颗粒度——MFU、goodput、训练配方、扩展方法论和逐项评测都摆在台面上，但也把「不开源」省下的边界一并摆了出来。
要点
- MAI-Base-2 是 80B 激活、2.8T 总参的 MoE，50T token 训练视野，16,000 张 GB200 上跑 38 天，平均 MFU 21%、goodput 89%（microsoft.ai 官方博客，2026-10-15）。
- 官方称其在四组 held-out 评测上的 bits-per-byte（BPB）低于所有受测开源权重模型，并称预训练 FLOPs 效率是 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍、MAI-Base-1 的 6.3–12.7 倍。
- 权重不发布：官方明确这些数字是为了将来把权重授权给「可信伙伴」，模型当前仍在后训练，MAI-Base-3 的准备已经启动。
背景
MAI-Base-2 不是从零开始的一条新闻。MAI-Base-1 于 2026 年 6 月随 MAI-Thinking-1 一起对外，那是一个通用推理模型，官方口径 SWE-Bench Pro 约 52.8%、AIME 2025 97%，微软 AI 当时还强调七个模型全部是从头训练、没有从第三方模型蒸馏（Crypto Briefing 2026-10-15 梳理）。Crypto Briefing 同时给出 Base-1 的基线账：30T token 预训练语料、3.55T 中期训练 token、8,192 张 GB200。
微软的硬件线也在同一个月里被反复问起。本站 10 月 13 日那条《微软发布自研推理芯片 Maia 300》记的是 2027 年起多吉瓦级部署——微软 AI 这篇博客里「模型与基础设施协同设计」的说法，正好接上那条：把事情做便宜 / 便宜地把事情做成，一条线是模型配方，另一条是自研芯片和机架。
对手侧的背景更能说明这篇博客的选择。DeepSeek-V4-Pro-Base 是目前唯一放出的、超过 1T 参数的基座预训练 checkpoint，也正是它成了这次效率比较的参照物；Nex-N2.5 那条登顶 BrowseComp 的开源模型同样建立在 DeepSeek-V4-Pro-Base 之上——1.6T 参数、激活 49B，Max 档由其完整后训练而来。也就是说，微软这次逐项比较的对手，正好是近期一批开源权重模型的地基。
事实部分
架构和训练的每一项都能在官方帖子正文或 PDF 版里对上。下面两张表一张抄架构、一张抄训练账，数字均为微软自报：
| 项目 | MAI-Base-1 | MAI-Base-2 |
|---|---|---|
| 激活 / 总参数 | 35B / 1T | 80B / 2.8T |
| 层数 | 78 | 102 |
| 隐层维度 | 6656 | 8704 |
| MoE 布局 | 稠密 FFN 与 MoE 交替 | 每层 MoE |
| 路由 / 专家数 | 0 共享 + 8/512 路由 | 1 共享 + 7/512 路由 |
| 注意力（KV/Q） | 8/80 全局（每 6 层）与 8/80 局部 | 2/96 全局（每 6 层）与 16/96 局部 |
| Embedding | 绑定 | 不绑定 |
| 训练视野（token） | 30T | 50T |
| 优化器 | AdamW | Muon（非 embedding 的 2D 参数）+ AdamW |
| FP8 方案 | Tensor-wise 延迟缩放 E4M3 / E5M2 | MXFP8 E4M3 |
| 视觉 | 仅文本 | 原生 VLM |
训练账单独列：16,000 张 GB200、38 天、训练期横跨 2026 年 8 与 9 月，平均 MFU 21%、goodput 89%。这两个数的口径官方写明了——MFU 按 GB200 的 BF16 理论峰值 2.5 PFLOPS 归一，并且不含重物质化和优化器的 FLOPs；goodput 的定义是「训练在推进的时间占比」。
评测用 BPB（bits-per-byte），官方的理由是它对各模型自己的 tokenizer 不敏感。受测对象限定在 2026 年 10 月之前可得的、总参数不少于 1T 的前沿 checkpoint，四组 held-out 集合的 BPB 如下（越低越好）：
| 模型 | 激活/总参 | Code | QA | STEM | Math |
|---|---|---|---|---|---|
| MAI-Base-2 | 80B / 2.8T | 0.2203 | 0.4162 | 0.3653 | 0.3561 |
| Kimi-K3 | 104B / 2.8T | 0.2264 | 0.4269 | 0.3761 | 0.3589 |
| Qwen3.8-2.4T-A95B | 95B / 2.4T | 0.2370 | 0.4351 | 0.3968 | 0.3752 |
| DeepSeek-V4-Pro-Base | 49B / 1.6T | 0.2401 | 0.4427 | 0.3978 | 0.3803 |
| MiMo-V2.6-Pro-RL | 42B / 1.02T | 0.2446 | 0.4440 | 0.4026 | 0.3862 |
| MAI-Base-1 | 35B / 1T | 0.2400 | 0.4513 | 0.3975 | 0.3939 |
这张表有四个限定词必须一起读。held-out 代码集用的是微软自家代码库；STEM、Math 与 Q&A 三组是委托厂商构建以降低训练污染风险；所有评测集都针对微软训练数据做过去污染；Kimi K3、Qwen3.8 与 MiMo 三个对照只有后训练 checkpoint 可得，官方自注「后训练可能影响这些评测」。
数据配方是这次披露里最实在的部分。官方称语料按唯一训练 token 计比 MAI-Base-1 增长约 36%，网页数据的知识截止为 2026 年 3 月，全部训练 token 都由内部管线处理、爬虫遵守 robots.txt 与相关 meta/HTML 控制。混合配比里 Code 45%、Web 12%、PDFs 9%、STEM 9%、Books 5%、Math 4%、Vision-only 14%、Other 2%。VLM 语料单独有 4.5T 唯一 token，算上重复后视觉数据占 50T 训练混合的 18%。Yahoo Finance 转载的 Investing.com 报道把这几个数字一并转述，但那篇稿子的口径与博客一致，没有新增独立信源。
扩展方法
真值得抄的是扩展阶梯（scaling ladder）和他们称为 source scaling 的记账法。阶梯是一族固定配方、不同尺寸的模型，每级档位只用层数 L 命名，其余架构由 L 推出：隐层维度是 (256/3)·L，查询头数取 L 四舍五入到 16 的倍数。模型越长越大，而 tokens-per-active-parameter（TPP）保持不变。难题是小规模上必然要重复数据，重复数据分布一变，小规模选出的架构和超参到大就会过拟合。微软的做法是在低档位上人为限制唯一样本集合，使每个数据集无论在哪个训练视野下都重复同样次数——一个数据集在 50T token 里被看 8 遍，那 5T token 的运行就只在 1/10 的数据上循环 8 遍。官方称这保住了唯一数据与参数的比例，是把 2.8T 参数模型可靠放大的关键。
超参数则按规律扫，而不是按网格撞。学习率与权重衰减的效果耦合，矩形网格大部分采样落在无效区；微软改用两者的乘积作为搜索轴，再用二维二次曲面拟合评测结果、解析求最小值。他们报告 LR·WD 的标度指数对训练步数接近 −1，LR 对标度接近 −0.5（与「batch 翻倍、学习率乘 √2」的经验一致），据此定出 MAI-Base-2 的超参数。
工程改动
MoE 每层化之所以可行，是因为修掉了两处拖 MFU 的实现问题——动态路由造成内存碎片、为极端专家负载不均衡预留内存；专家做得更细又抬高单专家开销。修完 MoE 层 MFU 从 24% 升到 35%，官方把架构选择归给这个涨幅。多轮 dropless MoE 则在任意路由不均衡下保持固定显存：专家按组分配，溢出 token 追加轮次处理，组内可借用他人闲置容量；容量按「稳态只需一轮」配置。
Muon 的开销靠把动量在优化器步内重分片、按形状批处理 all-to-all、路由器权重复制而非分片压下来。做完这些优化，Muon 占平均迭代时间的 2.1%（165 ms），理论上限约 55 ms，差距归因于掉队进程、kernel 启动开销、负载不均与重分片期的内存拷贝。
各方说法
Crypto Briefing 那条评论的角度是不给 Base-2 数字，专讲悬念。它把三件待观察的事摆出来：微软到底公不公开算力与数据账、基于 Base-2 的推理模型能不能越过 Base-1 的 52.8%、这条时间线与 2027 年 Maia 多吉瓦部署对不对得上。它同时复述了微软自陈的立场——不依赖第三方模型蒸馏、靠自有数据管线——这套说法与官方博客一致，是同一叙事的转述而不是独立核验。
Investing.com（经 Yahoo Finance 转载）是全套数字的浓缩转述，4.2–12.3 倍与 6.3–12.7 倍、约 36% 语料增长、视觉占 18% 全部写上。稿中没有任何高管引语，也没有第三方核验，本文只把它当作转述层，关键数字一律回到官方 PDF 对账。
Hacker News 上的讨论集中在比较对象上（截至 10 月 16 日 27 分、3 条评论）。adroitboss 先问这模型到底开不开源，接着直接质疑「既然是闭源模型，为什么只跟开源权重比」；leothetechguy 代为回答：SOTA 闭源基座拿不到，没法比。Bolwin 则挑出两处披露缺口，说架构很像 Kimi K3 但激活参数更少（80B 对 104B），以及「我不记得他们提了用哪种注意力」。最后一条经本文核对成立：官方只给了 KV/Q 头数与全局/局部分布，没有写注意力机制的具体形式。
编辑判断
对训练自己的基座模型的团队，这篇是目前少见的高颗粒度公开账：source scaling 的记账法、超参数按标度律扫、dropless MoE 的显存控制、Muon 在 16k 卡上的重分片，四件事都能直接对着自己的配方试。MFU 21% 与 goodput 89% 这两个数的口径也写清了（按 BF16 理论峰值、不含重物质化与优化器 FLOPs），比常见的「MFU 30%+」宣传更容易拿来比。
但这份披露的边界同样清楚。所有效率与 BPB 声明都是微软自评，无独立复核；评测对象只有开源权重模型，四个 held-out 集合里三个是委托厂商构建、代码集是自家代码库，三个对照还只是后训练 checkpoint。模型仍在后训练，权重不发布，没有价格也没有时间表。对它真正的目标读者——考虑通过 Foundry 拿到授权的大企业——这篇博客是问「能不能拿授权、拿什么条件」的起点，不是可以下载的模型。
一句话判断：把它当成一份写得极好的预训练技术报告读，而不是当成一次模型发布。