微软 365 中断复盘:七月网关修复埋下锁竞争,压测没测多核
微软复盘 11 月 12 日 365 中断:七月网关修复引入锁竞争,压测未覆盖多核;Teams 切换与 14% 容量离线叠加,两小时内超 80% 主网关失效。

这不是一次新的宕机,而是微软对 11 月 12 日至 13 日云办公套件 Microsoft 365 全球中断的复盘。2026 年 11 月 15 日,微软在 Microsoft 365 管理中心发布初步事故报告(RCA),16 日经 iTnews、Office Watch 等媒体报道:七月开始部署的一项只用于微软网关服务器的 Windows 修复,在内部进程中引入了锁竞争(lock contention),使服务器在特定负载下失去响应。核心服务在约 24 小时内恢复,剩余客户的收尾持续到 11 月 14 日,微软承诺当周晚些时候发布最终报告。
要点
- 根因:七月起部署的网关专用 Windows 修复引入锁竞争;缺陷在全球运行三个多月没有暴露,压测机器核心数少于生产机,没测出来。
- 触发:Teams 在事发前约 15 小时从独立网关故障转移到主网关;主网关另有近 14% 的容量因无关问题离线;美国工作时间流量达到峰值后,不到两小时超过 80% 的网关服务器失去响应。
- 恢复:Exchange Online 因体量过大无法切到备用网关,重启的服务器又被积压流量冲垮;微软回退代码路径、分批恢复,核心事件在约 24 小时后结束,剩余客户的恢复延续到 11 月 14 日。
背景
要理解这份复盘,得先回到 11 月 12 日。美东时间当天 11:17,Exchange Online 邮箱访问先出问题,随后 Outlook、Teams、Copilot、SharePoint 与 Intune 陆续受影响;本站 11 月 14 日的条目 微软 365 中断约两天后恢复 记录了中断与恢复过程。中断期间,德国 Phantasialand 酒店泳池的氯气告警邮件没有送达,15 名住客受伤,这起后果 让「邮件不通」从 IT 故障变成了人身安全问题。
微软当时的解释是「一次更早的网络容量升级被后续变更暴露」。这份 RCA 第一次把机制说清楚:不是一个笼统的容量问题,而是网关服务器内部进程的锁竞争。把事故拆开看,七月埋下的缺陷、Teams 的故障转移、14% 的容量缺口和早高峰流量,四个条件缺一个,事情可能都不会闹到全球。
事实部分
这份初步复盘放在需登录的 Microsoft 365 管理中心,以下细节来自 iTnews 与 Office Watch 的转述,两家在三个因素上的说法一致:
| 因素 | 复盘中的说法 | 来源 |
|---|---|---|
| 潜伏缺陷 | 七月起部署的网关专用 Windows 修复,在内部 Windows 进程中引入锁竞争;核心数越多的机器,竞争越严重 | iTnews、Office Watch |
| Teams 切换 | 事发前约 15 小时,Teams 从一套独立网关故障转移到同时承载 Exchange Online 的主网关,负载与流量模式随之改变 | iTnews、Office Watch |
| 容量缺口 | 主网关近 14% 的容量因前一天的另一问题离线,当时仍在恢复中 | iTnews、Office Watch |
| 高峰流量 | 美国工作时间流量达到峰值时,服务器开始接连失去响应;自动流量调度把负载压向健康机器,后者也失效 | iTnews |
| 级联结果 | 不到两小时,超过 80% 的网关服务器无响应;本应隔离故障的区域与容量单元机制,因另一独立问题没有生效 | iTnews、Office Watch |
三个因素单看都不致命。锁竞争要在大核数机器和高负载下才会发作;Teams 切过来增加的是负载,不是故障;14% 的容量缺口在平时也有冗余兜底。问题是它们撞在了一起:服务器开始卡死后,自动故障转移把用户往其他主网关服务器上赶,负载集中到更少的机器,锁竞争扩散,更多服务器卡死。微软在复盘里承认,区域和容量单元的隔离机制本应限制爆炸半径,但「另一个独立问题」让它没有起作用;这个独立问题是什么,公开材料没有说明。
压测为何漏掉
缺陷能潜伏三个多月,测试环境是主要原因。据 iTnews,微软的实验室用的是核心数更少、性能更弱的机器,而锁竞争在核心数更多的新机器上更严重;Office Watch 的说法是,实验室的流量模型和生产也不一样。结果就是:七月开始部署、在全球跑了三个多月没出事的修复,看起来通过了一切检查,实际上没有在真实硬件形态下被压过。
这类漏测很难靠「多跑几轮」补上。压测机器如果和生产机器不是同一档硬件,测出来的结论只对那档硬件成立;核心数、NUMA 结构、网卡队列这些差异,恰好是锁竞争最容易放大的地方。变更管理也有责任:一项部署了三个多月的修复,常规的灰度、功能开关和回滚流程都假定它「已经稳定」,真出问题时反而没有现成的回退路径。
恢复为何缓慢
恢复慢,不是因为不知道哪里坏了,而是因为能走的路太少。Teams、OneDrive、SharePoint 和 Office 应用可以切到备用网关,恢复得较早;Exchange Online 的体量太大,微软说它「出于规模原因」无法整体迁移,只能留在故障网关上慢慢修。重启的服务器一上线就被积压的流量冲垮,自动恢复机制也不是为这种全局故障设计的。
微软最终走的是回退代码这条路。正常的回滚、灰度发布和功能开关都无法快速撤销一个几个月前的变更,工程师只好写一个更新,把代码路径恢复到此前已知的正常状态,再按大块分批部署,有时一次覆盖半个以上的区域。据 Office Watch 记录,11 月 13 日 07:20 UTC 部署该更新,全球网页版邮箱在 14:17 UTC 恢复正常,16:10 UTC 宣布核心事件结束;邮件没有丢失,微软延长了投递窗口,避免排队中的邮件被退回。
各方说法
各家报道的侧重点不同。iTnews 的技术叙述最完整,也拿到了微软那句关键的限定:「缺陷和修复都不适用于更广泛的 Windows 部署。」Office Watch 把它叫作「潜伏」(sleeper)缺陷,强调这是一项只为微软网关服务器做的 Windows 修复,不是面向所有 Windows 机器的常规更新;它还提醒,一个卡住的前门,足以让几乎所有人的邮件停摆。
BetaNews 在 11 月 13 日的早期报道里,把原因写成「一次有问题的网络升级」,随着微软更新,叙事才变成「多台服务器意外不可用」。这份 RCA 补上了最后一块拼图。中文侧,快科技援引监测平台 Downdetector 称,故障报告来自 74 个国家和地区;微软的复盘没有确认这个数字,它统计的是报告来源,不是受影响用户数。复盘也没有给出补丁的 KB 编号,想按补丁号排查的运维人员这次找不到抓手。
编辑判断
对运维和平台团队,这份 RCA 的价值不在「微软也会出错」,而在三个可复用的检查项。第一,压测硬件要代表生产硬件:核心数、NUMA、网卡队列对不上,锁竞争这类问题就测不出来。第二,变更的「年龄」不是安全证明:三个多月无事故,只能说明没触发,不能说明没有潜伏缺陷;回滚能力要能覆盖几个月前的变更,否则出事时只能现写补丁。第三,隔离机制要单独演练:本应限制爆炸半径的区域与容量单元隔离,被另一个未披露的问题绕过了;没有演练过的保护机制,只是纸面存在。
诚实的保留意见也要写清楚。这份 RCA 目前只有微软一家口径,独立验证缺位;让隔离机制失效的「另一个独立问题」没有披露,这恰恰是整份报告里最值得追问的部分。80% 是微软自己的数字,74 个国家和地区是 Downdetector 的报告来源统计,两者都不能当作受影响用户数。微软承诺当周晚些时候发布最终报告,如果「锁竞争」的措辞或细节有修订,以最终版为准。
接下来
短期看三件事。其一,最终报告是否公开隔离机制失效的细节,以及七月修复在实验室里的测试记录。其二,微软是否调整网关的容量规划和 Teams 故障转移策略,比如在把 Teams 切到主网关前评估叠加负载。其三,企业侧是否要为 Exchange Online 准备一条不依赖同一网关的降级路径;这次 Teams 能切走、Exchange 切不走,说明备用容量不是均匀的。