研究#比价#模型推理

中国信通院发布《大模型词元服务性能监测报告(2026年)》:6 月国内日均消耗约 500 万亿 token,价格较 2025 年下半年上涨近一倍

中国信通院 10 月 23 日发布大模型词元服务性能监测报告:6 月国内日均消耗约 500 万亿 token,均价较 2025 年下半年近翻倍。

蓝色灯光照明的数据中心机房,服务器机柜之间的一条冷通道

10 月 23 日,中国信息通信研究院人工智能研究所、人工智能大模型及软硬件评测工业和信息化部重点实验室与中国人工智能产业发展联盟联合发布《大模型词元服务性能监测报告(2026年)》,基于 2026 年 1 至 8 月的监测数据,从调用成功率、吞吐速度、首词时延、稳定性、价格和上下文窗口六个维度,对国内大模型词元(Token)服务做了横向比较。报告里最直观的一个数字:2026 年 6 月,国内词元日均消耗量约 500 万亿,是 2025 年 12 月的近 4 倍。对靠 API 采购模型能力的团队来说,这是少有的一份同口径官方对比。

要点

  • 报告口径下,国内 8 月平均吞吐 78.23 TPS,比 2025 年均值 38.25 翻了一倍,但仍低于国外典型模型同期的 112.82 TPS。
  • 归一化均价从 2025 年下半年的 6.8 元涨到 13.46 元,接近翻倍;2026 年以来发布的国外典型模型约 117.8 元,按 Global Times 的换算约为国内的 8.7 倍。
  • 同一款开源模型在不同平台的 TPS 差距最大接近一倍;DeepSeek-V4-Pro 8 月的 TPS 是 DeepSeek-V3.2 的 2 倍。选平台本身就是选体验。

背景

国内大模型 API 打了两年价格战,这份报告记录的是转折:价格回升,用量照样涨。信通院的词元服务监测从 2025 年开始做,今年的报告把吞吐、时延、稳定性和价格放进同一套口径,等于给「选哪家」这件事立了把尺子。

500 万亿这个数字本身不算新——TechNode 8 月 28 日的报道标题就是「China’s daily AI token usage tops 500 trillion」,当天国内媒体也跟进过。这份报告的增量在于把性能和价格做成了可横向比较的监测结果,而不是又一个总量口径。

推理性能在这两年已经从后台指标变成卖点:此前站内写过 Inferact 用 16 块 TPU v7 跑 Kimi K3,比同配置 GB200 快 57%——推理厂商刷成绩、平台比优化,这份报告相当于给了张官方计分卡。开源阵营的基础设施也在铺:DeepSeek 已开源昇腾基础组件,把算子铺到国产硬件上,平台侧的优化空间直接决定同一份权重的实际速度。

事实部分

据《大模型词元服务性能监测报告(2026年)》官方页摘要与 IT之家、澎湃新闻的转载,主要数字如下(报告 PDF 全文未逐项核对,以下均按「据报告」口径引用):

指标国内国外典型模型
平均吞吐(8 月)78.23 TPS(2025 年均值 38.25)112.82 TPS(2025 年 12 月 51.35)
平均首词时延(8 月)1.26 秒(2025 年均值 0.78 秒)2.08 秒(4 月 1.04 秒)
归一化均价(2026)13.46 元(2025 下半年 6.8 元)约 117.8 元
上下文 ≥200K 占比95.7%(较 2025 年底提升超 76 个百分点)—

几个口径要拆开说:

  • 吞吐:国内翻倍(38.25 到 78.23),国外也翻倍多(51.35 到 112.82),国内平均仍比国外低约三成。已见各转载版本都只给数据,没有解释翻倍原因的表述。
  • 首词时延两边都在变慢,报告不认为是单纯退化:模型参数量、上下文长度、调用量都在涨。国内 8 月 1.26 秒仍优于国外的 2.08 秒;国外 4 月还是 1.04 秒,四个月翻倍。
  • 上下文:被测模型里 95.7% 支持 200K 以上 token,1M 档占 47.8%。长上下文已经从旗舰配置变成标配,同周发布的 Kimi K3.1 Pro 也把 1M 上下文作为标准能力。
  • 价格:6.8 元到 13.46 元接近翻倍,官方页的判语是「价格回升明显,向『能力跃迁』发展演进」;Global Times 给了对照系——国外 2026 年以来发布的典型模型折算后约 117.8 元。

各方说法

北京市社会科学院研究员王鹏在 Global Times 的报道(10 月 24 日,Chi Jingyi)里给这份报告做了解读。他说用户面对多家服务商时「没有便捷的办法比较谁更快、更可靠、更划算,选起来很难」;行业正从「烧钱获客」转向「靠服务赚钱」;「价格与用量同时上涨,是一个直白的市场判断:客户不是在为更贵的 token 付费,而是在为能解决更多问题的模型付费」(原话为英文,此处转译)。

开源模型的跨平台分化是报告的另一个观察:DeepSeek、Qwen、GLM、Kimi 四款模型部署在多家第三方平台上,5 月各模型新版本发布后 TPS 普遍提升、时延压缩,8 月 DeepSeek-V4-Pro 的 TPS 达到 DeepSeek-V3.2 的 2 倍。但同一款模型在不同平台的 TPS 差距最大接近一倍,部分第三方平台跑得比官方平台还快——报告把原因归到各家的推理加速、优化策略和成本控制上。IT之家、澎湃、观点网等媒体对数字的转述一致,未见互相矛盾的说法。

编辑判断

对做 MaaS 选型的团队,这份报告至少改变三件事。第一,国内价格优势有了官方数字:折算后 13.46 元对 117.8 元,8 倍多的差距不是营销话术。第二,吞吐短板是真的:吞吐敏感的批量任务,国外模型仍值得留在备选清单里。第三,同款模型跨平台差近一倍,说明「选哪家平台」和「选哪个模型」是两个独立决策,换平台的收益可能比换模型还大。

Catch 也要说清楚:监测覆盖的是报告选定的平台与模型,不是全市场普查;本文数字来自官方页摘要与四家媒体的转载互证,报告 PDF 全文没有逐项核对,落到具体模型、具体平台的分数,采购前应以报告原文为准。报告会不会做成常态化发布也待观察——如果按月更新,它有机会成为国内推理服务的事实基准。