研究#跑分

Arena 智能体榜:Claude Opus 5.5 Max 首次入榜即登顶,Anthropic 包揽前二

Arena 智能体榜显示 Claude Opus 5.5 (Max) 以 15.53% 净提升分登顶,DeepSeek、Kimi、腾讯居 17–19 位。

Arena 官方 Agent Leaderboard 卡片:深色背景上的线稿石柱与绿色 Agent 标签

Arena 的官方智能体榜(Agent Leaderboard)10 月 8 日更新的一期里来了个新名字:Claude Opus 5.5 (Max) 首次入榜,就以 15.53% 的净提升分(官方列名 Net Improvement)排在第一,9 月 23 日发布的 Opus 5.5 在这个榜上又进了一步。这一版榜单基于 2,383,022 个真实 Agent Mode 会话、覆盖 53 个模型,Opus 5.5 (High) 以 14.33% 居次——Anthropic 第一次在这个榜包揽前二。国产阵营排最前的是第 17 位的 DeepSeek V4.1 Flash,净提升分 3.80%,不到榜首的四分之一。

要点

  • Claude Opus 5.5 (Max) 以 15.53%±4.63% 的净提升分登顶 Arena 智能体榜,Opus 5.5 (High) 以 14.33% 居次,GPT 6 Astra (Max) 第三(13.09%);前十中 Anthropic 系占六席。
  • 榜单口径:截至 10 月 8 日的 2,383,022 个真实 Agent Mode 会话、53 个模型,按净提升分而非 ELO 计分,分数随新会话滚动更新。
  • 国产第一梯队 DeepSeek V4.1 Flash(第 17)、Kimi K3(第 18)、腾讯 Hy4 preview(第 19)净提升分在 3.6%–3.8%;其中 DeepSeek 单任务成本 0.13 美元,约为榜首(5.41 美元)的四十分之一,Kimi K3 与 Hy4 preview 分别为 0.94 和 0.38 美元。

背景

把这次的座次放进时间线看更清楚。Opus 5.5 发布于 9 月 23 日,API 价格降了 20%,定位是长任务编程 Agent;一周后 Sonnet 5.5 跟上,这次在智能体榜排第 5。运营榜单的 Arena 自己也在换挡:10 月 8 日完成 2 亿美元 B 轮融资、估值 31 亿美元(见我们此前的报道),同一批发布里还上线了按”谎称完成”等行为排名的对齐排行榜。智能体榜正是它从文本盲测投票走向真实任务实测的那条产品线,这次登顶的恰好处在这条线上。

「第 41 周」的说法来自 IT之家 10 月 12 日的整理,它把数据窗口对应到 10 月 5 日至 11 日;Arena 官方页面没有周编号,只标注数据截至 10 月 8 日。引用时建议写清口径。

事实部分

智能体榜的关键数字如下(Arena 官方页面,数据截至 2026-10-08,本站 10 月 12 日实测):

排名模型净提升分确认成功率工具幻觉率会话数单任务成本(P50)
1Claude Opus 5.5 (Max)15.53% ±4.6317.29% ±6.020.37% ±0.184,893$5.41
2Claude Opus 5.5 (High)14.33% ±2.1813.93% ±3.840.50% ±0.046,103$1.93
3GPT 6 Astra (Max)13.09% ±2.3712.13% ±3.880.43% ±0.1112,029$3.53
5Claude Sonnet 5.5 (Max)11.95% ±3.3115.83% ±5.060.43% ±0.126,780$3.30
8Gemini 4 Argon (High)9.26% ±2.3615.64% ±3.260.18% ±0.3417,963$0.75
17DeepSeek V4.1 Flash (Max)3.80% ±0.397.44% ±0.860.37% ±0.04182,693$0.13
18Kimi K3 (Max)3.78% ±0.596.46% ±1.320.51% ±0.03133,217$0.94
19腾讯 Hy4 preview3.61% ±0.705.96% ±1.480.09% ±0.2170,702$0.38
20MiMo V2.6 Pro3.52% ±1.928.03% ±3.880.35% ±0.5411,376$0.11
24Qwen3.8 Max2.35% ±0.595.09% ±1.320.92% ±0.1759,995$0.58

拆开榜首的信号:Opus 5.5 (Max) 的确认成功率(用户确认任务完成的会话占比)是 17.29%±6.02%,工具幻觉率 0.37%±0.18%,Steerability 8.20%±4.06%。官方给第 5 名 Sonnet 5.5 (Max) 的单独标注是「以最少的步数从失败命令中恢复」。成本维度上,榜首单任务 5.41 美元,DeepSeek V4.1 Flash 只要 0.13 美元,MiMo V2.6 Pro 0.11 美元——Arena 首页的 Pareto Frontier 区把这几档都标为帕累托最优点。

IT之家整理的其他榜单:综合榜 Gemini 4 Argon (High) 以 ELO 1525 居首,Opus 5.5 (High) 升 2 位到第二;代码榜 Opus 5.5 (High) 大升 7 位至第五;前端榜 Opus 5.5 Max 以 ELO 1813 排第一。视频榜方面,IT之家称国产模型有 6 款进入前 20——此条仅见于该报道一家,Arena 官方视频榜本次未核对。

各方说法

IT之家把净提升分译作「净提升度」,落点放在国产座次:智能体榜 17–20 位之外,综合榜 kimi-k3-max 第 16、qwen3.8-max 第 22、glm-5.3-max 第 27,结论是「国产多模型稳定在中上游」。Arena 官方页面强调的两点是:分数随真实 Agent Mode 会话滚动更新、不是一次性静态分;每个模型除总分外还公开 5 个信号的明细:确认成功率、表扬对抱怨(Praise vs Complaint)、Steerability、Bash Recovery、工具幻觉率。

方法学上,官方 FAQ 说得更直白:Agent Mode 把每个会话随机派给一个模型,用户在单线程长对话里(有时上百轮)与单个智能体交互;榜单不再只靠投票,而是把自然语言表扬/抱怨、工具幻觉等隐性行为信号汇总进来,再用名为 causal tracing 的因果推断方法——替代原来的 Bradley–Terry 回归——报告某个模型相对平均模型的效应,以百分点差呈现。这也解释了净提升分为什么是百分比而不是 ELO 分。

统计上的冷水也得有人泼:前三名的置信区间互相重叠——第 1 名 15.53%±4.63 的下沿(10.90)低于第 3 名 13.09%+2.37 的上沿(15.46)——而且榜首只有 4,893 个会话样本,不到 DeepSeek V4.1 Flash(182,693 个)的 3%。「谁是第一」在统计上并不干净。针对 Arena 众包评测方法学的老批评(盲测偏好更长、更讨喜的回答,Arena 自己也承认投票数据有偏、需统计校正)依然适用,智能体榜改用真实任务会话算是部分回应,但任务分布仍由平台决定。英文媒体方面,截至 10 月 12 日我们没有检索到针对本周榜单的专文,周度整理目前主要是中文科技媒体在做。

编辑判断

对正在选模型的人,这张榜值得带走的是两件事,登顶反而排在其次。其一,前三名的差距落在置信区间重叠里,把 15.53% 对 13.09% 读成「稳赢」是过度解读;榜单适合初筛,关键场景还是要用自己的任务跑一遍。其二,成本曲线比名次更值得看:同一张榜上,5.41 美元一任务的榜首和 0.13 美元的第 17 名差约 42 倍,后者净提升分是前者的四分之一——对大多数非关键任务,「够用档」第一次有了可引用的坐标。

国产阵营的座次也从此有了数字锚点:3.6%–3.8% 的第一梯队、2.35% 的 Qwen3.8 Max、与头部约 4 倍的差距。注意这个差距是 Arena 的任务分布量出来的,换一批中文任务未必维持这个比例。诚实的不确定性:周编号是 IT之家口径;榜单滚动更新,本文数字是 10 月 8 日数据戳、10 月 12 日实测;单任务成本这类滚动值会漂移;视频榜「国产 6 款进前 20」仅 IT之家单一来源。