模型#跑分#模型训练

智谱 Z.ai 发布法律智能体模型 GLM-Legal:Harvey LAB 全通过率 19.2%

智谱 Z.ai 发布法律智能体模型 GLM-Legal,Harvey LAB 全通过率 19.2%,API 按申请开放;独立榜单列其第 7。

玻璃书柜里烫金书脊的旧法律藏书

10 月 12 日,智谱 Z.ai 发布面向法律工作的智能体模型 GLM-Legal:在基座 GLM-5.3-Flash 上做法律语料中期训练与强化学习后训练,官方公布的 Harvey 法律智能体基准(Harvey LAB)全通过率为 19.2%,比基座高出 12.5 个百分点。权重没有提供下载,API 以申请制开放测试,定价也未公布。

要点

  • 19.2%,全对才算过的口径:官方博客(10 月 12 日)公布 Harvey LAB 全通过率 19.2%,较基座 GLM-5.3-Flash 提升 12.5 个百分点;该基准取材真实律所工作流,覆盖 24 个执业领域,按全部检查点通过才计分。
  • 第三方榜单第 7:评测机构 vals.ai 的 Harvey LAB 榜(10 月 12 日更新,79 个模型)列 GLM Legal 第 7,任务通过率 19.17%,单次测试成本 0.15 美元;榜首 Muse Spark 1.2 为 25.42%,前五名全部来自 Muse Spark 与 Wonder Full 两系。
  • 申请制 API,AutoClaw 待接入:API 测试要在 z.ai/consultation/legal 提交申请;官方称模型即将进入其桌面智能体平台 AutoClaw;是否开源,官方博客只字未提。

背景

Harvey LAB 是法律服务公司 Harvey 的基准,考的是真实律所的任务,而 Harvey 自己早就下场调过模型:今年 6 月它与 Applied Compute 合作,用强化学习后训练推高 GLM-5.1——据 Harvey 官方博客 2026 年 6 月 22 日的文章,后训练把 rubric 通过率做到 0.913,称超过 GPT-5.5 xhigh 与 Opus 4.8 Max。要注意口径:那是 Harvey 自己跑分的 rubric 通过率,与这次的 19.2% 全通过率不是同一把尺子,不能直接换算。智谱这边,GLM 系一直走开放权重路线——GLM-5.3 开源到被 Anthropic 威胁报告点名为攻击能力最强的开放权重模型;10 月 12 日同一天,速度特化的 GLM-5.3-Highspeed 还在 Zcode 里灰度。这次官方博客对开源与否保持沉默,HN 早期留言里就有人直问「这不是开放模型吧」。

事实部分

GLM-Legal 的核心数字如下,每条标注出处与口径:

项目数字 / 口径出处
Harvey LAB 全通过率19.2%,全部检查点通过才计分官方博客,2026-10-12
较基座提升+12.5 个百分点(隐含基座约 6.7%)官方博客
vals.ai 任务通过率19.17%,排第 7 / 79vals.ai,2026-10-12 更新
vals.ai 单次测试成本0.15 美元(输入 0.075 / 输出 0.25)vals.ai
LegalBench官方称与顶级闭源前沿模型相当,参数量更精简官方博客,厂商口径
PLawBench官方称中文法律场景(咨询、案例分析、文书起草)与领先前沿系统相当官方博客,厂商口径
训练方法法律语料中期训练,加数万个模拟法律环境上的 RL 后训练,并与 agent harness 协同进化官方博客
获取API 申请制;AutoClaw 即将接入;无定价官方博客

两边的数字能对上:vals.ai 榜上 GLM 5.3 Flash 的通过率是 6.67%,加上官方宣称的 12.5 个百分点,正好落在 GLM Legal 的 19.17%——独立榜单与官方口径互相印证。对不上的是叙事:官方写「比肩闭源前沿模型」,而榜单第 7 的前面还压着 6 个模型,距榜首 Muse Spark 1.2 隔着 6 个百分点。

各方说法

HN 讨论帖(2026-10-13 查询,369 分、209 条评论)把火力集中在基准本身:

  • 用户 mathis-l 说自己看过 agent 跑 Harvey firm knowledge 任务子集的轨迹,「发现多条任务和评分细则有问题」,并列出 3 个例子。他在 10 月 9 日于 Harvey 开源的 harvey-labs 仓库提交的 issue(第 191 号,截至 10 月 13 日仍开放)写得更具体:任务 113 的 rubric 声称只有三个案卷涉及临时禁令申请,但数据集里第 1011-00004 号案卷同样满足条件。
  • 用户 jimz 的批评更重:移民和白领刑事辩护任务的「正确答案」,照做会让委托人被拘留、递解,或者干脆在辩护中出卖委托人;基准默认国家方的初始主张是对的,也没算进 Loper Bright 判决对美国行政法的改变。他的结论是这至少算「不合格」。
  • 自述上过法学院、后来回到工程行业的 otterley 说:「基准上 80% 的未通过率告诉我,自动化离实用还很远,哪怕只在检索和起草阶段」——而且即使产出与合格律师相同,律师仍须逐项核验。
  • 用户 postalcoder 的第一反应是「这不是开放模型」,并好奇中国实验室陆续闭源之后社区舆论会怎么变;他还联想到 Harvey 近期被美国实验室压价的报道。

编辑判断

看 GLM-Legal,绝对值不是重点,路径才是:领域语料中期训练加 RL 后训练,再让模型与 agent harness 一起迭代,12.5 个百分点的提升全部压在法律这一个垂类上——编码智能体验证过的打法,正在被复制到下一个专业领域。对比 Arena 智能体榜上 Opus 5.5 Max 首秀即登顶,通用榜与垂类榜的分差也在提醒:前沿是分领域的。官方「比肩前沿」与第三方「第 7」并存,两个说法各有各的尺子,放在一起读才不偏。对想做法律科技的团队,三件事没有落地:权重不开、定价不报、基准质量自己也在被质疑(191 号 issue 还开着)。在一个榜首通过率也没超过 26% 的领域,把它当研究信号,比当生产依赖更合适。

怎么试

  • API:到 z.ai/consultation/legal 提交申请,写清用例,等审核通过后接入。
  • AutoClaw:官方称模型即将进入 autoclaw.z.ai 的桌面智能体平台,可以先关注这个平台。
  • 复核榜单:vals.ai 的 Harvey LAB 页列出 79 个模型的逐项通过率与成本;Harvey 的 harvey-labs 任务仓库开源,可以直接看被质疑的那道任务长什么样。