商业#网页爬取#模型训练

Meta 删掉商业条款里「训练」那句:抓取授权、test credentials 与 develop 全部保留

Meta 在 10 月 30 日生效前删掉商业条款中「训练」一句,用途收窄到广告与商业产品;抓取授权与 test credentials 原样保留。

蓝色背景上环绕着黑色涂鸦线条,中央是白色的 Meta 字标与无限符号

Meta 的商业条款(Meta Commercial Terms)是任何以商业目的使用 Facebook、Instagram、WhatsApp、Messenger 或 Meta Business Suite 的账号必须接受的合同,预览版页首写着 2026 年 10 月 30 日生效。美西时间 10 月 16 日周五,这份合同里那句允许 Meta 用抓来的网站内容「train」模型的独立句被删掉了,用途并入前一句、收窄为 advertising and business products。改动可以逐字核对:Wayback 在 UTC 10 月 16 日 16:20 的存档仍保留原句,10 月 17 日 03:19 的存档里 train 已经归零;CDX 在 9 月 1 日到 10 月 18 日之间为这个页面列出 9 个快照,9 个都含这段授权条文,其中 5 个是旧版、4 个是新版。现行线上页与新版一致,全文 train 出现 0 次,advertising and business products 出现 1 次。

要点

  • 被删的是一整句:「Meta may use any content from such domains, web pages, or URLs to provide, develop, improve, research, train, and maintain the integrity of, the Meta Company Products, services, and features provided under these Commercial Terms and any other applicable supplemental terms.」
  • 抓取授权原样保留,包括 access、index、cache、analyze、collect、retrieve、crawl 与 create test credentials;develop 也留着,只是后面接的用途换成了广告与商业产品。
  • 条款全文没有 robots.txt 一词;Meta 说偏好仍然有效,法律学者说遵守与否本来就靠自愿。10 月 30 日生效日不变,商业账号没有退出选项。

条款改了什么

改前的段落由两句组成。第一句是授权:Meta 可以使用自动软件(web scrapers、bots、robots、spiders、crawlers、user agents)并创建 test credentials,去访问、索引、缓存、分析、收集、抓取与你的产品或服务相关的域名、网页或 URL,并定期拉取更新。第二句独立成句,说明这些内容可以拿去做什么,train 就在这句的动词清单里。

改后第二句被删,用途以 in order to 接在授权句末尾,动词变成 provide、develop、improve、research、maintain,宾语从「Meta Company Products, services, and features provided under these Commercial Terms」换成「advertising and business products」,后面跟一个括号定义。句尾的完整性表述也从 maintain the integrity of 改成 maintain the integrity and security of。

位置改前(10-16 16:20 存档)改后(10-17 03:19 起)
用途句独立成句:Meta may use any content … to provide, develop, improve, research, train, and maintain the integrity of, the Meta Company Products并入授权句:… in order to provide, develop, improve, research, and maintain advertising and business products (…)
用途范围Meta 产品、服务,以及这些条款与其他补充条款下提供的功能广告与商业产品:括号内解释为帮助投放广告与其他商业内容、向用户介绍你的产品与服务、把你与可能感兴趣的用户连接起来
抓取授权动词清单、create test credentials、periodically pull updates一字未动
生效与退出2026 年 10 月 30 日同左;不同意只能停止将 Meta 产品用于商业用途

括号里的定义值得单独读一遍,因为它把「广告与商业产品」解释成一组围绕投放与用户连接的产品,没有提到 AI。Meta 发言人的说法是合并后的抓取条款「only applied to our ads and business products」,但广告产品里的生成式 AI 算不算,文本没有回答。

存档还说明一件事:这处措辞至少在预览页上挂了十一天。10 月 5 日 01:46、10 月 5 日 08:23、10 月 6 日、10 月 16 日 11:48 与 16:20 这五个存档全是旧版,修改只可能发生在 16 日 16:20 与 17 日 03:19 之间,也就是美西时间 16 日上午 9 点 20 分到晚上 8 点 19 分。

没改的部分

授权句的动词清单保持原样,对象范围也没动:与你的产品或服务相关的域名、网页与 URL,以及「通过你或用户使用 Meta 产品而变得可用的」URL。这句话比「你的网站」宽,Grimmelmann 说新版完全没有限制它,足够抓下整站。

create test credentials 留了下来,含义是 Meta 可以为访问这些站点创建测试凭据。Grimmelmann 在 Nieman Lab 的采访里说,技术上这可以允许 Meta「sign up as a fake user」绕过注册墙;Meta 拒绝回答这些凭据会不会用于绕过付费墙与付费内容。

退出机制也没有变。条款写的是「If you do not agree to the updated terms, you may stop all access or use of our Products for business or commercial purposes」,商业账号在 10 月 30 日前没有退出选项。

30 天变更通知需要说清楚归属。预览版全文里检索不到「at least 30 days」这样的提前通知承诺;商业条款自己的 Updates 一节只写「我们可能需要不时更新」并建议定期查看。30 天提前通知写在 Meta 通用服务条款里(原文为「at least 30 days before we make changes to These Terms」),预览版开头声明通用条款一并适用。把「30 天通知」当成这份商业条款的内容,就归错了地方。

还有一处容易被忽略:现行有效、2024 年 3 月 6 日生效的商业条款里检索不到 automated software 与 create test credentials。这批抓取授权是预览版新增的,并非从旧版商业条款原样搬来。Meta 说这次是把散落在各处的语言合并,现行 Ad Creative Generative AI Terms 里确实有一段自动抓取,但那段写的是「for your use in connection with your ads」,Nieman Lab 把它概括为「只能用来优化你的广告」,范围比新条款窄得多。

各方说法

Nieman Lab 的 Andrew Deck 与 Hanaa’ Tameez 在 10 月 17 日的跟进报道里引了三位法律学者。Matt Topic(Loevy & Loevy)说「I think publishers should remain concerned」,理由是「business product」没有被定义,而且「I think ‘develop’ is broad enough to include ‘train’」。James Grimmelmann(康奈尔法学院)说这次修改「doesn’t address my concerns」,新的用途表述「still broad enough to drive a truck through」。Benjamin Sobel(威斯康星大学)说 robots.txt 的遵从「completely voluntary」,像在自家门口挂一块「别看我房子」的牌子,挂牌子不产生可执行的权利。

Meta 这边的口径分三层,按时间排。10 月 16 日,一位发言人对 Ars Technica 说「there is no change to how Meta uses web crawlers; any suggestion to the contrary is false」。改稿后的声明是:「We’ve heard you and want to clarify: the crawling terms we consolidated only applied to our ads and business products, and we’ve clarified that in the terms themselves」,补充的一句为「This is not about scraping news sites, and these updates don’t give us new rights that supersede those preferences」。Andy Stone 对 Search Engine Journal 否认了 Nieman Lab 的解读。截至 Nieman Lab 发稿,Meta 没有回答 test credentials 与付费墙的关系。

行业组织把话说得更重。News/Media Alliance 的 Danielle Coffey 称条款「outrageous and probably illegal」、「an appalling, bad-faith policy」,并说「It cannot be allowed to be implemented on October 30」。英国 News Media Association 的 Theo Bamber 称这是「shameless landgrab attempt」与「the worst kind of arrogant tech platform bullying」。European Publishers Council 的 Angela Mills Wade 说「burying such far-reaching claims in platform terms is no substitute for consent」,EPC 表示将致信欧盟委员会的 Teresa Ribera 与 Henna Virkkunen,并要求紧急审查条款在版权、合同公平与市场支配力上的影响。INMA 的报道提到,部分新闻机构一边等律师解读修订后的措辞,一边在评估是否停止在 Facebook 与 Instagram 发布内容。

这笔账有商业侧的估算,但没有具体金额。Nieman Lab 10 月 15 日的首篇报道引 Matt Topic 说,这批材料在授权市场上「would likely cost many millions of dollars」;Ars 的 Ashley Belanger 把这句转引过来,并把条款读成一条绕开这笔授权谈判的路径。两家都只给到「millions」这个量级,引用时不宜补数。

这条新闻的起点是一次读者爆料。Nieman Lab 的首篇报道说,The Steampunk Explorer 的创办人 Stephen Beale 在 Meta Business Suite 后台看到通知后联系了编辑部,三位法律学者随后逐字审读了条款。首篇报道发于 10 月 15 日,距最早那份存档十天多;Meta 的通知本身没有提到抓取。

爬虫的边界

Meta 的开发者文档列出五个常用 UA,各自与 robots.txt 的关系并不一样。

UA官方用途robots.txt
meta-externalagent/1.1训练基础 AI 模型,或直接索引内容改进产品文档给出 disallow 写法,未提绕过
meta-webindexer/1.1改进 Meta AI 搜索质量文档说允许它有助于内容被引用与链接
meta-externalads/1.1改进广告与其他商业产品文档给出 disallow 写法,未提绕过
meta-externalfetcher/1.1按用户请求抓取单个链接,支持智能体任务文档写明「may bypass robots.txt rules」
facebookexternalhit/1.1抓取被分享链接的标题、描述与缩略图文档写明做安全或完整性检查时「might bypass robots.txt」

这张表与条款是两套东西。条款给的是合同权利,robots.txt 是网站表达偏好;Meta 文档自己说屏蔽要按 UA 写 disallow,改动最多 24 小时生效。合同文本没有承诺尊重 robots.txt,公开口径里那句「不赋予覆盖偏好的新权利」只存在于发言人的声明,找不到对应的条款文字。Sobel 的解释更直接:偏好可以表达,没有法律强制力时照样会被忽略。

两套说法还有一处没有对齐的地方。文档把 meta-externalagent 的用途写成训练基础 AI 模型,而发言人说合并后的条款只适用于广告与商业产品。前者描述的是爬虫行为,后者描述的是合同授权,两句话可以同时为真,却没有回答一个具体问题:用 ExternalAgent 抓来的内容去训练模型,落在这份合同的哪一条授权里。

编辑判断

对运营着站点、同时用 Meta 商业账号投放或管理主页的团队,10 月 30 日是一个实际的分界点:继续使用即视为接受新条款,拒绝的唯一方式是停掉商业用途。值得先盘的是「associated with your products or services」到底覆盖哪些域名,因为条款把通过商品目录、Business Suite、测量服务等商业用途暴露的 URL 也算了进去,范围往往比负责人以为的大。

robots.txt 仍然要写,它对 ExternalAgent、WebIndexer 与 ExternalAds 有实际作用,24 小时缓存也要算进响应时间。把它当法律屏障会失手:条款没有提它,Meta 的承诺停在声明层面,Sobel 说遵从靠自愿。

「删掉 train 就等于不训练」这个结论,文本支撑不了。develop 还在,advertising and business products 没有排他定义,Meta 又拒绝回答 test credentials 能否用于付费墙。能确认的是用途范围从「所有 Meta 产品」缩到「广告与商业产品」,这是实质收窄;不能确认的是收窄之后的边界在哪里。Meta 说爬虫行为没变,这句话与它自己文档里 ExternalAgent 的用途描述放在一起读,仍然留下上面那个未答的问题。

同类动作最近出现过两次,处理方式各不相同。Reddit 关闭 RSS 与公共 API是把入口关掉,维基媒体指控 OpenAI 爬虫是把名字公开点出来;Meta 这次把授权写进一份必须接受的合同。三种做法指向同一个事实:站点对爬虫的控制力,取决于平台愿意让出多少,而不是 robots.txt 写了什么。

接下来看三件事:10 月 30 日条款是否原样生效;EPC 递交给欧盟委员会的投诉是否被受理;有没有出版机构真的停掉商业账号。前两件有明确的时间点,第三件只能等。