Obscura:不依赖 Chromium 的 Rust 无头浏览器
Obscura 是 Rust 无头浏览器,面向智能体与网页采集,内置 JavaScript,并支持 Puppeteer、Playwright 的 CDP 连接。
「网页爬取」标签聚合的各栏目已发布内容,按本站发布日期从新到旧排列。
15 条
Obscura 是 Rust 无头浏览器,面向智能体与网页采集,内置 JavaScript,并支持 Puppeteer、Playwright 的 CDP 连接。
Moli Browser 用 Rust 为 AI Agent 提供网页读取与自动化,默认访问 DOM,需要坐标或截图时才执行真实排版,并支持三种标准自动化协议。
Anthropic 向 IETF 提交草案:robots.txt 写一个令牌即声明不训练,微软 2027-02-01 起执行,尚无一家落地。
Discord 宣布 11 月 16 日起 63,000+ 个可发现服务器各建公开网页,12 月中旬起部分消息进搜索引擎结果;普通用户默认开启,需手动退出。
freehire 从公司招聘系统直接抓取在招岗位并逐条去重,链回原始招聘页;MIT 开源,可用网站、扩展、API,也能自己部署一套。
Blackwall 10 月 20 日完成 1 亿美元 C 轮,估值 22 亿美元。它把机器人与 AI Agent 流量过滤卖给托管商,站长要看托管商是否接入。
DeepSeek 开放自研搜索与抓取 API:英文页每千次成功请求 0.75 美元、中文页 5 元,失败不计费;工具调用 11 月 1 日起收费。
Meta 在 10 月 30 日生效前删掉商业条款中「训练」一句,用途收窄到广告与商业产品;抓取授权与 test credentials 原样保留。
catbus 是纯 Node.js 命令行工具,用统一指令与规范 JSON 操作小红书、抖音、B 站等 10 大平台,为开发者和 AI 提供多平台抓取能力。
Firecrawl 官方 MCP。智能体能把网页转成 Markdown 或按 JSON 结构抽取,能爬整站、列出站点地图,还能先点击再读取,可接云端或自建实例。
用 Zig 从零写的无头浏览器,自带 MCP 服务。智能体批量抓页面、读 Markdown、点按钮时不用拉起 Chromium,内存和耗时都低得多。
MCP 官方仓库里的 Fetch 服务。只有一个 fetch 工具,把网页转成 Markdown 并分段读取,免费、免密钥,是联网读网页的最小方案。
自托管的网页调研 MCP。不需要付费搜索密钥,在本机抓取页面并用 BM25 加向量重排,只返回带来源网址的原文段落,省下读整页的 token。
Reddit 宣布 RSS 输出 11 月 13 日停止、公共 API 2027 年 3 月终止,Old Reddit 仅限登录用户,理由是大规模抓取与滥用。
用 TypeScript 编写、可自托管的网页抓取工具包,以三种引擎覆盖静态页到 JS 渲染页,支持搜索结果批量采集、全站遍历与 LLM 结构化抽取,输出对大模型友好的数据。