爬虫#MCP#网页爬取#结构化抽取

Firecrawl:自托管的网页抓取 API

Firecrawl 把抓取、爬站与站点地图收进一个 API,如今可用 Rust 单二进制在本机跑。2026-11-21 为 20.5 万星,AGPL-3.0。

项目资料

GitHub Ecosystem
仓库地址github.com/firecrawl/firecrawl
许可证
AGPL-3.0
主语言
TypeScript
星标
205,483
核查时间
2026-11-21

以上快照资料以核查当日为准,可能随版本或运营策略变化。

GitHub 为 firecrawl/firecrawl 生成的仓库卡片:左侧是仓库名与「面向智能体的知识基础设施」简介,右侧是火焰图标,底部列出贡献者、被引用项目、讨论、star 与 fork 计数

给智能体补网页上下文,麻烦的从来不是发一个请求,而是维护那条能跑 JavaScript、能翻页、还能把正文洗干净的处理链。Firecrawl 把这套流程收成一个 v2 API:/v2/scrape 抓单页,/v2/crawl 爬整站,/v2/map 列站点地图,/v2/search 直接返回带正文的搜索结果。仓库 firecrawl/firecrawl 建库于 2024-04-15,截至 2026-11-21 有 205,483 星、10,745 个分叉,主语言 TypeScript,主仓库许可是 AGPL-3.0;同一天它排在 GitHub Trending 日榜第 6 位,单日新增 1,241 星。

GitHub 为 firecrawl/firecrawl 生成的仓库卡片,列出仓库名、简介与 205k 星标

要点

  • 三种跑法,不是同一个东西:Firecrawl Local 是 Rust 单二进制,crates.io 上 firecrawl-local 的 0.1.0 发布于 2026-11-11、0.1.1 于 2026-11-19;完整自托管仍在 apps/api,走 Docker Compose;云端是 firecrawl.dev 的托管服务。
  • 数据源只在云端:Alexandria 的官方口径是 550+ 数据提供方,含 2.5 亿人物、7,500 万公司、4,100 万篇论文;这部分自托管版不包含。
  • 许可分两层:主仓库 AGPL-3.0,SDK 与部分 UI 组件是 MIT(npm firecrawl 4.54.0、PyPI firecrawl 4.57.0,2026-11-21 查)。
项目值(2026-11-21 核对)
星标 / 分叉205,483 / 10,745
许可AGPL-3.0;SDK 为 MIT
主要语言TypeScript(Local 用 Rust 写)
建库 / 最近推送2024-04-15 / 2026-11-21
未关闭 issue / PR128 / 762
最新 GitHub Releasev2.11.0(2026-06-19)
最新 tagv2.11.809(提交于 2026-11-20)

核心功能

Firecrawl 的功能可以按「本地能跑」和「只有云端能跑」切成两半,这条线也决定了自托管值不值。

  • 抓单页:scrape 输出 markdown、html、rawHtml、links 四种格式,PDF 与 Office 文档也在本地解析。云端的 scrape 另加 JSON 结构化抽取、摘要和浏览器动作,Local 会跳过这几种并给出提示;截图则要有本机装的 Chrome 才做。
  • 爬站与列图:crawl 支持 --limit(默认 100)、--max-depth、--include 与 --exclude 路径正则、--entire-domain;map 从 sitemap 和首页汇总网址,--search 按关键词过滤,做站内检索的候选池很省事。
  • 接口不另起一套:firecrawl-local serve 在 3002 端口应答 Firecrawl v2 API,SDK 只要把 api_url/apiUrl 指过来就能跑,本地路由不要密钥。
  • 一行接进编辑器:firecrawl-local init 会找 Claude Code、Claude Desktop、Cursor、Windsurf、Gemini CLI 和 Codex,改配置前先备份,加 --dry-run 能先看要写什么。
  • 搜索与数据源转云端:Local 没有搜索索引,/v2/search 和 Alexandria 的调用都转发给 Firecrawl Cloud;keyless 每月 1,000 credits,不用注册也能用,有频率限制。

三种运行方式

三种方式共用一个 API 面,差别在谁来承担浏览器、队列和索引。

方式跑在哪需要什么缺什么
Firecrawl Local本机一个二进制Rust 与 C 编译器;可选 Chrome、Node 22+(MCP)搜索、JSON 抽取、Interact、Agent;截图需本机 Chrome
云端firecrawl.devkeyless 可试;有 key 才有完整额度页面内容出本机
完整自托管自己的 DockerCompose v2、Playwright、Redis、RabbitMQ、PostgreSQL截图与页面动作要另配 Fire-engine;Alexandria 不含

官方自托管指南把完整自托管写得很直白:这是「可信网络内的快速验证」,不是生产架构。它 pin 在 v2.11.162,默认 USE_DB_AUTHENTICATION=false,也就是不带认证;文档同时列出它没有的东西——持久存储、TLS、高可用,以及没有验证过的最低主机规格。

自托管门槛

完整自托管不是一条 docker run。按仓库里的 SELF_HOST.md,Compose 会起 API 与 worker、Playwright、Redis、RabbitMQ、NuQ PostgreSQL,再加一个可选的 FoundationDB 队列后端,默认只有 API 的 3002 端口对外,数据库、缓存与消息队列的端口都留在内部网络。

这套栈能跑 scrape、crawl、map 和搜索路由,但有明确缺口:截图与页面动作需要 Fire-engine,默认栈里没有;Agent、Interact、Browser、feedback 以及音视频格式只在云端。官方文档还提醒,Compose 文件没有给 PostgreSQL、Redis、RabbitMQ 定义持久卷,换一次容器数据就没了;API 默认无认证,不能直接暴露到公网。

省事的选项是 Local。它没有数据库、队列和容器,代价写在 apps/local 的 Limits 一节:json 和 summary 两种格式被跳过,浏览器动作被忽略,crawl 与 batch 任务只存在内存里、serve 一停就结束,v0 与 v1 的旧路由也不提供。

典型使用场景

  • 给编码智能体补最新文档:在 Cursor 或 Claude Code 里让它读某个库的当前文档,init 之后 MCP 工具直接可用,抓取和清洗都在本机完成。
  • 把文档站做成 RAG 语料:crawl https://docs.example.com --limit 200 --out ./pages,一页一个 markdown 文件,省掉自己写正文抽取的那一层。
  • 页面内容不能外发的团队:金融、医疗这类不想把 URL 和正文交给第三方的场景,用 Local 并设 FIRECRAWL_CLOUD=off,抓不动就直接返回失败标记,而不是悄悄转给云端。
  • 要结构化字段:价格、职位、SKU 这类需要 JSON 的活,Local 做不了,得上云端或自托管后接一个 OpenAI 兼容端点。

快速上手

macOS 先装编译工具,再从 crates.io 装二进制:

xcode-select --install          # Debian / Ubuntu 用 build-essential

cargo install firecrawl-local
firecrawl-local scrape https://example.com --markdown
firecrawl-local map https://docs.firecrawl.dev --limit 20
firecrawl-local serve           # http://localhost:3002
firecrawl-local init --dry-run  # 先看会改哪些配置文件

不想装 Rust 的话,官方给的替代是 npx -y firecrawl-cli@latest scrape https://firecrawl.dev,那条走云端。装完 serve,用 curl POST 到 /v2/scrape 就能看到和云端同结构的 JSON;Python SDK 设 api_url="http://localhost:3002" 即可,本地路由不需要密钥。MCP 那一层是 npm 包,需要 Node.js 22 以上。

外部评测与质疑

2026-10-23,Tech Stackups 用 40 次搜索、40 次单页抓取和两个站的爬取对比了 Firecrawl、Exa、Tavily 与 DeepSeek,结论是分裂的。抓取侧它表现最好:40 个页面里 37 个拿到可用正文,PDF 全部通过,也是唯一把文档站爬顺的工具。搜索侧相反,问 Python 3.15.1 时它返回的还是 3.15.0 与 3.14 的页面,输给了 Exa。测试者还记了成本:一次 crawl 扣 25 credits,免费额度很快见底。

Hacker News 上的声音更直接。2026-03-30 一条「我用 2,700 行 Elixir 换掉了 Firecrawl」的帖子下,作者说自己每月付约 190 美元,能用,但「感觉是半成品」,CLI 别扭。2026-08-02 的 Show HN 里,一个单二进制 Rust 替代品的发布者把选择说成「要么付昂贵的 API,要么养一堆每页吃 1GB 内存、还会被 Cloudflare 拦的 headless Chrome」。

这些抱怨指向同一件事:Firecrawl 卖的是省掉浏览器集群与清洗逻辑的工程量,价格里含了这份工程。公司侧的算盘写在官方博客里:2026-09-22 宣布 7,500 万美元 B 轮,由 Smash Capital 领投,并说明这笔钱有一部分用于向数据提供方付费、扩充 Alexandria 的数据源。开源仓库与云端的分工,放在这个背景下更好理解。

Local 则是对「半成品」那条批评的回应——装一个二进制就有和云端同一套清洗代码。但它把搜索留在云端,等于承认索引这块本地补不上。

许可与合规

主仓库是 AGPL-3.0,SDK 与部分 UI 组件是 MIT。这个组合对使用的含义不一样:把 SDK 写进闭源产品,MIT 那层没问题;改主仓库代码再作为网络服务对外提供,AGPL 第 13 条要求向使用者提供对应源码。想把清洗逻辑嵌进商业产品,先看清改的是哪一层。

抓取边界写在两处。README 声明默认遵守 robots.txt,并提醒使用者自行遵守目标站点的隐私政策与服务条款;Local 的文档补了一句,它以 FirecrawlLocal 作为 User-Agent 抓取,爬站时读 robots.txt。框架给的是遵守的默认值,责任仍在调用方:批量抓取前看条款、控制并发与频率、别把登录后的私有内容当公开数据。

还有一个容易忽略的默认值:Local 抓不动的页面会转给 Firecrawl Cloud 代抓,结果里标 "source": "firecrawl-cloud"。对数据不能出境的团队,这个回退要么用 FIRECRAWL_CLOUD=off 关掉,要么在内部文档里写清楚。

小结

Firecrawl 适合已经在给智能体喂网页、又不想自己维护 Playwright 集群的团队,也适合只想把几个文档站转成 markdown 的个人开发者:cargo install 加一条 scrape,五分钟能看到结果。不适合两类需求:要搜索索引的,第三方测试里 Exa 更准;要完全离线、一个字节都不出网的,搜索仍然指着云端。

许可是 AGPL-3.0,SDK 为 MIT,主语言 TypeScript,2026-11-21 为 205,483 星。站内写过它的 MCP 封装 Firecrawl MCP,那篇讲工具怎么接进对话;这里补的是服务端怎么自己跑。同样做自托管采集,AnyCrawl 用 TypeScript 写、按页面类型切引擎,规模小得多;要的是不依赖 Chromium 的浏览器内核,可以看 Obscura。

留三个短板。发布节奏不稳:GitHub Release 停在 v2.11.0(2026-06-19),之后只有 tag 到 v2.11.809,想固定版本得自己挑 tag 或 commit。未关闭 issue 128 条、未合并 PR 762 条,外部贡献排队很长,评审能力更像是瓶颈。最后是定位:开源仓库更像云服务的入口,搜索、结构化抽取、截图、Agent 都留在云端,真正全本地的只有抓、爬、列地图三件事。