Firecrawl:自托管的网页抓取 API
Firecrawl 把抓取、爬站与站点地图收进一个 API,如今可用 Rust 单二进制在本机跑。2026-11-21 为 20.5 万星,AGPL-3.0。
项目资料
GitHub Ecosystem- 许可证
- AGPL-3.0
- 主语言
- TypeScript
- 星标
- 205,483
- 核查时间
- 2026-11-21
以上快照资料以核查当日为准,可能随版本或运营策略变化。

给智能体补网页上下文,麻烦的从来不是发一个请求,而是维护那条能跑 JavaScript、能翻页、还能把正文洗干净的处理链。Firecrawl 把这套流程收成一个 v2 API:/v2/scrape 抓单页,/v2/crawl 爬整站,/v2/map 列站点地图,/v2/search 直接返回带正文的搜索结果。仓库 firecrawl/firecrawl 建库于 2024-04-15,截至 2026-11-21 有 205,483 星、10,745 个分叉,主语言 TypeScript,主仓库许可是 AGPL-3.0;同一天它排在 GitHub Trending 日榜第 6 位,单日新增 1,241 星。

要点
- 三种跑法,不是同一个东西:Firecrawl Local 是 Rust 单二进制,crates.io 上
firecrawl-local的 0.1.0 发布于 2026-11-11、0.1.1 于 2026-11-19;完整自托管仍在apps/api,走 Docker Compose;云端是 firecrawl.dev 的托管服务。 - 数据源只在云端:Alexandria 的官方口径是 550+ 数据提供方,含 2.5 亿人物、7,500 万公司、4,100 万篇论文;这部分自托管版不包含。
- 许可分两层:主仓库 AGPL-3.0,SDK 与部分 UI 组件是 MIT(npm
firecrawl4.54.0、PyPIfirecrawl4.57.0,2026-11-21 查)。
| 项目 | 值(2026-11-21 核对) |
|---|---|
| 星标 / 分叉 | 205,483 / 10,745 |
| 许可 | AGPL-3.0;SDK 为 MIT |
| 主要语言 | TypeScript(Local 用 Rust 写) |
| 建库 / 最近推送 | 2024-04-15 / 2026-11-21 |
| 未关闭 issue / PR | 128 / 762 |
| 最新 GitHub Release | v2.11.0(2026-06-19) |
| 最新 tag | v2.11.809(提交于 2026-11-20) |
核心功能
Firecrawl 的功能可以按「本地能跑」和「只有云端能跑」切成两半,这条线也决定了自托管值不值。
- 抓单页:
scrape输出markdown、html、rawHtml、links四种格式,PDF 与 Office 文档也在本地解析。云端的 scrape 另加 JSON 结构化抽取、摘要和浏览器动作,Local 会跳过这几种并给出提示;截图则要有本机装的 Chrome 才做。 - 爬站与列图:
crawl支持--limit(默认 100)、--max-depth、--include与--exclude路径正则、--entire-domain;map从 sitemap 和首页汇总网址,--search按关键词过滤,做站内检索的候选池很省事。 - 接口不另起一套:
firecrawl-local serve在 3002 端口应答 Firecrawl v2 API,SDK 只要把api_url/apiUrl指过来就能跑,本地路由不要密钥。 - 一行接进编辑器:
firecrawl-local init会找 Claude Code、Claude Desktop、Cursor、Windsurf、Gemini CLI 和 Codex,改配置前先备份,加--dry-run能先看要写什么。 - 搜索与数据源转云端:Local 没有搜索索引,
/v2/search和 Alexandria 的调用都转发给 Firecrawl Cloud;keyless 每月 1,000 credits,不用注册也能用,有频率限制。
三种运行方式
三种方式共用一个 API 面,差别在谁来承担浏览器、队列和索引。
| 方式 | 跑在哪 | 需要什么 | 缺什么 |
|---|---|---|---|
| Firecrawl Local | 本机一个二进制 | Rust 与 C 编译器;可选 Chrome、Node 22+(MCP) | 搜索、JSON 抽取、Interact、Agent;截图需本机 Chrome |
| 云端 | firecrawl.dev | keyless 可试;有 key 才有完整额度 | 页面内容出本机 |
| 完整自托管 | 自己的 Docker | Compose v2、Playwright、Redis、RabbitMQ、PostgreSQL | 截图与页面动作要另配 Fire-engine;Alexandria 不含 |
官方自托管指南把完整自托管写得很直白:这是「可信网络内的快速验证」,不是生产架构。它 pin 在 v2.11.162,默认 USE_DB_AUTHENTICATION=false,也就是不带认证;文档同时列出它没有的东西——持久存储、TLS、高可用,以及没有验证过的最低主机规格。
自托管门槛
完整自托管不是一条 docker run。按仓库里的 SELF_HOST.md,Compose 会起 API 与 worker、Playwright、Redis、RabbitMQ、NuQ PostgreSQL,再加一个可选的 FoundationDB 队列后端,默认只有 API 的 3002 端口对外,数据库、缓存与消息队列的端口都留在内部网络。
这套栈能跑 scrape、crawl、map 和搜索路由,但有明确缺口:截图与页面动作需要 Fire-engine,默认栈里没有;Agent、Interact、Browser、feedback 以及音视频格式只在云端。官方文档还提醒,Compose 文件没有给 PostgreSQL、Redis、RabbitMQ 定义持久卷,换一次容器数据就没了;API 默认无认证,不能直接暴露到公网。
省事的选项是 Local。它没有数据库、队列和容器,代价写在 apps/local 的 Limits 一节:json 和 summary 两种格式被跳过,浏览器动作被忽略,crawl 与 batch 任务只存在内存里、serve 一停就结束,v0 与 v1 的旧路由也不提供。
典型使用场景
- 给编码智能体补最新文档:在 Cursor 或 Claude Code 里让它读某个库的当前文档,
init之后 MCP 工具直接可用,抓取和清洗都在本机完成。 - 把文档站做成 RAG 语料:
crawl https://docs.example.com --limit 200 --out ./pages,一页一个 markdown 文件,省掉自己写正文抽取的那一层。 - 页面内容不能外发的团队:金融、医疗这类不想把 URL 和正文交给第三方的场景,用 Local 并设
FIRECRAWL_CLOUD=off,抓不动就直接返回失败标记,而不是悄悄转给云端。 - 要结构化字段:价格、职位、SKU 这类需要 JSON 的活,Local 做不了,得上云端或自托管后接一个 OpenAI 兼容端点。
快速上手
macOS 先装编译工具,再从 crates.io 装二进制:
xcode-select --install # Debian / Ubuntu 用 build-essential
cargo install firecrawl-local
firecrawl-local scrape https://example.com --markdown
firecrawl-local map https://docs.firecrawl.dev --limit 20
firecrawl-local serve # http://localhost:3002
firecrawl-local init --dry-run # 先看会改哪些配置文件
不想装 Rust 的话,官方给的替代是 npx -y firecrawl-cli@latest scrape https://firecrawl.dev,那条走云端。装完 serve,用 curl POST 到 /v2/scrape 就能看到和云端同结构的 JSON;Python SDK 设 api_url="http://localhost:3002" 即可,本地路由不需要密钥。MCP 那一层是 npm 包,需要 Node.js 22 以上。
外部评测与质疑
2026-10-23,Tech Stackups 用 40 次搜索、40 次单页抓取和两个站的爬取对比了 Firecrawl、Exa、Tavily 与 DeepSeek,结论是分裂的。抓取侧它表现最好:40 个页面里 37 个拿到可用正文,PDF 全部通过,也是唯一把文档站爬顺的工具。搜索侧相反,问 Python 3.15.1 时它返回的还是 3.15.0 与 3.14 的页面,输给了 Exa。测试者还记了成本:一次 crawl 扣 25 credits,免费额度很快见底。
Hacker News 上的声音更直接。2026-03-30 一条「我用 2,700 行 Elixir 换掉了 Firecrawl」的帖子下,作者说自己每月付约 190 美元,能用,但「感觉是半成品」,CLI 别扭。2026-08-02 的 Show HN 里,一个单二进制 Rust 替代品的发布者把选择说成「要么付昂贵的 API,要么养一堆每页吃 1GB 内存、还会被 Cloudflare 拦的 headless Chrome」。
这些抱怨指向同一件事:Firecrawl 卖的是省掉浏览器集群与清洗逻辑的工程量,价格里含了这份工程。公司侧的算盘写在官方博客里:2026-09-22 宣布 7,500 万美元 B 轮,由 Smash Capital 领投,并说明这笔钱有一部分用于向数据提供方付费、扩充 Alexandria 的数据源。开源仓库与云端的分工,放在这个背景下更好理解。
Local 则是对「半成品」那条批评的回应——装一个二进制就有和云端同一套清洗代码。但它把搜索留在云端,等于承认索引这块本地补不上。
许可与合规
主仓库是 AGPL-3.0,SDK 与部分 UI 组件是 MIT。这个组合对使用的含义不一样:把 SDK 写进闭源产品,MIT 那层没问题;改主仓库代码再作为网络服务对外提供,AGPL 第 13 条要求向使用者提供对应源码。想把清洗逻辑嵌进商业产品,先看清改的是哪一层。
抓取边界写在两处。README 声明默认遵守 robots.txt,并提醒使用者自行遵守目标站点的隐私政策与服务条款;Local 的文档补了一句,它以 FirecrawlLocal 作为 User-Agent 抓取,爬站时读 robots.txt。框架给的是遵守的默认值,责任仍在调用方:批量抓取前看条款、控制并发与频率、别把登录后的私有内容当公开数据。
还有一个容易忽略的默认值:Local 抓不动的页面会转给 Firecrawl Cloud 代抓,结果里标 "source": "firecrawl-cloud"。对数据不能出境的团队,这个回退要么用 FIRECRAWL_CLOUD=off 关掉,要么在内部文档里写清楚。
小结
Firecrawl 适合已经在给智能体喂网页、又不想自己维护 Playwright 集群的团队,也适合只想把几个文档站转成 markdown 的个人开发者:cargo install 加一条 scrape,五分钟能看到结果。不适合两类需求:要搜索索引的,第三方测试里 Exa 更准;要完全离线、一个字节都不出网的,搜索仍然指着云端。
许可是 AGPL-3.0,SDK 为 MIT,主语言 TypeScript,2026-11-21 为 205,483 星。站内写过它的 MCP 封装 Firecrawl MCP,那篇讲工具怎么接进对话;这里补的是服务端怎么自己跑。同样做自托管采集,AnyCrawl 用 TypeScript 写、按页面类型切引擎,规模小得多;要的是不依赖 Chromium 的浏览器内核,可以看 Obscura。
留三个短板。发布节奏不稳:GitHub Release 停在 v2.11.0(2026-06-19),之后只有 tag 到 v2.11.809,想固定版本得自己挑 tag 或 commit。未关闭 issue 128 条、未合并 PR 762 条,外部贡献排队很长,评审能力更像是瓶颈。最后是定位:开源仓库更像云服务的入口,搜索、结构化抽取、截图、Agent 都留在云端,真正全本地的只有抓、爬、列地图三件事。