主要用途

Firecrawl 是面向 AI 应用的网页数据 API。其 Crawl 功能从一个起始网址出发,通过站点地图和页面链接发现子页面,渲染 JavaScript 内容,并将结果返回为 Markdown 或结构化 JSON。它也提供路径、深度、页面数量、子域名等范围控制,适合把网站内容整理成模型可以继续处理的数据。

适用场景

一是构建知识库或 RAG 数据源。开发者可以抓取文档站、帮助中心等网站,将多页内容统一转换为 Markdown,再交给检索或问答系统使用。

二是整站内容处理。官方将完整站点分类、内容迁移和客户网站导入列为 Crawl 的典型用途;可通过 includePaths、excludePaths、maxDiscoveryDepth 和 limit 控制抓取范围,避免无边界扩展。

三是持续监测网页变化。Firecrawl Monitor 可按计划重新抓取目标,并将页面标记为新增、变化、移除或未变化,通过 Webhook、邮件或 Slack 提醒。该能力适合监测产品页、公告、文档和监管信息。

开始使用

访问官网注册账号后,可从 Crawl 产品页进入在线体验或官方文档。使用时提交一个起始 URL;如只需要网站的一部分,可设置包含或排除路径、最大发现深度及页面上限。Crawl 默认输出 Markdown,也可通过抓取选项请求结构化 JSON、HTML、链接、截图和元数据。长任务可通过轮询、Webhook 或 WebSocket 接收逐页结果。

官网提供无需信用卡的免费额度,每月包含 1,000 credits。基础 Crawl 通常按每个成功处理的页面消耗 1 credit,具体消耗还会随输出格式和功能变化。

已知限制

Crawl 默认遵循网站的 robots.txt,被阻止的 URL 不会正常抓取。单次任务默认页面上限为 10,000,建议按实际需求设置更低的 limit。官方页面说明,抓取任务完成后的 API 结果保留 24 小时;超过 10MB 的响应会分页返回。结构化 JSON 会额外消耗 credits,免费方案也有并发数和请求速率限制,因此大规模任务应先核算页面数量、格式和额度。

参考来源