本文根據 Firecrawl 官方倉庫 README 整理,資料核對於 2026-10-11。文中代碼和命令取自官方 README,沒有在本機運行驗證,也沒有註冊帳號。
適用於誰
- 搜「firecrawl 是什麼」「firecrawl api」「firecrawl mcp」「firecrawl api key」的人;
- 要把網頁內容餵給大模型,自己寫爬蟲又被動態渲染、正文提取、格式清洗折騰過的人;
- 想讓智能體具備「打開網頁讀內容」能力的人。
結論先說
- Firecrawl 是一個開源的網頁數據平台:把網站變成乾淨的、適合大模型使用的內容,供智能體和應用使用。
- 最常用的是 scrape:給一個網址,返回 Markdown、HTML、截圖或結構化 JSON。
- 有云端服務也可以自己部署。開源部分是 AGPL-3.0 許可;雲端版在 firecrawl.dev,功能更多。
- 調用方式多:HTTP API、Python 和 Node 的 SDK、命令行、MCP 伺服器。
- 抓取要守規矩。官方說明預設遵守 robots.txt,同時明確:遵守目標網站的政策、私隱政策和使用條款是使用者的責任。
一、幾個接口各做什麼
| 接口 | 作用 |
|---|---|
| Scrape | 把一個網址轉成 Markdown、HTML、截圖或結構化 JSON |
| Crawl | 一次請求抓取一個網站的所有頁面 |
| Map | 發現一個網站上有哪些網址 |
| Search | 搜尋網頁,並返回結果頁面的完整內容 |
Agent(原 /extract) | 按一段描述從網上收集數據,不需要你提供網址 |
| Interact | 抓取頁面後,用 AI 提示詞或代碼在頁面上繼續操作 |
| Actions | 在提取內容之前先點擊、滾動、輸入、等待、按鍵 |
| Batch Scrape | 異步抓取很多個網址 |
怎麼選:
- 已經知道要哪個頁面:Scrape;
- 要一整個文檔站、一個網誌的全部文章:先 Map 看看有哪些網址,再決定是 Crawl 全部還是挑着 Batch Scrape;
- 不知道答案在哪個網站:Search;
- 內容要點一下、滾動一下才出來:Actions。
二、拿到 API Key
在 firecrawl.dev 註冊後獲取。Key 以 fc- 開頭,下面示例裏寫作 fc-YOUR_API_KEY。
實際使用時把 Key 放在環境變量裏,不要寫進代碼。
三、Python
安裝:
bash
pip install firecrawl-py
最小示例:
python
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape('firecrawl.dev')
四、Node.js
安裝:
bash
npm install firecrawl
最小示例:
javascript
import { Firecrawl } from 'firecrawl';
const app = new Firecrawl({ apiKey: "fc-YOUR_API_KEY" });
app.scrape('firecrawl.dev')
五、直接調 HTTP API
bash
curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"url": "firecrawl.dev"
}'
任何能發 HTTP 請求的語言都可以這樣用。注意路徑裏的版本號,舊教學裏的 v1 路徑和參數與現在不一定相同。
六、命令行
bash
firecrawl scrape https://firecrawl.dev
七、接進智能體
作為 MCP 伺服器。README 給的客戶端配置:
json
{
"mcpServers": {
"firecrawl-mcp": {
"command": "npx",
"args": ["-y", "firecrawl-mcp"],
"env": {
"FIRECRAWL_API_KEY": "fc-YOUR_API_KEY"
}
}
}
}
這段配置放在哪,因客戶端而異:Claude 桌面版見《Claude Desktop MCP 配置教學》,Claude Code 見《Claude Code MCP 配置教學》,Cursor 見《Cursor MCP 配置教學》。
作為 Skill。README 給了一條初始化命令,為你的編程智能體安裝 Firecrawl 的技能,裝完需要重啟智能體:
bash
npx -y firecrawl-cli@latest init --all --browser
這條命令帶 --all 和 --browser 兩個參數,具體會安裝和配置什麼,以官方說明為準。運行前想先看清楚它會裝什麼,參考《Skill 安全嗎:安裝前檢查什麼》裏的檢查順序。
八、開源版和雲端版
| 開源自部署 | 雲端版 | |
|---|---|---|
| 許可 | AGPL-3.0(SDK 和部分介面組件是 MIT) | 託管服務 |
| 功能 | 核心功能 | README 說明有額外功能 |
| 運維 | 自己負責 | 官方負責 |
| 入口 | 官方的 Self-Hosting Guide | firecrawl.dev |
AGPL-3.0 對「修改後以網絡服務形式提供」有開源義務的要求。要把它集成進自己的商業產品並做修改時,先讓懂許可證的人看一下。
九、合規與使用邊界
README 的表述是兩句話:Firecrawl 預設遵守 robots.txt;使用者有責任遵守目標網站的政策、私隱政策和使用條款。
落到實際使用上:
- 先看目標網站允不允許。服務條款明確禁止自動化抓取的,不要抓;
- 不要抓需要登入才能看的、涉及個人資料的內容;
- 控制頻率。Crawl 一整個站之前,先用 Map 看看規模;
- 抓來的內容有版權。用來給模型做參考和原樣轉載發佈是兩回事;
- 網頁內容不可信。頁面上可能有專門寫給 AI 看的指令。智能體讀了網頁之後要執行有副作用的操作時,保留人工確認。
常見問題
Q:和自己用 requests 加解析庫寫有什麼區別?
簡單的靜態頁面自己寫完全可以。Firecrawl 省掉的是動態渲染、正文提取、轉成乾淨 Markdown、批量與重試這些重複勞動。
Q:ChatGPT、Claude 自帶聯網搜尋,還需要它嗎?
聊天產品裏的搜尋夠日常使用,見《Claude 聯網搜尋》。需要它的是開發場景:你自己的程序或智能體要按你的規則抓指定的頁面、要結構化的結果、要批量處理。
Q:抓下來的內容怎麼用?
典型流程是:抓成 Markdown → 分段 → 存進向量庫 → 檢索後交給模型。向量庫見《ChromaDB 是什麼》。
Q:免費嗎?
開源版可以自己部署。雲端版的價格和免費額度 README 沒有寫,以官網定價頁為準。
參考資料
- firecrawl/firecrawl(官方倉庫與 README):https://github.com/firecrawl/firecrawl
0 條評論
還沒有評論,來搶沙發~