[開源推薦] Firecrawl: 把網頁或整個網站轉換為LLM 友好的乾淨Markdown、結構化JSON 或其他格式,專為AI 應用設計,來自@firecrawl 團隊 主要功能· Scrape:單一頁面抓取,支援Markdown、HTML、截圖、結構化擷取。 · Crawl:自動爬取網站所有子頁面,返回乾淨資料。 · Extract:使用提示字或schema 擷取結構化資料。 · 其他:網站映射、網頁搜尋、批次處理、變更監控、PDF/文件解析。 · 支援Python/JS SDK,整合LangChain、LlamaIndex 等框架。 · 開源(AGPL-3.0),可自架;建議使用官方雲端服務取得API Key。 v2.7.0 最新更新(2025 年12 月5 日發布) 一個維護性版本,聚焦穩定性、性能和企業功能提升。主要亮點: · 新功能:改進品牌提取(logo/顏色更準)、實驗性NOQ 抓取系統、minAge 快取參數、UUIDv7 ID、ZDR 企業搜尋支援。 · 最佳化:更快截圖、更好重定向/URL 映射、部分結果回傳、豐富元資料、SDK 改進。 · 自架:支援自訂並行、PostgreSQL 配置。 · 修正:批次分頁、PDF 處理、錯誤邊界等多個Bug。 開源位址
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
![[開源推薦] Firecrawl: 把網頁或整個網站轉換為LLM 友好的乾淨Markdown、結構化JSON 或其他格式,專為AI 應用設計,來自@firecrawl 團隊
主要功能· Scrape:單一頁面抓取,支援Markdown、H](https://pbs.twimg.com/media/G8iOtYabIAA_fBG.jpg)