meng shao(@shao__meng)의 스레드

[오픈소스 추천] Firecrawl: 웹 페이지 또는 전체 웹사이트를 LLM 친화적이고 깔끔한 Markdown, 구조화된 JSON 또는 기타 형식으로 변환합니다. @firecrawl 팀에서 AI 애플리케이션에 특화하여 설계했습니다. 주요 기능: 스크래핑: 단일 페이지 스크래핑, 마크다운, HTML, 스크린샷 및 구조화된 데이터 추출을 지원합니다. 크롤링: 웹사이트의 모든 하위 페이지를 자동으로 크롤링하여 정제된 데이터를 반환합니다. • 추출: 프롬프트 단어 또는 스키마를 사용하여 구조화된 데이터를 추출합니다. 다른 기능으로는 웹사이트 매핑, 웹페이지 검색, 일괄 처리, 변경 사항 모니터링 및 PDF/문서 구문 분석이 있습니다. • Python/JS SDK를 지원하며 LangChain 및 LlamaIndex와 같은 프레임워크를 통합합니다. • 오픈 소스(AGPL-3.0), 자체 호스팅 가능; 공식 클라우드 서비스를 통해 API 키를 발급받는 것을 권장합니다. v2.7.0 최신 업데이트 (2025년 12월 5일 출시) 이번 유지보수 릴리스는 안정성, 성능 및 엔터프라이즈 기능 개선에 중점을 두었습니다. 주요 특징은 다음과 같습니다. 새로운 기능: 브랜드 추출 기능 개선(더욱 정확한 로고/색상 추출), 실험적인 NOQ 크롤링 시스템, minAge 캐싱 매개변수, UUIDv7 ID, ZDR 엔터프라이즈 검색 지원. • 최적화: 더 빠른 스크린샷, 향상된 리디렉션/URL 매핑, 부분 결과 반환, 더욱 풍부한 메타데이터 및 SDK 개선. • 자체 호스팅: 사용자 지정 동시 실행 및 PostgreSQL 구성을 지원합니다. • 일괄 페이지 매김, PDF 처리 및 잘못된 경계 조건 등 여러 버그를 수정했습니다. 오픈 소스 주소