웹 크롤러를 개발할 때 가장 큰 골칫거리는 코드를 작성하는 것이 아니라 다양한 언어와 시나리오에 적합한 라이브러리나 도구를 찾는 것입니다. 리소스가 매우 분산되어 있기 때문입니다. 저는 다양한 웹 스크래핑과 데이터 처리 도구를 체계적으로 정리한 오픈소스 리소스 컬렉션인 Awesome Web Scraping을 우연히 발견했습니다. 이 책은 프로그래밍 언어별로 구성되어 있으며, Python, PHP, Ruby, JavaScript, Go 등 주요 언어를 위한 웹 스크래핑 라이브러리, 명령줄 도구 및 학습 자료를 다룹니다. GitHub: https://t.co/MP1R3oMRNH 도구 라이브러리 자체 외에도 웹 스크래핑 튜토리얼과 헤드리스 브라우저 목록과 같은 실용적인 리소스도 포함되어 있습니다. 이 프로젝트는 여러 유명 목록의 데이터를 기반으로 하며, 리소스가 비교적 포괄적이어서 나중에 참고할 수 있도록 저장할 가치가 있습니다.
