Yahoo를 비롯한 여러 기업들이 공동으로 #RSL 연합을 결성하고 RSL 버전 1.0을 출시했습니다. RSL은 AI 기업들이 웹사이트 콘텐츠 크롤링에 대한 비용을 지불할 수 있도록 하는 것을 목표로 합니다. RSL은 robots.txt 파일을 확장하여 이러한 권한 주장을 가능하게 합니다. RSL 자체적으로 크롤러를 차단할 수는 없지만, Cloudflare, Fastly, Akamai 등이 이 표준을 지원하여 해당 서비스를 이용하는 웹사이트들이 비용을 지불하지 않는 크롤러를 차단할 수 있도록 하고 있습니다.
전체 기사ourl.co/111318VBCud
