Yahoo!をはじめとする企業は共同で#RSLアライアンスを結成し、AI企業がウェブサイトのコンテンツをクロールする際に料金を支払えるようにするRSLバージョン1.0をリリースしました。RSLはrobots.txtファイルを拡張し、クロールの料金を請求するために使用されます。RSLはクローラーを直接ブロックすることはできませんが、Cloudflare、Fastly、Akamaiはいずれもこの標準をサポートしており、これらのサービスを利用するウェブサイトは無給のクローラーをブロックできます。
全文はこちourl.co/111318ud