クラウドフレアは、検索インデックスを作成し、クローラを充電するためのサイトの AI スクラップを停止させるために、ロボット.txtをアップデートします。 Cloudflare updates robots.txt to let sites block AI scraping while allowing search indexing and charging for crawls.

クラウドフレアは、新しいAIコントロール付きのロボット .txtプロトコルを更新し、検索インデックス作成を許可しながら、AIのストリッピングの練習をブロックできるようにしました。 Cloudflare has updated the robots.txt protocol with new AI controls, allowing website owners to block AI scraping for training while still permitting search indexing and enabling pay-per-crawl fees. コンテンツ・シグナル・ポリシーは"noai"や"monetize"といった命令を導入し,その内容の利用方法について出版社にさらに統制を図ることを目的としている. The Content Signals Policy introduces directives like “noai” and monetization options, aiming to give publishers more control over how their content is used. ツールがCloudflareの顧客に無料で提供され,強化された監視機能が付属していますが,多くのAIボットがrobots.txtを無視しているため,自発的な遵守に対する懐疑は残っています. While the tools are free for Cloudflare customers and include enhanced monitoring, skepticism remains over voluntary compliance, as many AI bots ignore robots.txt. 批評家らは,執行可能な法的基準の必要性を強調し,自己再生のみが創造者を無償のデータ利用から保護しないと警告している. Critics stress the need for enforceable legal standards, warning that self-regulation alone won’t protect creators from unauthorized data use.