Cloudflare relie robots.txt aux préférences relatives aux bots d’IA
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Bot Preference Sync aligne le fichier sur les politiques de recherche, d’agents et d’entraînement.
Cloudflare décrit Bot Preference Sync comme un moyen d’aligner automatiquement robots.txt sur les politiques d’une organisation relatives aux bots d’IA. La fonction couvre les préférences Search, Agent et Training et réduit la nécessité de maintenir manuellement des fichiers statiques. L’annonce concerne la configuration des politiques et ne garantit pas que tous les bots tiers les respecteront.