Cloudflare collega robots.txt alle preferenze sui bot AI
· By Antonio Sedino, CTRO · Published by Reinventy Solutions Corp.
Bot Preference Sync allinea il file alle politiche per i bot di ricerca, gli agenti e l’addestramento.
Cloudflare descrive Bot Preference Sync come un modo per allineare automaticamente robots.txt alle politiche di un’organizzazione sui bot AI. La funzione comprende le preferenze Search, Agent e Training e riduce la necessità di mantenere manualmente file statici. L’annuncio riguarda la configurazione delle politiche; non dimostra che tutti i bot di terzi le rispetteranno.