Cloudflare permet désormais aux propriétaires de sites de contrôler séparément les robots d’indexation pour la recherche, ceux qui collectent des données pour l’entraînement et les agents d’IA. Son déploiement du 15 septembre propose deux configurations initiales aux nouveaux domaines. Un site financé par la publicité se voit proposer Search : Allow, Training : Disallow AI Training et Agent : Block on pages with ads. Un site qui ne tire pas de revenus publicitaires se voit proposer Allow pour les trois catégories. Les propriétaires peuvent modifier ces recommandations pendant la configuration initiale ou par la suite.

Les domaines Cloudflare existants suivent leurs choix antérieurs. Un site qui avait laissé l’ancien interrupteur « Block AI Bots » désactivé passe à Allow pour Search, Training et Agent. Celui qui avait sélectionné l’une des deux anciennes options de blocage passe à Search : Allow, Training : Disallow AI Training et Agent : Block on pages with ads. Les domaines qui avaient déjà configuré les trois contrôles conservent l’effet pratique de ces choix, conformément au tableau de migration de Cloudflare. Les contrôles sont disponibles avec toutes les offres, y compris Free ; l’accès à une offre ne permet pas de savoir quelle politique est actuellement appliquée au domaine.

Ce que couvrent les trois catégories

Le journal des modifications de juillet de Cloudflare définit Search comme l’exploration qui indexe du contenu afin de répondre à des requêtes ultérieures. Agent couvre les activités effectuées en temps réel pour le compte d’une personne, notamment les robots qui récupèrent du contenu pour les chats et les agents utilisant un navigateur. Training couvre la collecte destinée à l’entraînement ou à l’affinage de modèles. Un robot peut avoir plusieurs finalités. Cloudflare indique que chaque option de blocage couvre les robots vérifiés de sa classification ainsi que d’autres robots non vérifiés classés de la même façon. Ce contrôle repose sur une classification ; il ne garantit pas de détecter chaque navigateur automatisé ou requête non identifiée.

Pour un domaine utilisant la recommandation destinée aux sites financés par la publicité, « Block on pages with ads » s’applique à la catégorie Agent sur les pages où Cloudflare détecte des publicités. Il ne s’agit pas d’une interdiction des agents sur tout le site. Avec ce préréglage, Search reste autorisé. Le réglage Training est différent : l’option de septembre Disallow AI Training publie une préférence interdisant l’entraînement via Bot Preference Sync et bloque les robots d’entraînement, à l’exception des robots à usages multiples que Cloudflare appelle Accountable. Ces robots Accountable peuvent continuer à explorer le contenu pour la recherche tout en respectant la préférence relative à l’entraînement. Cloudflare indique que le réglage traite séparément les robots exclusivement destinés à l’entraînement : les bloquer ne nécessite donc pas de désactiver la recherche.

Ce dispositif de septembre précise la documentation de juillet, qui décrit encore une future valeur par défaut bloquant à la fois Training et Agent sur les pages avec publicités. L’annonce de lancement ultérieure et les tableaux détaillés de migration et de recommandation publiés par Cloudflare en septembre prévoient Disallow AI Training pour un nouveau domaine financé par la publicité, le blocage sur les pages publicitaires s’appliquant à Agent. L’ancienne description ne doit pas être interprétée comme une politique universelle pour les clients existants.

« Disallow » et « Block » ont aussi des effets différents sur un robot utilisé à la fois pour la recherche et pour l’entraînement. Cloudflare indique que les robots à usages multiples représentent 36.6% du trafic des robots d’exploration vérifiés sur son réseau, sans fournir ici de chiffre comparable pour les sites individuels. Un blocage complet de Training inclut désormais des robots à usages multiples comme Googlebot, Bingbot et Applebot, ce qui peut aussi supprimer leur accès pour la recherche. Disallow AI Training vise à conserver cet accès pour les robots à usages multiples Accountable tout en exprimant la restriction sur l’entraînement. Cloudflare signale une limite actuelle : Microsoft n’a pas encore livré la prise en charge d’une préférence interdisant l’entraînement dans robots.txt pour Bingbot ; sélectionner Disallow AI Training ne transmet donc pas automatiquement cette préférence à Bing à l’heure actuelle.

Ce qu’un propriétaire de site peut vérifier

Dans le tableau de bord Cloudflare, ouvrez les paramètres du domaine : Security Settings → Configure AI bot policies, puis examinez les sélections actuelles de Search, Training et Agent. La documentation de configuration de Cloudflare décrit Allow, Block et Block on pages with ads ; son explication de septembre présente le choix supplémentaire Disallow AI Training et la migration des anciens réglages. Si le site dépend des impressions publicitaires, vérifiez que le domaine utilise le préréglage destiné aux sites financés par la publicité et qu’Agent est limité aux pages où des publicités sont détectées. Si le maintien de l’accès pour la recherche classique compte, vérifiez le choix Training avant de sélectionner Block pour les robots à usages multiples.

Il s’agit des contrôles et des règles de déploiement documentés par Cloudflare. BIG CHANGE n’a pas modifié de compte Cloudflare ni mesuré le trafic des bots sur un site en production.

Le grand changement

Cloudflare a séparé trois usages de l’accès automatisé en politiques à l’échelle du domaine. Pour les nouveaux domaines financés par la publicité, sa recommandation de septembre maintient la recherche ouverte, exprime une préférence interdisant l’entraînement et bloque les agents classifiés sur les pages où des publicités sont détectées. Les propriétaires de domaines existants doivent lire leurs propres réglages migrés avant de tirer des conclusions sur l’accès.

Sources et lectures complémentaires