fr.wedoany.com Rapport : Cloudflare lance de nouveaux contrôles de gestion du trafic pour les robots d'IA, permettant aux propriétaires de sites web de définir des stratégies d'accès pour les programmes automatisés en fonction de trois catégories de fonctions : recherche, agence et formation. Cette fonctionnalité est désormais disponible pour tous les clients de Cloudflare, y compris les utilisateurs du forfait gratuit.
Les propriétaires de contenu souhaitent protéger leurs créations et en obtenir une rémunération équitable. Jin-He Lee, chef de produit chez Cloudflare, et Bryan Becker, directeur des produits, indiquent que bloquer complètement le contenu n'est pas une solution universelle et que les propriétaires de sites web ont besoin d'options plus flexibles, plutôt qu'un simple « bloquer tous les programmes automatisés à tout moment ».
L'entreprise a élargi le contrôle des robots au-delà du simple mode autorisation ou blocage. Au lieu de simplement classer les robots comme IA ou non-IA, ils sont désormais divisés en trois catégories en fonction de leur fonction : recherche, agence et formation. Les propriétaires de sites web peuvent appliquer différentes stratégies à chaque catégorie.
Le cadre mis à jour prend en compte la manière dont les robots utilisent le contenu après l'avoir extrait et encourage les fournisseurs à utiliser des robots distincts pour différentes fonctions, afin d'améliorer la transparence et la capacité de contrôle d'accès.
À partir du 15 septembre 2026, les paramètres par défaut des nouveaux noms de domaine seront modifiés. Sur les pages affichant des publicités, les robots de formation et d'agence seront bloqués par défaut, tandis que les robots de recherche resteront autorisés par défaut.
Les robots polyvalents qui exécutent à la fois des fonctions de recherche et de formation seront évalués en fonction des deux stratégies. Si un site web bloque les robots de formation, les robots polyvalents (tels que Googlebot, Applebot et BingBot) seront également bloqués, même si les robots de recherche sont autorisés. Ce changement entrera en vigueur le 15 septembre 2026. Les propriétaires de sites web qui ne souhaitent pas adopter les nouveaux paramètres par défaut peuvent se désinscrire avant le 15 septembre via les paramètres de sécurité, en conservant le comportement actuel des robots de formation exécutant des fonctions de recherche. Cloudflare indique qu'elle informera les clients avant le changement afin qu'ils aient le temps d'examiner et de mettre à jour leurs paramètres.
Cloudflare a également lancé BotBase, une base de données consultable de robots connus, comprenant des robots vérifiés et des agents d'IA. Cette base de données offre aux clients gérant les robots une vue centralisée basée sur la nouvelle taxonomie de Cloudflare, présentant la classification et le comportement des robots vérifiés. Les administrateurs peuvent utiliser BotBase pour parcourir le catalogue des robots vérifiés, rechercher des robots spécifiques, consulter les classifications, filtrer le trafic par robot individuel et copier l'ID de détection pour l'utiliser dans les règles de sécurité. L'entreprise prévoit d'ajouter davantage de fonctionnalités de contrôle plus tard dans l'année, afin de faciliter la gestion du trafic automatisé à partir d'une même interface pour les clients.
En matière de contrôle de l'utilisation du contenu, Cloudflare a ajouté trois niveaux permettant aux clients gérant les robots de définir la manière dont les robots utilisent le contenu après l'avoir extrait : immédiat (pas de stockage ni de réutilisation), référence (indexation, résumé et lien retour) et complet (résumé ou reproduction). L'entreprise étend le format Content Signals dans robots.txt, en ajoutant un nouveau paramètre « use » pour exprimer ces préférences. Bien que robots.txt n'impose pas ce paramètre, Cloudflare signalera via BotBase si les robots vérifiés respectent les préférences déclarées. Les robots vérifiés qui ignorent ces préférences ou reproduisent intégralement le contenu risquent de perdre leur statut vérifié. Auparavant, tous les robots vérifiés étaient autorisés par défaut. Dans le nouveau modèle, la vérification confirme uniquement l'identité du robot, et les droits d'accès dépendent de sa classification et de la stratégie du propriétaire du site, y compris l'autorisation ou non des robots de recherche, d'agence ou de formation. Cloudflare prévoit également de rendre le processus de vérification plus transparent et développe des outils pour aider les opérateurs de robots à gérer leur classification et leur statut vérifié.
Pour les agents d'IA et les robots fonctionnant via des plateformes tierces, Cloudflare propose un modèle de confiance transférable. L'entreprise prévoit d'utiliser l'en-tête standard HTTP Forwarded pour identifier le demandeur d'origine derrière un intermédiaire. Cet en-tête peut également contenir l'utilisation du contenu déclarée par l'opérateur, par exemple « use=reference ». Cela permettra aux propriétaires de sites web d'appliquer des politiques de confiance et d'accès basées sur l'opérateur de robot d'origine, plutôt que sur l'intermédiaire traitant la demande. L'entreprise reconnaît que cette méthode peut ne pas convenir à tous les cas d'utilisation, notamment lorsque la confidentialité ou l'accès anonyme est important.
