fr.wedoany.com Rapport : Le 8 juillet, l’entreprise américaine de services cloud et d’infrastructures réseau Cloudflare et la société américaine d’intelligence artificielle OpenAI ont lancé un projet de recherche pilote visant à explorer comment les données d’insight provenant des sites participants sur le réseau mondial de Cloudflare peuvent aider les moteurs de recherche IA à découvrir, crawler et indexer plus efficacement le contenu du web ouvert. Ce projet met l’accent sur la précision et l’actualité des réponses générées par l’IA, avec des signaux clés incluant la fraîcheur du contenu, la qualité du trafic et les changements réels des pages.
La principale différence entre la recherche IA et la recherche traditionnelle réside dans le fait que les résultats ne se présentent plus uniquement sous forme de liens web, mais sont directement générés par le modèle sous forme de réponses. La mise à jour d’une page, les changements réels de son contenu, l’anomalie du trafic ou la valeur de référence du contenu d’un site influencent la capacité du système IA à obtenir des informations web plus précises en temps voulu. Cloudflare ne fournit pas ici le contenu textuel des pages, mais des signaux en temps réel provenant de la couche réseau et de la couche site, afin d’aider le système IA à déterminer quelles pages méritent d’être crawler, quand les recrawler et comment réduire l’indexation inefficace.
Le réseau mondial de Cloudflare couvre plus de 20 % des sites web, ce qui lui permet d’observer les mises à jour et les comportements de visite à grande échelle. OpenAI, de son côté, fournit les modèles, les systèmes de recherche et de questions-réponses, et teste l’efficacité du crawling et de l’indexation pilotés par les signaux à l’aide de requêtes utilisateur réelles.
L’orientation technique du projet pilote est le « crawling piloté par les signaux ». Les crawlers traditionnels crawlent généralement les pages selon une fréquence fixe, un plan de site, la découverte de liens ou un poids historique, ce qui peut entraîner deux types de problèmes : d’une part, les pages sont mises à jour mais l’index IA n’est pas actualisé à temps, ce qui retarde les réponses ; d’autre part, les pages sans changement substantiel sont crawlées à plusieurs reprises, gaspillant des ressources de crawling et augmentant la pression sur les sites. En introduisant les signaux réseau en temps réel de Cloudflare, le système de recherche IA peut ajuster les priorités de crawling en fonction des changements de contenu, de la qualité des visites et de l’état des pages.
La fraîcheur du contenu est l’un des paramètres clés. Les fréquences de mise à jour des actualités, annonces, pages produits, pages de prix, documents politiques, documentations techniques et articles de blog varient. Si le système de recherche IA ne peut pas déterminer si une page a réellement été mise à jour, il risque de traiter à nouveau d’anciens contenus ou de manquer de nouvelles informations. Le signal de changement réel de page aide le système à identifier les modifications au niveau du contenu, plutôt que de se baser uniquement sur l’existence de l’URL, les changements d’horodatage ou les soumissions de site pour décider s’il faut réindexer.
La qualité du trafic est davantage liée à la fiabilité des pages web et à l’évaluation de l’état des visites. Le trafic anormal, les visites de faible qualité, les requêtes invalides, les visites de robots et les fluctuations temporaires des pages peuvent perturber l’évaluation de la valeur des pages par le système IA. En introduisant les signaux réseau de Cloudflare dans le projet pilote, OpenAI peut tester si ces signaux aident à améliorer le filtrage des pages, le rythme de crawling et la qualité de la génération de réponses.
Ce projet est également lié à la gestion des crawlers IA. Cloudflare a déjà lancé des outils destinés aux propriétaires de sites, tels que le contrôle des crawlers IA, les signaux de contenu et les autorisations d’accès, permettant aux sites d’exprimer plus finement leurs préférences concernant l’indexation de recherche, l’entrée IA et l’entraînement des modèles. Ce partenariat avec OpenAI est davantage axé sur « comment rendre le contenu découvrable plus efficacement accessible à la recherche IA », plutôt que de permettre au système IA d’étendre indifféremment l’échelle du crawling.
Le projet en est encore à un stade de recherche pilote, l’accent étant mis sur la vérification de l’efficacité des signaux réseau en temps réel pour améliorer l’efficacité de l’index de recherche IA. Les tests porteront sur la priorité de crawling, l’identification des changements de page, la vitesse de rafraîchissement de l’index, la réduction du crawling de faible valeur, l’actualité des réponses et la capacité de découverte de contenu sur le web ouvert. Cloudflare et OpenAI devront continuer à tester autour de l’étendue des sites participants, des limites d’utilisation des signaux, des droits de contenu, du contrôle des sites et de la qualité des résultats de recherche IA.
