fr.wedoany.com Rapport : Cloudflare a dévoilé les dernières applications de sa plateforme de données unifiée interne, Town Lake, dont les charges de travail de facturation connectées représentent 53 % de toutes les requêtes. Cette plateforme est équipée d’un agent d’analyse piloté par l’IA nommé Skipper, conçu pour unifier les données opérationnelles, de facturation, de sécurité et métier auparavant dispersées dans différents systèmes.
Le réseau mondial de Cloudflare traite plus d’un milliard d’événements par seconde, couvrant plus de 330 villes dans 120 pays. Au fil du temps, les données se sont accumulées dans des bases de données Postgres, des clusters ClickHouse, des flux Kafka, des ensembles de données BigQuery et des systèmes de stockage d’objets, ce qui a accru la difficulté de découverte et d’analyse. Town Lake sert d’interface SQL unifiée pour accéder à ces systèmes tout en maintenant la gouvernance des données et les capacités de contrôle d’accès.
Cette plateforme repose sur une architecture de lac de données unifié, utilisant Apache Trino, Apache Iceberg, le stockage d’objets Cloudflare R2 et DataHub pour la gestion des métadonnées. Une seule requête peut joindre des données entre les tables Postgres, ClickHouse et Iceberg sans déplacer les données entre les systèmes. Un service de support est responsable de l’ingestion, de la transformation, du contrôle d’accès et de l’identification des informations personnelles identifiables (PII).
La plateforme adopte un modèle de gouvernance fermé par défaut : les nouveaux ensembles de données doivent subir une analyse automatique et une vérification manuelle avant d’être accessibles. Cloudflare utilise un service appelé Skimmer, qui combine classification automatique et analyse IA pour détecter les données sensibles, puis des réviseurs humains valident l’adéquation de la classification.
Grâce à Town Lake, Cloudflare a construit Skipper pour offrir un accès en langage naturel aux données d’entreprise. Cet agent utilise les métadonnées, les définitions de schémas, la lignée des transformations, la documentation et les vérifications à l’exécution pour convertir les demandes des utilisateurs en requêtes validées, améliorant ainsi la précision. Cet outil est utilisé pour l’analyse des factures, les enquêtes de support client, la business intelligence et les flux de travail de sécurité.
Dmitry Alexeenko, responsable de l’ingénierie d’entreprise chez Cloudflare, a souligné que l’équipe a construit la plateforme de données unifiée Town Lake et l’agent de données IA Skipper, ce dernier pouvant transformer des questions en anglais simple en informations exploitables en quelques secondes.
Les tâches qui nécessitaient auparavant des requêtes SQL complexes ou des enquêtes manuelles peuvent désormais être réalisées en quelques secondes grâce à la plateforme de données unifiée et à l’agent IA. Les charges de travail de facturation représentent la majeure partie de l’utilisation de Town Lake. Au cours d’une période de mesure, la plateforme a traité 91 760 requêtes liées à la facturation émanant de 324 employés, couvrant l’analyse de facturation, les enquêtes de support et les rapports opérationnels. L’entreprise a également constaté que la simplification des invites de l’agent IA améliorait la précision, et que la consolidation des outils redondants réduisait les erreurs de sélection. L’intégration de la logique de conversion SQL et de la lignée des données dans le contexte de l’agent a encore amélioré la compréhension sémantique métier.
Patrick Joubert, PDG de Rippletide, a commenté qu’après avoir placé un agent IA interne au-dessus d’une plateforme d’analyse unifiée, si l’agent peut raisonner sur les données opérationnelles, l’exécution doit se rapprocher de la couche opérationnelle. Des vérifications déterministes distribuées permettent à l’agent d’agir sans transformer la plateforme de données en une couche opérationnelle incontrôlable.
Cloudflare prévoit d’intégrer Skipper plus profondément dans les flux de travail internes de chat, de gestion des tickets et de développement. Parallèlement, l’entreprise étend son pipeline Transformer pour permettre aux équipes de définir des ensembles de données organisés à l’aide de fichiers SQL et de métadonnées, qui sont automatiquement déployés, surveillés, catalogués et présentés via DataHub et Skipper. L’entreprise prévoit également de migrer davantage de charges de travail de Town Lake vers R2 SQL à l’avenir.
