fr.wedoany.com Rapport : La banque numérique britannique Monzo a repensé son entrepôt de données en adoptant une approche « maillée », réduisant ainsi ses coûts d’entrepôt d’environ 40 % et accélérant la livraison des données d’environ 25 %. La banque était confrontée à une situation complexe avec plus de 100 équipes gérant plus de 12 000 modèles dbt.
Au cours de l’année écoulée, Monzo a reconstruit sa plateforme de données autour de couches de modélisation définies, en déclarant explicitement des modèles d’interface pour les dépendances de données entre équipes, et en imposant la validation de la structure, des noms et des modes d’accès via l’intégration continue (CI). Cette migration a couvert des milliers de modèles dbt et introduit des centaines d’interfaces gérées, réduisant les requêtes redondantes et les calculs en double, améliorant les délais de disponibilité des données et inversant la tendance à la hausse des coûts d’entrepôt. Chaque équipe possède et maintient ses propres modèles de données, Monzo soutenant cette propriété distribuée par des garde-fous automatisés et des outils partagés. Les ingénieurs analystes de Monzo, Antonia Badarau, Irina Mugford et Massimo Frangiamore, soulignent que cette propriété distribuée, bien que puissante, est difficile à mettre en œuvre correctement à grande échelle, surtout à l’ère du codage assisté par IA, où garantir des résultats efficaces, cohérents et de haute qualité devient un défi.
Les modèles dbt sont des requêtes SQL qui transforment des données brutes en ensembles de données structurés, conçus comme des composants modulaires et réutilisables pour construire et maintenir des pipelines de données. Monzo a défini trois principes pour son architecture de données : appliquer des normes explicites, normaliser le partage de données via des interfaces explicites, et s’appuyer sur l’automatisation et les vérifications CI pour garantir la qualité, plutôt que sur des examens manuels. La banque a divisé ses modèles de données en quatre couches : les modèles d’atterrissage automatisés (aplatissement des événements bruts), les modèles de normalisation générés (représentation des entités avec historique complet), les modèles logiques (combinaison d’entités selon la logique métier), et les modèles de présentation personnalisés pour des usages aval spécifiques.
Les équipes assurent la cohérence via l’outil en ligne de commande Modelgen (qui génère des modèles SQL et YAML à partir de définitions d’objets) et via des normes de données soutenues par la CI (validation de la structure, des conventions et des meilleures pratiques). Luke Briscoe, directeur technique de Monzo Bank, déclare que faire évoluer les données dans toute organisation en croissance rapide n’est pas facile, surtout pour une banque, et qu’à sa connaissance, peu d’entreprises exploitent des outils similaires. Mateusz Ulas, fondateur d’Expeditious Software, commente qu’il est encore exceptionnellement rare de traiter les interfaces de données comme du code de première classe, la plupart des organisations se fiant à la documentation et espérant le meilleur, alors que l’intégration des normes dans la CI permet des améliorations.
Des couches de données claires, des interfaces stables entre ensembles de données et des vérifications automatisées dans la CI maintiennent la cohérence du système, permettant aux équipes de travailler de manière indépendante tout en réduisant les coûts d’entrepôt et les temps de traitement. Monzo impose la qualité et la cohérence des données en exigeant que chaque modèle définisse une clé unique, inclue des tests de fraîcheur, s’exécute par défaut de manière incrémentielle, déclare son équipe propriétaire, fournisse une documentation et respecte des conventions strictes de nommage et de métadonnées validées par la CI.
Badarau, Mugford et Frangiamore ajoutent que la migration à l’échelle de l’entreprise est en cours, achevée à environ 30 %, et que les premiers résultats sont encourageants, avec des réductions de coûts d’environ 40 % dans certains domaines et des délais de disponibilité des données plus rapides d’environ 25 %.
Dans un autre article, l’équipe d’ingénierie de Monzo décrit comment elle utilise un réseau neuronal multitâche pour apprendre des représentations partagées des schémas de fraude, améliorant ainsi la détection de comportements rares et jamais vus auparavant, dépassant les capacités des modèles traditionnels. Lors de la conférence QCon London de cette année, Suhail Patel a montré comment Monzo a construit une plateforme pour développeurs capable de pousser des centaines de modifications en production chaque jour.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
