fr.wedoany.com Rapport : pgEdge annonce le lancement de pgEdge ColdFront, une solution de stratification transparente des données pour PostgreSQL. Cette solution permet d’exécuter directement des opérations UPDATE et DELETE sur les données archivées, et les applications peuvent lire et écrire les données de la couche froide via le même SQL déjà utilisé, sans modification de code ni réactivation des données. Les anciennes données sont automatiquement migrées au format Parquet vers Apache Iceberg, stockées sur tout stockage d’objets compatible S3, réduisant les coûts de stockage jusqu’à 90 %. L’ensemble des données reste accessible en lecture et écriture via un seul nom de table PostgreSQL, et l’analyse de la couche froide atteint des vitesses de niveau analytique grâce au moteur vectoriel en colonnes DuckDB.
Avec le temps, les bases de données PostgreSQL de production voient leurs coûts de stockage et leur complexité opérationnelle augmenter en raison des données historiques, notamment les sauvegardes, les frais généraux de vacuum et le retard des répliques. Les approches traditionnelles incluent la suppression des anciennes données, leur archivage dans des fichiers plats qui compromettent les requêtes, ou l’utilisation de solutions propriétaires. pgEdge ColdFront élimine ces compromis en déplaçant automatiquement les données froides vers un stockage d’objets économique, tout en conservant une capacité complète de lecture et écriture via l’interface standard de PostgreSQL, chaque couche étant stockée dans un format ouvert.
Un exemple d’application est une demande de suppression GDPR concernant des données archivées vieilles de cinq ans. Avec ColdFront, elle peut être exécutée via une seule instruction SQL, sans passer par le cycle de restauration des données vers la couche chaude, suppression, réarchivage et revalidation.
Phillip Merrick, directeur produit de pgEdge, indique que cette solution élimine les inquiétudes liées au verrouillage propriétaire : les applications conservent le même SQL, DuckDB offre des vitesses analytiques pour les données froides en cours de processus, la couche froide est accessible en écriture, et le tout fonctionne sur un PostgreSQL standard non patché.
Les caractéristiques clés de ColdFront incluent : la seule couche froide directement accessible en écriture, prenant en charge UPDATE et DELETE via le même nom de table PostgreSQL, sans réactivation ni chemin spécial ; l’exécution de DuckDB dans le processus PostgreSQL, offrant des performances de balayage de la couche froide basée sur Parquet 10 à 100 fois plus rapides que le stockage en lignes ; aucune modification de code ou d’architecture d’application ; des formats ouverts pour toutes les couches, les données froides étant au format standard Apache Iceberg (Parquet sur S3), lisibles indépendamment par des outils comme Spark, Trino ou DuckDB.
La solution intègre également une gestion du cycle de vie des partitions, avec un paramètre unique hot_period pour contrôler l’ensemble de données chaudes, et un paramètre optionnel retention_period pour supprimer automatiquement les données froides après une période définie. Dans un environnement de cluster multi-maître, les données froides sont accessibles en lecture et écriture depuis chaque nœud simultanément. Via le cluster multi-maître Spock, les données chaudes sont répliquées par Spock, tandis que les données froides résident dans un stockage d’objets partagé ; le protocole Bakery (formellement vérifié en TLA+) sérialise les validations Iceberg entre les nœuds, sans conflit 409 ni nécessité de reprise au niveau applicatif ; des tests sur trois petits nœuds avec 90 millions de lignes ont atteint un débit de 756 000 lignes par seconde.
Dave Page, directeur technique de pgEdge, souligne que la solution gère automatiquement le cycle de vie des données, réduisant les coûts de stockage jusqu’à 90 %. Son infrastructure de données prend en charge les pipelines IA et ML, transformant PostgreSQL en un frontal de calcul sans état sur Iceberg via un modèle découplé, permettant de lancer de nouveaux nœuds de calcul en quelques secondes sans synchronisation de données.
pgEdge ColdFront propose trois modes de fonctionnement : mode stratifié (chaud + froid), mode découplé (Iceberg uniquement) et mode partitionnement seul (sans couche froide). Le produit est désormais disponible en version bêta de production, prenant en charge PostgreSQL 16, 17 et 18 en topologies mono-instance et multi-maître Spock. ColdFront sera fourni avec pgEdge Enterprise Postgres, et son intégration dans pgEdge Cloud est prévue pour le second semestre 2026. Il est open source sous licence PostgreSQL, et la documentation ainsi que les instructions d’installation sont disponibles sur le site spécifié.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
