fr.wedoany.com Rapport : Confluent a officiellement lancé une mise à jour pour Apache Kafka, déplaçant le stockage de l'ID de schéma de la charge utile du message vers l'en-tête, afin de simplifier les processus de gouvernance des données.
Dans les déploiements Kafka traditionnels, l'ID de schéma était directement intégré dans la charge utile du message. Bien que cela garantisse que les consommateurs désérialisent correctement les événements, cette conception entraîne un couplage étroit entre les métadonnées du schéma et les données elles-mêmes. Dans un environnement où plusieurs équipes consomment le même flux d'événements, cette approche augmente la complexité de l'évolution du schéma et les coûts de coordination.
La nouvelle solution place l'identifiant du schéma dans l'en-tête de l'enregistrement Kafka, tandis que la charge utile reste inchangée. Les consommateurs utilisent l'ID présent dans l'en-tête lors de l'exécution pour récupérer le schéma correspondant depuis le Confluent Schema Registry (registre de schémas). Cette méthode est compatible avec plusieurs formats, tels qu'Avro, Protobuf et JSON Schema, tout en réduisant la dépendance à des formats de ligne étroitement couplés, rendant les flux d'événements plus flexibles et plus faciles à intégrer dans les systèmes en aval.
Dans un message publié sur LinkedIn, Patrick Neff, responsable de l'équipe CSTA (région CEMEA) chez Confluent, a déclaré que la gouvernance des schémas joue un rôle clé dans la promotion de la réutilisation des données entre les systèmes de streaming et d'analyse, et constitue un facteur important pour libérer toute la valeur des données.
L'approche basée sur l'en-tête permet une adoption incrémentielle. Les équipes peuvent introduire la gouvernance des schémas sans avoir à réécrire ou coordonner massivement tous les producteurs et consommateurs. L'ID de schéma peut être ajouté aux flux d'événements existants, permettant aux équipes d'adopter progressivement des pratiques de gestion des schémas plus strictes tout en maintenant la rétrocompatibilité.
Gunnar Morling, expert technique chez Confluent, a souligné que le déplacement de l'ID de schéma dans l'en-tête rend la charge utile indépendante et autonome, ce qui améliore considérablement l'interopérabilité avec les systèmes de stockage et les frameworks de traitement en aval, améliorant ainsi l'expérience utilisateur.
La séparation des métadonnées du schéma de la charge utile permet aux producteurs et aux consommateurs d'évoluer indépendamment, la validation étant centralisée dans le Schema Registry, réduisant ainsi les coûts de coordination et simplifiant l'évolution du schéma dans les environnements à grande échelle. Cette approche favorise également la réutilisation cohérente des données d'événements structurés entre différents pipelines, améliorant l'interopérabilité avec des outils tels qu'Apache Flink et les systèmes d'analyse ou d'apprentissage automatique.
David Araujo, directeur de la gestion des produits chez Confluent, a expliqué que cette fonctionnalité permet d'attacher un schéma aux données Kafka existantes sans modifier le format de la charge utile, offrant un modèle d'adoption sans temps d'arrêt et indépendant du client.
Certains scénarios de migration peuvent nécessiter la mise à jour des connecteurs Kafka et des outils en aval qui supposent que les métadonnées du schéma sont intégrées dans la charge utile. Par conséquent, les deux méthodes pourraient coexister pendant un certain temps. Actuellement, cette fonctionnalité est disponible sur Confluent Cloud et devrait être proposée sur Confluent Platform (avec prise en charge du Schema Registry sous le modèle de licence existant).
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
