Back from Kafka Summit London : analyse des annonces majeures

Le Kafka Summit London, organisé chaque année par Confluent, est un événement incontournable pour la communauté Kafka. Cette année, deux sfeirians ont eu la chance de s’y rendre afin de rencontrer Confluent, l’un des partenaires stratégiques de SFEIR, de rencontrer la communauté grandissante autour de Kafka et d’assister aux évolutions de l’écosystème. 

Lors de cet événement qui se tenait au hall des expositions Excel à Londres, plusieurs annonces majeures ont été faites, marquant une nouvelle étape dans l'évolution de l'écosystème Kafka. La synthèse ci-dessous, forcément subjective, fait suite au webinar de débrief organisé le 28 mars derniers par l’équipe d’experts de SFEIR, afin de partager cette vision du Kafka Summit.

Flink : le nouveau moteur de streaming incontournable

Apache Flink, implémenté en service managé par Confluent l'année dernière, s'est imposé comme le moteur de streaming par défaut de la plateforme Kafka. Entièrement intégré à Confluent Cloud, Flink offre désormais une expérience "low-code" pour traiter les données de streaming en SQL. Les développeurs peuvent écrire des requêtes SQL qui génèrent automatiquement des streams et des topics Kafka sous-jacents.

Parmi les nouvelles fonctionnalités annoncées, on trouve les "ThinkActions", des actions prédéfinies comme la déduplication des données, facilitant grandement les tâches courantes. Les User Defined Functions (UDF) en Java et Python permettront également d'étendre les capacités de traitement. Confluent investit massivement dans Flink, désormais considéré comme une brique essentielle de sa plateforme.

SFEIR a l'honneur de co-organiser et d'accueillir le premier meetup Flink en France, qui aura lieu prochainement à Neuilly-sur-Seine, dans nos locaux. Nous reviendrons vers vous avec plus de détails très bientôt. Stay tuned !

Tableflow et Apache Iceberg : réconcilier les mondes opérationnel et analytique

L'une des annonces phares a été Tableflow, une solution permettant d'unifier les données opérationnelles de Kafka avec le monde analytique en s'appuyant sur le format open source Apache Iceberg. Tableflow transforme automatiquement les topics Kafka en fichiers Parquet compatibles Iceberg, tandis que les schémas de la Schema Registry deviennent des métadonnées Iceberg.

Cette intégration transparente permet aux outils analytiques comme Spark, Snowflake ou Athena par exemple d'accéder directement aux données Kafka sans nécessiter de connecteurs ou de transformations supplémentaires. Un des avantages clé est la gestion unifiée des schémas, évitant les problèmes de compatibilité lors de l'évolution des schémas opérationnels.

Gouvernance des données : structurer et documenter les flux de données

Confluent a aussi présenté une suite d'outils visant à apporter de la gouvernance aux flux de données transitant par Kafka. Le Stream Catalog permet de documenter et de rechercher les topics, schémas et données disponibles. Le Stream Lineage offre une vision graphique de la provenance et de la destination des données, intégrant même les traitements Flink.

La validation des schémas côté broker (broker-side schema validation) et les règles de qualité des données (data quality rules) renforcent l'intégrité des données dès leur arrivée dans Kafka. Confluent facilite ainsi la documentation, le partage et la gouvernance des flux de données au sein d'une entreprise.

Améliorations de la plateforme confluent

Au-delà des annonces majeures, Confluent a dévoilé plusieurs améliorations de sa plateforme :

• Kora Engine : Le moteur Kafka réécrit pour le cloud par Confluent est désormais 16 fois plus rapide que Kafka standard.
• Kraft : Une image Docker officielle d'Apache Kafka 3.7 sans Zookeeper est à présent disponible, facilitant les déploiements.
• Connecteurs : Les connecteurs Debezium ont été mis à jour en version 2, améliorant l'intégration avec des sources de données externes.
• Tarification : De nouveaux modèles de tarification intermédiaires ont été introduits pour Confluent Cloud.

Vers un avenir event-driven et temps réel

Ces annonces marquent une étape importante dans la vision de Confluent d'unifier les mondes opérationnel et analytique au sein d'une plateforme event-driven et temps réel. Avec Flink comme moteur de streaming central, Tableflow comme pont vers l'analytique, et des outils de gouvernance des données, Confluent se positionne comme un facilitateur clé de l'adoption d'architectures event-driven et data-intensive.

Pour conclure, ces innovations offriront aux entreprises l'opportunité de rationaliser la gestion de leurs flux de données, d'automatiser les processus d'analyse et de traitement, et d'assurer une qualité et gouvernance des données supérieures. Il est indéniable que ces révélations influenceront profondément l'écosystème Kafka dans les mois et les années à venir, stimulant l'intérêt et favorisant l'adoption de Kafka pour ceux qui ne l'ont pas encore intégré à leur architecture !