👋 Salut ! Il s'agit de Pratik, un consultant DevOps senior avec une solide expérience dans l'automatisation et l'optimisation de l'infrastructure cloud, en particulier sur AWS. Au fil des années, j'ai conçu et mis en œuvre des solutions évolutives pour les entreprises, en me concentrant sur l'infrastructure sous forme de code, les pipelines CI/CD, la sécurité du cloud et la résilience. Mon expertise réside dans la traduction d'exigences complexes en matière de cloud en architectures efficaces, fiables et rentables. À travers cet article, mon objectif est de partager des informations pratiques sur la création et la gestion d'AWS MSK Serverless à l'aide de Terraform, en aidant mes collègues ingénieurs et équipes à concevoir des architectures de streaming évolutives, sécurisées et résilientes sur AWS.
AWS MSK est un service entièrement géré qui facilite l'exécution d'Apache Kafka sur AWS sans gérer vous-même l'infrastructure. Kafka est une plate-forme de streaming distribuée utilisée pour créer des pipelines de données en temps réel et des applications de streaming.
AWS MSK propose deux types de déploiement :
Vous gérez la capacité du cluster en choisissant les types d'instances et le nombre de courtiers. Il offre davantage de contrôle sur les performances, la mise à l'échelle et la configuration, ce qui le rend adapté aux charges de travail prévisibles et aux environnements de production nécessitant un réglage précis.
AWS gère automatiquement la capacité, la mise à l'échelle et l'infrastructure du courtier. Vous n'avez pas besoin de choisir des types d'instances ni de gérer des courtiers. Il est idéal pour les charges de travail variables ou imprévisibles et pour les équipes qui souhaitent minimiser les frais opérationnels.
Nœuds de courtier : lorsque vous créez un cluster Amazon MSK, vous définissez le nombre de nœuds de courtier par zone de disponibilité (au minimum un par AZ). Dans MSK Provisioned, vous pouvez choisir entre les types de courtier Standard et Express. Dans MSK Serverless, la gestion des courtiers est gérée automatiquement et vous configurez uniquement la capacité au niveau du cluster.
Nœuds ZooKeeper : Amazon MSK provisionne automatiquement les nœuds Apache ZooKeeper pour prendre en charge une coordination de cluster fiable.
Contrôleurs KRaft : KRaft est le mode moderne de gestion des métadonnées de Kafka qui remplace ZooKeeper. Les métadonnées sont gérées en interne par les contrôleurs Kafka, sans configuration ni coût supplémentaire requis.
Producteurs, consommateurs et sujets : vous pouvez utiliser les opérations Kafka standard pour créer des sujets et publier ou consommer des données.
Opérations de cluster : vous gérez les clusters à l'aide de la console AWS, de l'AWS CLI ou des kits SDK pour effectuer des actions telles que la création, la mise à jour, l'affichage ou la suppression de clusters.