Simulez les échecs du courtier kafka dans un cluster kafka à plusieurs nœuds et les opérations et outils à utiliser pour limiter les problèmes de perte de données - apache-kafka

Existe-t-il des outils ou des opérations à utiliser pour atténuer les problèmes de perte de données lorsque le courtier Kafka échoue dans un cluster kafka à plusieurs nœuds.

Réponses:

bien, la réplication est une caractéristique importante deKafka et un élément clé pour éviter la perte de données. En particulier, si l'un de vos courtiers tombe en panne, la réplique des autres courtiers sera utilisée par les consommateurs, comme rien ne s'est passé (du côté commercial). Bien entendu, cela a des conséquences sur les connexions, la largeur de bande, etc.

Cependant, un message doit avoir été correctement produit pour être répliqué.

Donc, fondamentalement, si vous avez une réplication définie sur une valeur supérieure à 1, cela devrait être sûr, tant que vos producteurs ne baissent pas.

le default.replication.factor est égal à 1, donc définissez la réplication (au niveau du sujet ou au niveau général) sur 2 ou 3. Bien entendu, vous avez besoin de 2 ou 3 courtiers.

http://kafka.apache.org/documentation.html#basic_ops_increase_replication_factor