Симулирайте неуспехите на брокера на Kafka в клъстера с няколко възела и какви операции и инструменти да използвате, за да смекчите проблемите с загубата на данни - apache-kafka

Има ли някакви инструменти или операция, която да се използва за намаляване на проблемите със загуба на данни, когато брокерът на kafka се провали в клъстера с няколко възела.

Отговори:

добре, репликацията е важна характеристика наKafka и ключов елемент за избягване на загуба на данни. В частност, ако някой от брокерите ви падне, репликата на други брокери ще бъде използвана от потребителите, точно както нищо не се е случило (от страна на бизнеса). Разбира се, това има последици за връзките, ширината на лентата и т.н.

Въпреки това, едно съобщение трябва да е било правилно произведено, за да бъде повторено.

По принцип, ако имате репликация, определена на по-висока от 1, това трябва да е безопасно, стига вашите производители да не слизат.

Най- default.replication.factor е 1, така че задайте репликация (на тема или общо ниво) на 2 или 3. Разбира се, че имате нужда от 2 или 3 брокера.

http://kafka.apache.org/documentation.html#basic_ops_increase_replication_factor