/ / Присъединете се към стрийминг на базата на ключ - Искри / Кафка - scala, apache-spark, apache-kafka

Присъединете се към стрийминг на базата на ключ - Spark / Kafka - скала, apache-spark, apache-kafka

Да предположим, че 2 потока, дадени от искра и един отсинхронизирането не е 100%. Възможно е да има разлика в получаването на поточно предаване. Трябва да се присъединим към поточно предаване по ключ. Има ли някакъв начин да го направим без постоянни?

Отговори:

0 за отговор № 1

Не мисля, че е възможно, Kafka Streams корабис вградена поддръжка за интерпретиране на данните в тема Kafka като такава непрекъснато актуализирана таблица. В DSL на Kafka Streams това се постига чрез т.нар Ktable

тези KTables са подкрепени от държавни магазини в потоците Кафка. Тези държавни магазини са локални за вашето приложение (по-точно: те са локални за екземплярите на вашето приложение, от които може да има един или много), което означава, че взаимодействието с тези държавни магазини не изисква разговори по мрежата, така че прочетете и операциите по записване са много бързи. В случай, че сте решили да не съхранявате данни, може да започнете да губите информация, която може да не искате