Jaki jest najlepszy sposób na zapisywanie daty z Kafki naCassandra? Spodziewam się, że jest to rozwiązany problem, ale nie wydaje się, że jest to standardowy adapter. Wiele osób zdaje się używać Storma do czytania z Kafki, a następnie pisać do Cassandry, ale burza wydaje się być przesadą dla prostych operacji ETL.
Odpowiedzi:
5 dla odpowiedzi № 1Ciężko używamy Kafki i Cassandry przez Storm
Opieramy się na Storm, ponieważ:
zwykle występuje wiele kroków przetwarzania rozproszonego (między węzłami) zanim wynik oryginalnego komunikatu uderzy w Cassandrę (topologie śrub burzy)
Nie musimy sami utrzymywać stanu konsumenta Kafki (offset) - złącze Storm-Kafka robi to dla nas, gdy wszystkie produkty oryginalnej wiadomości są potwierdzane w ramach burzy
Przetwarzanie wiadomości jest rozprowadzane pomiędzy węzłami za pomocą programu Storm natywnie
W przeciwnym razie, jeśli jest to bardzo prosty przypadek, możesz skutecznie czytać wiadomości od Kafki i pisać wyniki do Cassandry bez pomocy Storma
1 dla odpowiedzi nr 2
Ostatnie wydanie Kafki pochodziło ze złączemkoncepcja wspierająca źródło i pochłaniacze jako pierwszorzędne koncepcje w projekcie. Dzięki temu nie potrzebujesz żadnej platformy do przesyłania danych do / z Kafki. Oto złącze Cassandra dla Kafki, którego możesz użyć: https://github.com/tuplejump/kafka-connect-cassandra