Ostatnio uczyłem się o Kafce, aby użyć frameworka do wysyłania, odbierania i przechowywania wiadomości dla naszych procesów roboczych przy użyciu klienta python (pykafka). Nasze wiadomości są dość krótkie.
Rozumiem, że Kafka-Connect jest w I / Oduże ilości danych, ale w jakich scenariuszach lepiej jest użyć narzędzia Connect, czy nie? Ile danych musisz wysłać / odebrać dla Kafka-Connect? Jakie funkcje Kafka-Connect uważasz za najbardziej przydatne?
Ponadto, jakich innych ram lub bibliotek używasz z Kafką?
Dzięki!
Odpowiedzi:
2 dla odpowiedzi № 1Kafka Connect nie poprawia wydajności - pod osłonami platforma Connect używa interfejsu API producenta i konsumenta.
Connect jest przeznaczony do łączenia Kafki zinne systemy danych, w których obsługiwane są niewielkie konwersje klucza / wartości (tłumaczenia). Ramy oferują natychmiastową odporność na błędy i skalowalność. Dostępnych jest wiele gotowych złączy (np. Zlew HDFS, źródło JDBC, wiele innych). W razie potrzeby możesz zbudować własne złącze. Możesz dowiedzieć się więcej o Connect tutaj.