Eu tenho aprendido sobre Kafka ultimamente, a fim de usar o framework para enviar, receber e armazenar mensagens para nossos processos de trabalho, usando o cliente python (pykafka). Nossas mensagens são bem curtas.
Eu entendo que o Kafka-Connect está em E / S degrandes quantidades de dados, mas em quais cenários é melhor usar a ferramenta Connect ou não? Quantos dados você precisa enviar / receber para o Kafka-Connect para serem necessários? Quais são os recursos do Kafka-Connect que você acredita serem os mais úteis?
Além disso, que outros frameworks ou bibliotecas você usa com o Kafka?
Obrigado!
Respostas:
2 para resposta № 1O Kafka Connect não melhora o desempenho - sob as capas, o framework Connect está usando a API do produtor e do consumidor.
Connect é projetado para conectar o Kafka comoutros sistemas de dados, nos quais são suportadas conversões de chave / valor menores (traduções). O framework oferece tolerância a falhas e escalabilidade fora da caixa. Muitos conectores de prateleira já estão disponíveis (por exemplo, coletor HDFS, fonte JDBC, muitos outros). E, se necessário, você pode construir seu próprio conector. Você pode aprender mais sobre o Connect Aqui.