Kafka Consumer ne consomme pas les messages de toutes les partitions - apache-kafka, kafka-consumer-api

J'ai créé un sujet Kafka avec 10 partitions etessayer de consommer des messages à travers un seul consommateur de kafka. Cependant, le consommateur de kafka ne lit pas les messages de toutes les partitions. Plus spécifiquement, il consomme des messages provenant de 5 partitions spécifiques uniquement. Exemple : Le consommateur consomme des messages de [0,1,2,3,4]seulement. Et après le redémarrage, s’il commence à consommer les messages de [5,6,7,8, 9], il ne consommera que les messages de ces partitions. Voici le résultat de la commande kafka-consumer-offset-checker.sh

Groupe | Sujet | Pid | Décalage | logSize | Décalage | Propriétaire GRP1 | topic1 | 0 | 128 | 175 | 47 | aucun GRP1 | topic1 | 1 | 117 | 146 | 29 | aucun GRP1 | topic1 | 2 | 62 | 87 | 25 | aucun GRP1 | topic1 | 3 | 101 | 143 | 42 | aucun GRP1 | topic1 | 4 | 104 | 145 | 41 | aucun GRP1 | topic1 | 5 | 118 | 118 | 0 | aucun GRP1 | topic1 | 6 | 111 | 111 | 0 | aucun GRP1 | topic1 | 7 | 161 | 161 | 0 | aucun GRP1 | topic1 | 8 | 144 | 144 | 0 | aucun GRP1 | topic1 | 9 | 171 | 171 | 0 | aucun

Est-ce que quelqu'un sait pourquoi ça se passe ..?

Réponses:

J'avais un problème similaire cette semaine en utilisant spark streaming lire sur un sujet kafka avec 32 partitions. Plus précisément, nous utilisions les classes de streaming spark kafka fournies par apache org.apache.spark.streaming.kafka010. *.

Nous n'avons pu consommer qu'à partir d'une seule partition. Le problème était parce que nous incluions la version kafka 0.10.1.0 avec notre pot. Revenir à 0.10.0.1 résolu même si notre cluster est sur 0.10.1.0.