čo je normálne oneskorenie Kafka? prečo je minimálne 1 (nie 0)? - apache-kafka

Mám konfiguráciu s 3 brokermi Kafka:

/opt/kafka/bin/kafka-topics.sh --describe --topic logs --zookeeper=localhost:2181
Topic:logs  PartitionCount:8    ReplicationFactor:3 Configs:
Topic: logs Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 0,1,2
Topic: logs Partition: 1    Leader: 2   Replicas: 2,0,1 Isr: 0,1,2
Topic: logs Partition: 2    Leader: 0   Replicas: 0,1,2 Isr: 0,1,2
Topic: logs Partition: 3    Leader: 1   Replicas: 1,0,2 Isr: 0,1,2
Topic: logs Partition: 4    Leader: 2   Replicas: 2,1,0 Isr: 0,1,2
Topic: logs Partition: 5    Leader: 0   Replicas: 0,2,1 Isr: 0,1,2
Topic: logs Partition: 6    Leader: 1   Replicas: 1,2,0 Isr: 0,1,2
Topic: logs Partition: 7    Leader: 2   Replicas: 2,0,1 Isr: 0,1,2

Všimol som si, že po celú dobu je minimálna hodnota oneskorenia posunu 1.

/opt/kafka/bin/kafka-consumer-offset-checker.sh --group logreaders --topic logs --zookeeper=localhost:2181
Group           Topic                          Pid Offset          logSize         Lag             Owner
logreaders      logs                           0   255851          255852          1               none
logreaders      logs                           1   254514          254515          1               none
logreaders      logs                           2   252885          252888          3               none
logreaders      logs                           3   255904          255905          1               none
logreaders      logs                           4   253897          253898          1               none
logreaders      logs                           5   253517          253519          2               none
logreaders      logs                           6   255098          255099          1               none
logreaders      logs                           7   255412          255414          2               none

Očakával som, že minimálne posunutie oneskorenia by malo byť - 0, takže sa snažím zistiť, že je to normálne. Nevyzerá to, že strácam správy, ale to ma mýli.

Verzia Kafka je 0.8.2.1

odpovede:

To bol problém klienta Python kafka.

vytvoril som problém na github

Tento problém sa týka vášho problému VYKONÁVANIE VYKONÁVANIA KAFKA, Je zrejmé, že váš spotrebiteľ nie je schopný dohnať výrobcu.
To sa dá dosiahnuť vyladením spotrebiteľských konfigurácií. Apache Kafka poskytla veľmi dobre dokumentácia v tejto súvislosti sa obráťte na to isté a vylaďte svojho spotrebiteľa.

Ak máte akékoľvek pochybnosti týkajúce sa ladenia pre spotrebiteľov, dajte nám vedieť.