Kafka: erreur de SyncGroup, la requête a expiré - apache-kafka, kafka-consumer-api

Récemment, nous rencontrons fréquemment "Erreur de SyncGroup: la requête a expiré" avec les API Java Kafka.

Ce problème se produit généralement avec peu de sujet ougroupe de consommateurs du groupe Kafka. Quelqu'un peut-il fournir des indications sur cette erreur? Pour résoudre ce problème, si je change le nom du groupe de consommateurs, je ne vois pas l’erreur. Version du courtier: 0.9.0 Version du client Kafka: 0.9.0.1

Exception in thread "main" org.apache.kafka.common.KafkaException: Unexpected error from SyncGroup: The request timed out.

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:444)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:411)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:665)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:644)

at org.apache.kafka.clients.consumer.internals.RequestFuture$1.onSuccess(RequestFuture.java:167)

at org.apache.kafka.clients.consumer.internals.RequestFuture.fireSuccess(RequestFuture.java:133)

at org.apache.kafka.clients.consumer.internals.RequestFuture.complete(RequestFuture.java:107)

at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler.onComplete(ConsumerNetworkClient.java:380)

at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:274)

Réponses:

@ zer0Id0l

Nous avons eu le même problème récemment. Cela se produit parce que certains messages Kafka Streams ont une empreinte de méta-information qui est plus que régulière (lorsque vous n’utilisez pas Kafka Streams). Pour résoudre le problème, allez à __consumer_offsets paramètres de sujet et définir max.message.bytes param supérieur à ce qu'il est par défaut. Par exemple, dans notre cas, nous avons max.message.bytes = 20971520. Cela résoudra complètement votre problème.