/ / Przeczytaj więcej tematów Kafka niż liczba rdzeni procesora - Scala, Apache-Spark, Apache-Kafka, Spark-Streaming

Przeczytaj więcej tematów Kafki niż liczba rdzeni procesora - scala, apache-spark, apache-kafka, iskra streaming

Od Przewodnik po programowaniu przesyłania strumieniowego Spark:

Rozszerzając logikę na działanie w klastrze,liczba rdzeni przydzielonych do aplikacji Spark Streaming musi być większa niż liczba odbiorników. W przeciwnym razie system otrzyma dane, ale nie będzie mógł ich przetworzyć.

Czy to oznacza, że ​​jeśli mam 16 rdzeni procesora w całym klastrze Spark, nie mogę odczytać danych z więcej niż 15 tematów Kafka?

Odpowiedzi:

4 dla odpowiedzi № 1

Tylko jeśli korzystasz z interfejsu API opartego na kliencie / odbiorcy. Nie dotyczy to Direct Stream.

Spójrz tutaj dla różnic między nimi

Powiązane pytania

Jak korzystać z konsumenta Kafki w iskrze - scala, apache-spark, apache-kafka, kafka-consumer-api
Spark / Spark Streaming w produkcji bez HDFS - scala, apache-spark, hdfs, streaming iskier
assemblyMergeStrategy powodujące scala.MatchError podczas kompilacji - scala, sbt, sbt-assembly
Dołącz do streamingu na podstawie klucza - Spark / Kafka - scala, apache-spark, apache-kafka
Spark Streaming Kafka spadek konsumpcji bezpośredniej konsumpcji - scala, serwisy amazon-web, apache-spark, apache-kafka, spark-streaming
Spark Streaming z Kafką w Scali - scala, apache-spark, apache-kafka
kafka.cluster.BrokerEndPoint nie można przesłać na adres kafka.cluster.Broker - scala, apache-spark, apache-kafka
Jak uruchomić Kafkę jako strumień dla Apache Sparka używając Scala 2.11? - scala, apache-spark, apache-kafka
przetwarzanie logów internetowych dla Spark Streaming - parsowanie, apache-kafka, strumieniowanie iskier
Dlaczego KafkaUtils.createDirectStream rzuca NoSuchMethodError? - java, apache-spark, apache-kafka
Co wskazuje kolumna Rozmiar wejściowy w interfejsie internetowym? - iskierka apache, strumieniowanie iskier
Dlaczego nowy strumień Kafka Direct Stream w Spark Streaming przyjmuje zestaw tematów? - apache-iskierka, apache-kafka, iskrzące strumienie
dlaczego widzę tylko jedną iskierkę KafkaReceiver - apache-iskrę, apache-kafkę, iskrzące strumienie
Funkcjonalność strumieniowania iskrownika czas świecenia - wyjątek - apache-iskra, pyspark, iskra-streaming, iskra-ramka danych, akka-stream
Dlaczego iskrowiące executory strumieniowe zaczynają się w innym czasie? - iskierka apache, strumień iskier, oś czasu
Odzyskiwanie z przesyłania strumieniowego Punkt kontrolny kafka ClassNotFoundException - apache-spark
iskra nie może uzyskać wiadomości od Kafki z nowym groupId - apache-spark, apache-kafka
predykat push do kafki z strumieniowaniem iskier. Przefiltruj, jakie rekordy należy czytać z kafki na poziomie kafki - apache-kafka, iskrzące strumienie
Konsument Kafka nie zużywa wiadomości ze wszystkich partycji - apache-kafka, kafka-consumer-api
jak lepiej przetwarzać ogromne dane historyczne w temacie kafka za pomocą strumieniowania iskrowego - apache-kafka, strumieniowanie iskier