Spark Streaming s Kafkou v Scale - scala, apache-spark, apache-kafka

Snažím sa vybudovať spotrebiteľa Kafky v spoločnosti Scalapomocou IntelliJ čítať správy z témy Kafka a uložiť ich na hdfs. Používam spark 1.6.2, kafka_2.10-0.10, scala 2.10.5 s hdp 2.5.3.Mám chybu nižšie:

Exception in thread "main" java.lang.NoSuchMethodError: kafka.consumer.SimpleConsumer.<init>(Ljava/lang/String;IIILjava/lang/String;Lorg/apache/kafka/common/protocol/SecurityProtocol;)V

Z môjho výskumu tu som sa dozvedel, že je to problém jar / závislosť, ale stále ho nemôžem vyriešiť.

odpovede:

Musíte sa uistiť, že knižnice kafka sú k dispozícii pre runtime Spark. Existuje niekoľko spôsobov, ako sa to uistiť:

1. Vyvolanie iskrovej škrupiny alebo iskry podložte s --jars "/ location / of / your / kafka-jar"
2. Skopírujte kafku do jiskry(Poznámka: Ak spúšťate na klastri, musíte skopírovať tieto poháre do všetkých uzlov, takže odporúčam vyššie metódu, kde to iskra to robí pre vás vnútorne)