Jak uruchomić Kafkę jako strumień dla Apache Sparka używając Scala 2.11? - scala, apache-spark, apache-kafka

Nie udało mi się znaleźć żadnej wersji integracji Spark Streaming dla Kafki dla Scala 2.11. http://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10 ale jest to 2.10

Czy każdy może wskazać mi wersję 2.11?

Odpowiedzi:

Specyficzne dla twojego pytania:

Nie jest możliwe uruchomienie Sparka Kafki przeciwko Scali 2.11 (Spark-1.3)

Ogólna metoda budowania z kodu źródłowego:

Jeśli nie masz dostępnej wersji do kompilacji, możesz zbudować iskrę samodzielnie i spełnić swoje potrzeby, określając niektóre parametry kompilacji.

Szczegółową procedurę kompilacji można znaleźć: Budynek Spark

W skrócie, Wykonanie kompilacji przeciwko scala-2.10 zajmie tylko dwa kroki:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

mvn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

Powinieneś określić profile lub właściwości, które pasują do twojej sytuacji w drugim poleceniu

Zanotuj część Budynek Spark stwierdza na Building for Scala 2.11:

Aby stworzyć pakiet Spark skompilowany ze Scala 2.11, użyj właściwości -Dscala-2.11:

dev/change-version-to-2.11.sh
mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package

Obsługa Scala 2.11 w Sparku nie obsługuje kilku funkcji z powodu zależności, które same nie są Scala 2.11 gotowe. W szczególności zewnętrzna biblioteka Kafki Sparka i komponent JDBC nie są jeszcze obsługiwane w kompilacjach Scala 2.11.