Як запустити Кафку як потік для Apache Spark за допомогою Scala 2.11? - скала, апаче-искрова, апаче-кафка

Я не змогла знайти будь-яку серію інтеграції Spark Streaming для Kafka для Scala 2.11. Тут є один доступний тут http://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10 але це для 2.10

Чи може хто-небудь вказати мені на 2,11 будувати?

Відповіді:

Конкретний для вашого питання:

Наразі неможливо запустити Спарку Кафку проти Scala 2.11 (Spark-1.3)

Загальний метод побудови з вихідного коду:

Якщо не існує попередньо сформованої версії, ви можете створити іскра і виконати свої потреби, вказавши деякі параметри збірки.

Детальну процедуру монтажу можна знайти: Будівництво Іскра

Коротше кажучи, це буде виконуватися лише в два етапи, якщо будувати проти scala-2.10:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

mvn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

Ви повинні вказати профілі або властивості, які підходять для вашої ситуації у другій команді

Зверніть увагу на частину Будівництво Іскра держави на Building for Scala 2.11:

Для створення пакета Spark, зібраного з Scala 2.11, використовуйте властивість -Dscala-2.11:

dev/change-version-to-2.11.sh
mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package

Підтримка Scala 2.11 в Spark не підтримує декілька функцій через залежності, які самі не є готові Scala 2.11. Зокрема, зовнішня бібліотека Kafka та компонент JDBC Spark ще не підтримуються в сферах Scala 2.11.