/ / Laufen Spark 2 auf HDP 2.4 - Apache-Funke, Garn, Hortonworks-Daten-Plattform

Spark 2 läuft auf HDP 2.4 - Apache-Spark, Garn, Hortonworks-Datenplattform

Ich habe eine Spark 1.6.1 auf HDP 2.4 und ich frage mich, ob wir einen Spark 2 Treiber auf einem Yarn HDP 2.4 Cluster laufen lassen können?

Vielen Dank im Voraus.

Antworten:

1 für die Antwort № 1

Sie können SPARK 2.0 ausführen, es wird jedoch nicht von der HDP-Plattform unterstützt. Denn mittlerweile ist die SPARK 2.0 in HDP 2.5 als technische Vorschau enthalten. Für weitere Informationen können Sie sich offiziell informieren Dokumentation.

Verwandte Fragen

In Hortonworks Sandbox 2.4 führt die Verwendung des SQLServer-Treibers von Spark zu "No Passable Driver Found" - sql-server, jdbc, apache-spark, hortonworks-data-platform, apache-zeppelin
Die Zeppelin-Notebook-Demo konnte nicht ausgeführt werden. Spark Streaming - Hortonworks-Sandbox - Scala, Apache-Spark-Sql, Spark-Streaming, Apache-Zeppelin
Wie funktioniert Spark auf YARN Konto für Python-Speicherverbrauch? - Python, Apache-Spark, Pyspark, Garn
Welche Zeilen sollte ich zu Spark-defaults.conf hinzufügen, um Phoenix von pyspark verwenden zu können? - python, pyspark, hortonworks-datenplattform, phoenix
Zündfunken auf Hadoop - Hadoop, Apache-Spark, Installation
Welchen Nutzen hat CDH (Cloudera)? [geschlossen] - Hadoop, Bigdata, Apache-Funke, Cloudera, Cloudera-Cdh
Spark Assembly Datei wird hochgeladen, obwohl spark.yarn.conf gesetzt wurde - hadoop, apache-spark, hdfs, yarn
Gibt es eine offizielle Möglichkeit, Spark 1.6.2 und 2.0.0 auf Hadoop Garn 2.7.2 Cluster zu unterstützen? - Hadoop, Apache-Spark, Garn
Speichern von Avro-Daten im ORC-Format in HDFS ohne Verwendung von HIVE - Hadoop, Apache-Spark, Avro, Ork
Hat Apache Funke Geo-Bewusstsein? - Apache-Spark, Spark-Datenrahmen
Spark on Yarn: So verhindern Sie, dass mehrere Funkenjobs eingeplant werden - Apache-Spark, Garn
Wie man die dynamische Zuteilung auf Cloudera 5 in YARN einrichtet? - Apache-Funke, Garn, Cloudera-Cdh
Spark SQL CLI gegen Thriftserver / Beeline - apache-spark, apache-spark-sql
Überschreiben Sie die Ressourcenanforderungen der Spark-Anwendung - apache-spark
Andere-Version Spark in Hortonworks HDP funktioniert nicht - Apache-Spark, Hortonworks-Daten-Plattform
Python Job Submission zu funken aus der Ferne - Apache-Funke, pyspark
Nur ein Funke-Submit durfte in der Funke-Garn-Cluster-Umgebung laufen - Apache-Spark, Resources, Cluster-Computing, Garn, Distributed-Computing
Mit wie vielen Spark Nodes sollte ich Mesos oder Yarn verwenden? - Apache-Funke, Garn, Mesos
Spark SQL funktioniert, aber es scheint, dass ohne Cluster-Manager ist es möglich? - Apache-Funken
Warum muss ich die Funken-Dienste zwischen den Funken-Jobs neu starten? - Apache-Spark, Pyspark, Spark-Datenrahmen