/ / Andere Version von Spark in Hortonworks HDP funktioniert nicht - Apache-Spark, Hortonworks-Datenplattform

Andere-Version Spark in Hortonworks HDP funktioniert nicht - Apache-Spark, Hortonworks-Daten-Plattform

Ich habe ein pre-build spark1.4-Paket in HDP2.4 eingefügt, aber SparkPi funktioniert nicht.

spark-shell erhält keine Nachricht

Antworten:

0 für die Antwort № 1

Sie vermissen den Funkenmontagebehälter. Wenn Sie spark herunterladen und auspacken, befindet sich das Assembly-Glas im Pfad spark-1.4.1-bin-hadoop2.6libspark-assembly-1.4.1-hadoop2.6.0.jar In Ihrem Fall müssen Sie prüfen, ob an der Position spark-assembly-1.4.1-hadoop2.6.0.jar vorhanden ist /usr/hdp/2.4.0.0-169/spark-1.4.1-bin-hadoop2.6/lib.

Verwandte Fragen

Hadoop App auf Windows - Windows, Hadoop
In Hortonworks Sandbox 2.4 führt die Verwendung des SQLServer-Treibers von Spark zu "No Passable Driver Found" - sql-server, jdbc, apache-spark, hortonworks-data-platform, apache-zeppelin
Intellisense in Intellij mit Funkenbibliotheken - Scala, Apache-Spark, Intellij-Idee
Anzahl der SparkSQL-Staging-Tabellenzeilen vs. Anzahl der Hive-Zeilen - Scala, Bienenstock, Apache-Spark-SQL, Spark-Datenrahmen, Spark-Cassandra-Connector
Welche Zeilen sollte ich zu Spark-defaults.conf hinzufügen, um Phoenix von pyspark verwenden zu können? - python, pyspark, hortonworks-datenplattform, phoenix
Livy kehrt zurück, bevor die Berechnung abgeschlossen ist - pyspark, hortonworks-sandbox, livy
Web-Protokolle, die nach Spark-Streaming suchen - Parsing, Apache-Kafka, Spark-Streaming
maven repository für LinearRegressionModel - maven, apache-spark, apache-spark-mllib
Neu in Spark und Spark SQL mit Java - Java, Apache-Spark, Apache-Spark-SQL, Datenmigration, BigData
Gibt es eine offizielle Möglichkeit, Spark 1.6.2 und 2.0.0 auf Hadoop Garn 2.7.2 Cluster zu unterstützen? - Hadoop, Apache-Spark, Garn
Speichern von Avro-Daten im ORC-Format in HDFS ohne Verwendung von HIVE - Hadoop, Apache-Spark, Avro, Ork
Wie man Mapreduce-Jobs in der Hortonworks-Sandbox mit HDP 2.4 überprüft - hadoop, hornonworks-data-platform, hortonworks-sandbox
Hortonworks vs Apache Projekte - Apache, Hortonworks-Daten-Plattform
Apache Funke bluemix unmöglich - Apache-Funke, IBM-Wolke
Apache Spark sieht nicht alle Ram meiner Maschinen - Apache-Spark, Google-Compute-Engine, Apache-Spark-MLLIB
Wie man einen Funkenjob tötet, wenn Anwendungsidentifikation bekannt ist? - Apache-Spark, Datastax-Unternehmen
Spark SQL CLI gegen Thriftserver / Beeline - apache-spark, apache-spark-sql
Zugriff auf die WebUI von Spark von einem Remote-Computer aus (Home)? - Apache-Funken
Lokaler Funke-Modus: Wie kann die Anzahl der Executor-Slots abgefragt werden? - Apache-Funke, Pyspark, Databricks, Funken-ui
Spark 2 läuft auf HDP 2.4 - Apache-Spark, Garn, Hortonworks-Datenplattform