Wenn der Befehl spark-submit ausgeführt wird, muss der Pfad zu JAR auf einen HDFS-Speicherort verweisen.
Vielleicht haben Sie keine Rechte, das Paket in HDFS hochzuladen, aber dennoch einen Spark-Job auszuführen.
Antworten:
0 für die Antwort № 1Dies hängt vom Bereitstellungsmodus der Treiberinstanz ab.
Zum Beispiel, wenn Sie Spark-submit in ausführenClient-Modus In einem eigenständigen Cluster können Sie einen Pfad auf Ihrem lokalen Computer angeben, da der Spark-Treiber auf demselben Computer implementiert ist, auf dem Sie den Befehl spark-submit ausführen. Dann teilt es die JAR-Datei mit den Arbeitern.
Wenn Sie Spark-submit jedoch ausführenIm Cluster-Modus müssen Sie die JAR-Datei in einen Pfad hochladen, auf den von allen Cluster-Knoten aus zugegriffen werden kann, z. B. HDFS, da der Treiber im Cluster-Modus in einem beliebigen Worker des Clusters instanziiert wird.