私はsparkがどのように機能するのか理解しようとしていますMaven、 私は次の質問をしています:Mavenで(scalaで)sparkアプリケーションを構築するために私のマシンにsparkをインストールしておく必要がありますか? あるいは、私のMavenプロジェクトのPOM.xmlにspark依存関係を追加するだけでよいのです。
宜しくお願いします
回答:
回答№1は0短い答えはノーです。ビルド時には、すべての依存関係はMavenまたはSbtによって集められます。追加のSparkをインストールする必要はありません。
また、実行時(これにはビルド中の単体テストの実行も含まれる場合があります)には、必ずしもSparkをインストールする必要はありません。の値が SPARK_HOME
有効なSparkインストールに設定されていない場合は、デフォルト値が使用されます。 実行時設定 スパーク
ただし、リモートクラスタ上でSparkジョブを開始したいとすぐ spark-submit
Sparkのインストールが必要になります。