/ / mavenの依存関係の理解 - maven、apache-spark

スパーク依存関係の理解 - maven、apache-spark

私はsparkがどのように機能するのか理解しようとしていますMaven、 私は次の質問をしています:Mavenで(scalaで)sparkアプリケーションを構築するために私のマシンにsparkをインストールしておく必要がありますか? あるいは、私のMavenプロジェクトのPOM.xmlにspark依存関係を追加するだけでよいのです。

宜しくお願いします

回答:

回答№1は0

短い答えはノーです。ビルド時には、すべての依存関係はMavenまたはSbtによって集められます。追加のSparkをインストールする必要はありません。

また、実行時(これにはビルド中の単体テストの実行も含まれる場合があります)には、必ずしもSparkをインストールする必要はありません。の値が SPARK_HOME 有効なSparkインストールに設定されていない場合は、デフォルト値が使用されます。 実行時設定 スパーク

ただし、リモートクラスタ上でSparkジョブを開始したいとすぐ spark-submitSparkのインストールが必要になります。