Sparkのソースコードを変更した後のスタンドアロンのスパークアプリケーションの作成方法 - maven、apache-spark

ダウンロードしました Spark 1.3.1 ソースコードを IDEA。そしてその機能を拡張するためにそのソースコードを修正します。

そのような場合、どのようにしてスタンドアロンのスパークアプリを書くことができますか？変更しました spark-sql 私のアプリが私の新しい拡張子を使用したい場合、私は次の依存関係を考える：

libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.3.0"

それはまだ元の依存関係を使用しているので、私の要求に合うことはできません）

PS走った mvn build 変更されたコードをビルドします。

それでは、変更したコードを使用してスタンドアロンのsparkアプリケーションを作成する方法を教えてください。

回答：

1. カスタマイズしたSpark Jarをローカルのmvnリポジトリにインストールします

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package install

2. ローカルバージョンを指すようにjarのバージョンを変更します。

resolvers += Resolver.mavenLocal

libraryDependencies += "org.apache.spark" %% "spark-sql" % source-code-version

その source-code-version "pom.xml"に何があるのか <version>