Snažím sa pochopiť, ako iskra fungujeMaven, Mám nasledujúcu otázku: Musím mať v mojom stroji nainštalovanú iskru na vytvorenie iskrovej aplikácie (v scala) s mavenom? Alebo by som mal pridať závislosť iskier do projektu POM.xml môjho projektu maven
S Pozdravom
odpovede:
0 pre odpoveď č. 1Stručná odpoveď znie nie. V čase zostavenia si všetky vaše závislosti budú zbierať Maven alebo Sbt. Ďalšia inštalácia Spark nie je potrebná.
Taktiež za behu (toto môže zahŕňať aj vykonanie testu jednotky počas zostavovania) nemusíte nevyhnutne potrebovať inštaláciu Spark. Ak je hodnota SPARK_HOME nie je nastavená na platnú inštaláciu Spark, budú použité predvolené hodnoty runtime konfigurácie Spark.
Avšak, akonáhle chcete spustiť úlohy Spark na vzdialenom klastri (pomocou spark-submit) budete potrebovať inštaláciu Spark.