Sto cercando di capire come funziona la scintillaMaven, Ho la seguente domanda: Ho bisogno di avere una scintilla installata nella mia macchina per costruire un'applicazione spark (in scala) con Maven? O dovrei semplicemente aggiungere la scintilla dipendenza nel POM.xml del mio progetto Maven
I migliori saluti
risposte:
0 per risposta № 1La risposta breve è no. Al momento della costruzione tutte le tue dipendenze saranno raccolte da Maven o Sbt. Non è necessaria un'ulteriore installazione Spark.
Anche in fase di esecuzione (questo potrebbe includere anche l'esecuzione del test dell'unità durante la compilazione) non è necessaria necessariamente un'installazione Spark. Se il valore di SPARK_HOME non è impostato su un'installazione Spark valida, verranno utilizzati i valori predefiniti per configurazione di runtime di Spark.
Tuttavia, non appena si desidera avviare i lavori Spark su un cluster remoto (utilizzando spark-submit) avrai bisogno di un'installazione Spark.