J'essaie de comprendre comment fonctionne spark avecMaven, J'ai la question suivante: Dois-je installer une étincelle sur ma machine pour créer une application d'étincelle (dans scala) avec maven? Ou devrais-je simplement ajouter la dépendance à l'étincelle dans le fichier POM.xml de mon projet maven
Meilleures salutations
Réponses:
0 pour la réponse № 1La réponse courte est non. Au moment de la construction, toutes vos dépendances seront collectées par Maven ou Sbt. Aucune installation supplémentaire de Spark n'est nécessaire.
De même, au moment de l'exécution (cela peut également inclure l'exécution du test unitaire pendant la construction), vous n'avez pas nécessairement besoin d'une installation Spark. Si la valeur de SPARK_HOME n’est pas défini sur une installation Spark valide, les valeurs par défaut seront utilisées pour configuration d'exécution d'étincelle.
Cependant, dès que vous souhaitez démarrer des travaux Spark sur un cluster distant (en utilisant spark-submit), vous aurez besoin d’une installation Spark.