Existe-t-il un modèle pour déployer des applications (fichiers jar) sur un Hadoop-Custer? Je ne parle pas de tâches de réduction de carte, mais de déployer des applications pour Spark, Flume, etc.
Dans l’écosystème Hadoop, le seul déploiement ne suffit pas. Vous devez redémarrer les services, déployer des configurations (par exemple via Ambari), etc.
Je n'ai pas trouvé d'outils spécifiques. Ma supposition est-elle correcte que vous utilisez des outils d'automatisation standard tels que maven / jenkins et que vous effectuez les parties manquantes vous-même?
Je me demandais si j'avais surveillé quelque chose. Juste ne veulent pas réinventer la roue;)
Réponses:
1 pour la réponse № 1Si vous gérez l'écosystème Hadoop, vous pouvezutilisez les gestionnaires Ambari et Cloudera. Toutefois, vous devrez arrêter et redémarrer leurs services pour les modifications de configuration et de bibliothèque. Si l’écosystème est géré en dehors de cet environnement, vous avez la possibilité de gérer les pots avec des outils extérieurs tels que Puppet et Salt. , nous utilisons du sel en raison des capacités de poussée / traction.
Si vous parlez d'applications, comme des emploisfonctionnant sur Spark, il vous suffira de fournir l’URL Hadoop dans le chemin du fichier. Par exemple: spark-submit --class my.dev.org.SparkDriver - fichier de propriétés mySparkProps.conf wordcount-shaded.jar hdfs: //servername/input/file/sample.txt hdfs: // nomserveur / output / sparkresults
Pour les applications ont des dépendances de tiersfichiers jar. Ensuite, vous avez la possibilité d’ombrer le fichier jar du travail pour éviter que d’autres bibliothèques d’application ne se gênent. Le problème est que le fichier jar de l’application deviendra gros. artefact et utilisez la portée par défaut (compiler) pour les dépendances.