Pri vykonávaní príkazu na odosielanie iskier musí cesta k JAR ukazovať na umiestnenie HDFS?
Možno nemáte práva na odovzdanie balíka v HDFS, ale napriek tomu chcete vykonať úlohu Spark.
odpovede:
0 pre odpoveď č. 1Závisí to od režimu nasadenia inštancie ovládača.
Napríklad, ak máte spustenú aplikáciu iskry vV klientskom režime v samostatnom klastri môžete určiť cestu vo vašom lokálnom počítači, pretože ovládač iskry je nasadený na rovnakom počítači, kde vykonávate príkaz iskry-submit. Potom bude zdieľať súbor jar s pracovníkmi.
Ak však spustíte iskru, odošlite juv klastrovom režime musíte nahrať jar do cesty prístupnej zo všetkých uzlov klastra, napríklad z nás HDFS, pretože v klastrovom režime je ovládač inštanovaný v ľubovoľnom pracovníkovi klastra.