Защо отстраняването на искри е неуспешно с "IllegalArgumentException: Липсва ресурс на приложение"? - apache-spark

Когато създам буркана на моето приложение Spark и се опитам да го стартирам spark-submit, Получавам следната грешка.

Това е командата, която бях свикнала.

spark-submit --executor-memory 1g --jars s3://test-data-lab-users/spachari/test/test_2.10-1.0.jar

Това е грешката, която получавам. Това означава ли, че не съм предал правилните параметри в моята искра-подарък?

Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:276)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
at org.apache.spark.launcher.Main.main(Main.java:86)
Command exiting with ret "1"

Отговори:

TL; р Премахване --jars опция и започнете отначало.

java.lang.IllegalArgumentException: Липсва ресурс на приложение.

Липсваше си ... ами ... Искрено приложение, за което съобщението се отнася като "ресурс на приложение".

Това е по-очевидно, когато изпълнявате spark-submit и да видите различните опции на командния ред и техните значения.

./bin/spark-submit
Usage: spark-submit [options] <app jar | python file | R file> [app arguments]

Тази част <app jar | python file | R file> е това, което сте пропуснали.

За да възпроизведете проблема си, можете просто да го изпълните spark-submit с --jars без да посочвате главния буркан или класа на приложението Spark.

$ ./bin/spark-submit --jars target/spark-parent_2.11-2.3.0-SNAPSHOT-tests.jar
Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:274)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
at org.apache.spark.launcher.Main.main(Main.java:86)

Цитирайки spark-submit --help, --jars е ...

- Джарс Списък с буркани, разделен с кома, който да се включва в драйверите и класовете за класификация на изпълнителя.

--jars може да бъде много полезно, когато приложението Spark зависи от допълнителни файлове с jar (известни като зависимости), т.е. mysql-connect.jar че не можете (или най-вероятно не искате да) "сглобявате" на вашия uber буркан.