थ्रेड में अपवाद "मुख्य" java.lang.IleglegalArgumentException: pyspark किसी भी अनुप्रयोग विकल्प का समर्थन नहीं करता है - pyspark

जब pyspark में jupyter नोटबुक कॉन्फ़िगर करें, तो इसमें कुछ गड़बड़ है: .bashrc फ़ाइल में:

export PATH="/root/anaconda3/bin:$PATH"
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=my ip"

जब मैं pyspark इनपुट, यह दिखाता है [C 13:51:52.029 NotebookApp] Running as root is not recommended. Use --allow-root to bypass.

और मैं उपयोग करता हूँ pyspark --allow-root, लेकिन यह दिखाता है:

Exception in thread "main" java.lang.IllegalArgumentException: pyspark does not support any application options.
at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildPySparkShellCommand(SparkSubmitCommandBuilder.java:290)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:147)
at org.apache.spark.launcher.Main.main(Main.java:86)

इसमें ग़लत क्या है?

उत्तर:

अपनी .bashrc फ़ाइल को इस रूप में बदलें:

export PATH="/root/anaconda3/bin:$PATH"
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=my ip --allow-root"