Wenn ich meinen Spark-Job von einer IDE unter Verwendung von Sparks aus führeJava APIs, bekomme ich die Ausgabe in einem gewünschten Encodierungsformat (utf-8). Aber wenn ich die "spark-submit" -Methode von der Befehlszeile aus starte, fehlt die Ausgabe bei der Codierung.
Gibt es einen Weg, wo ich Kodierung erzwingen kann, um "funke-submit", wenn über die Befehlszeilenschnittstelle verwendet.
Ich benutze Windows 10 OS und Eclipse IDE.
Ihre Hilfe wird sehr geschätzt.
Vielen Dank.
Antworten:
2 für die Antwort № 1Führen Sie Ihren Spark-Job folgendermaßen aus:
spark-submit --class com.something.class --name "someName" --conf "spark.driver.extraJavaOptions=-Dfile.encoding=utf-8"