Wie man spark.driver.memory für Spark / Zeppelin auf EMR setzt - apache-funke, emr, amazon-emr, apache-zeppelin

Bei Verwendung von EMR (mit Spark, Zeppelin), ändern spark.driver.memory In Zeppelin Spark werden die Interpretereinstellungen nicht funktionieren.

Ich frage mich, was ist der beste und schnellste Weg, Spark-Treiber-Speicher zu setzen, wenn EMR-Web-Schnittstelle (nicht aws CLI), um Cluster zu erstellen?

Kann die Bootstrap-Aktion eine Lösung sein? Wenn ja, können Sie bitte ein Beispiel dafür geben, wie die Bootstrap-Aktionsdatei aussehen sollte?

Antworten:

Sie können immer versuchen, die folgende Konfiguration für die Jobfluss- / Clustererstellung hinzuzufügen:

[
{
"Classification": "spark-defaults",
"Properties": {
"spark.driver.memory": "12G"
}
}
]

Sie können dies für die meisten Konfigurationen tun, ob für spark-defaultHadoop core-site, etc.

Ich hoffe das hilft !