Jak ustawić spark.driver.memory dla Spark / Zeppelin na EMR - apache-spark, emr, amazon-emr, apache-zeppelin

Podczas korzystania z EMR (z Spark, Zeppelin), zmiana spark.driver.memory w Zeppelin Spark ustawienia interpretera nie działają.

Zastanawiam się, jaki jest najlepszy i najszybszy sposób ustawienia pamięci sterownika Spark podczas używania interfejsu internetowego EMR (nie CLI AWS) do tworzenia klastrów?

Czy akcja Bootstrap może być rozwiązaniem? Jeśli tak, czy możesz podać przykład, jak powinien wyglądać plik akcji bootstrap?

Odpowiedzi:

Zawsze możesz spróbować dodać następującą konfigurację przy tworzeniu pracy / klastrze:

[
{
"Classification": "spark-defaults",
"Properties": {
"spark.driver.memory": "12G"
}
}
]

Możesz to zrobić w większości konfiguracji, niezależnie od tego, czy spark-default, hadoop core-siteitp.

Mam nadzieję, że to pomoże !