Як встановити spark.driver.memory для Spark / Zeppelin на EMR - apache-spark, emr, amazon-emr, apache-ceppelin

При використанні EMR (з Spark, Zeppelin), змінюється spark.driver.memory в налаштуваннях Zeppelin Spark перекладач не працюватиме.

Цікаво, що це найкращий і найшвидший спосіб встановити пам'ять драйвера Spark при використанні веб-інтерфейсу EMR (а не CLI) для створення кластерів?

Чи може діяти Bootstrap? Якщо так, чи не могли б Ви навести приклад того, як має виглядати файл дій для початкової завантаження?

Відповіді:

Ви завжди можете спробувати додати наступну конфігурацію при створенні завдання / кластера:

[
{
"Classification": "spark-defaults",
"Properties": {
"spark.driver.memory": "12G"
}
}
]

Ви можете зробити це більшість конфігурацій для spark-default, хаооп core-siteі т. д.

Я сподіваюсь, це допоможе!