/ / EMRでSpark / Zeppelinにspark.driver.memoryを設定する方法-apache-spark、emr、amazon-emr、apache-zeppelin

EMRでspark / zeppelinのspark.driver.memoryを設定する方法 - apache-spark、emr、amazon-emr、apache-zeppelin

EMR(Spark、Zeppelinを使用)を使用する場合、変更 spark.driver.memory Zeppelin Sparkでは、インタープリターの設定は機能しません。

EMR Webインターフェース(aws CLIではありません)を使用してクラスターを作成するときに、Sparkドライバーのメモリを設定する最良かつ最速の方法は何でしょうか?

ブートストラップアクションは解決策になる可能性がありますか? 「はい」の場合、ブートストラップアクションファイルがどのように見えるべきか例を示してください。

回答:

回答№1の場合は3

ジョブフロー/クラスターの作成時に次の設定をいつでも追加できます:

[
{
"Classification": "spark-defaults",
"Properties": {
"spark.driver.memory": "12G"
}
}
]

これは、ほとんどの構成で行うことができます。 spark-default、ハドープ core-site

これがお役に立てば幸いです!