EMR(Spark、Zeppelinを使用)を使用する場合、変更 spark.driver.memory
Zeppelin Sparkでは、インタープリターの設定は機能しません。
EMR Webインターフェース(aws CLIではありません)を使用してクラスターを作成するときに、Sparkドライバーのメモリを設定する最良かつ最速の方法は何でしょうか?
ブートストラップアクションは解決策になる可能性がありますか? 「はい」の場合、ブートストラップアクションファイルがどのように見えるべきか例を示してください。
回答:
回答№1の場合は3ジョブフロー/クラスターの作成時に次の設定をいつでも追加できます:
[
{
"Classification": "spark-defaults",
"Properties": {
"spark.driver.memory": "12G"
}
}
]
これは、ほとんどの構成で行うことができます。 spark-default
、ハドープ core-site
等
これがお役に立てば幸いです!