Wie man die dynamische Zuteilung auf Cloudera 5 in YARN einrichtet? - Apache-Funke, Garn, Cloudera-Cdh

Ich versuche, eine dynamische Spark-Ressourcenzuweisung auf Cloudera 5 mit Garn auszuführen.

Im Spark-Dokumentation die Eigenschaften, die festgelegt werden müssen yarn-site.xml fehlen in der Cloudera-Konfigurationsschnittstelle. Obwohl ich diese Eigenschaften manuell eingestellt habe yarn-site.xml und ich füge hinzu yarn-shuffle.jar Im Klassenpfad funktioniert der Shuffling-Dienst nicht.

Ich habe die folgende Ausnahme bekommen

org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: Der auxService: spark_shuffle existiert nicht

Antworten:

Das hat für mich funktioniert:

Wenn Sie Cloudera bereitgestellt haben, wechseln Sie zum cloudera manager (Port 7180) Ich habe CDH 5.6.0

Gehen Sie zu YARN (MR2 enthalten) -> Konfiguration -> NodeManager Default Group -> Advanced

Fügen Sie in das Textfeld, das mit "NodeManager Advanced Configuration Snippet (Sicherheitsventil) für yarn-site.xml" verknüpft ist, Folgendes ein:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>spark_shuffle,mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
<value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>

Klicken Sie auf Änderungen speichern. Aktionen -> Client-Konfiguration bereitstellen Aktionen -> Neustart