Esiste un modo ufficiale per supportare Spark 1.6.2 e 2.0.0 sul cluster Hadoop 2.7.2? - hadoop, apache-spark, yarn

Ho un cluster con filato Hadoop 2.7.2 con allocazione dinamica abilitata per Spark 1.6.2.

Esiste un modo ufficiale per supportare Spark 1.6.2 e 2.0.0? Perché quando ho provato a inviare un'applicazione dal client Spark 2.0.0, si è verificata un'eccezione nel driver come di seguito:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J
at org.apache.spark.internal.config.ConfigHelpers$.byteFromString(ConfigBuilder.scala:63)
at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197)
at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197)
at org.apache.spark.internal.config.TypedConfigBuilder.createWithDefaultString(ConfigBuilder.scala:131)
at org.apache.spark.internal.config.package$.<init>(package.scala:41)
at org.apache.spark.internal.config.package$.<clinit>(package.scala)
at org.apache.spark.deploy.yarn.ApplicationMaster.<init>(ApplicationMaster.scala:69)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:785)
at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:71)
at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:70)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:70)
at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:784)
at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

risposte:

Questa funzione è supportata dalla distribuzione HDP di Hortonwork, ho un cluster con HDP 2.5, che supporta Hadoop 2.7.3, Spark 1.6.2 e 2.0.0 su Centos7.

Non ho riscontrato alcun problema durante l'utilizzo dei lavori Spark e Spark2.

Come hai installato e configurato entrambe le versioni di Spark? Puoi fare un tentativo Sandbox HDP e usa come ispirazione come è configurato Spark & ​​Spark2 per il tuo cluster.