Existe uma maneira oficial de suportar o Spark 1.6.2 e 2.0.0 no cluster do Hadoop 2.7.2.2? - hadoop, faísca apache, fio

Eu tenho um cluster executando o fio Hadoop 2.7.2 com alocação dinâmica habilitada para o Spark 1.6.2.

Existe uma maneira oficial de suportar o Spark 1.6.2 e 2.0.0? Porque quando eu tentei enviar um aplicativo do cliente Spark 2.0.0, a exceção aconteceu no driver como abaixo:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J
at org.apache.spark.internal.config.ConfigHelpers$.byteFromString(ConfigBuilder.scala:63)
at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197)
at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197)
at org.apache.spark.internal.config.TypedConfigBuilder.createWithDefaultString(ConfigBuilder.scala:131)
at org.apache.spark.internal.config.package$.<init>(package.scala:41)
at org.apache.spark.internal.config.package$.<clinit>(package.scala)
at org.apache.spark.deploy.yarn.ApplicationMaster.<init>(ApplicationMaster.scala:69)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:785)
at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:71)
at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:70)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:70)
at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:784)
at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

Respostas:

Este recurso é suportado pela distribuição HDP da Hortonwork, eu tenho um cluster rodando HDP 2.5, que suporta o Hadoop 2.7.3, Spark 1.6.2 e 2.0.0 no Centos7.

Eu não tive nenhum problema ao usar os trabalhos Spark e Spark2.

Como você instalou e configurou as duas versões do Spark? Você pode tentar Sandbox HDP e use como inspiração como o Spark & ​​Spark2 é configurado para o seu próprio cluster.