Spark s3 read da NullPointerException - amazon-s3, apache-spark

Estoy tratando de procesar archivos desde el sistema de archivos S3. He exportado el AWS_ACCESS_KEY_ID y AWS_SECRET_ACCESS_KEY. También he configurado la configuración.

hadoopConf.set ("fs.s3.awsAccessKeyId", "") hadoopConf.set ("fs.s3.awsSecretAccessKey", "")

Error:

[error] (run-main-0) java.lang.NullPointerException
java.lang.NullPointerException
at org.apache.hadoop.fs.s3native.NativeS3FileSystem.listStatus(NativeS3FileSystem.java:479)
at org.apache.hadoop.fs.Globber.listStatus(Globber.java:69)
at org.apache.hadoop.fs.Globber.glob(Globber.java:217)
at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1642)
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:257)
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:228)
at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:304)
at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:207)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)
at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)

build.sbt Mi build.sbt tiene las siguientes dependencias

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"

libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.4.0"

libraryDependencies += "net.java.dev.jets3t" % "jets3t" % "0.9.3"

Yo uso AWS IAM para las claves de acceso. ¿Me estoy perdiendo de algo?

Cualquier ayuda sería muy apreciada.

Respuestas

Sin más detalles, voy a disparar a ciegas y decir que su ruta de URI no es válida.