Spark S3 liest gibt NullPointerException - Amazon-s3, Apache-Funke

Ich versuche, Dateien von S3-Dateisystem zu verarbeiten. Ich habe die AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY exportiert. Ich habe auch die Konfiguration eingestellt

hadoopConf.set ("fs.s3.awsAccessKeyId", "") hadoopConf.set ("fs.s3.awsSecretAccessKey", "")

Error:

[error] (run-main-0) java.lang.NullPointerException
java.lang.NullPointerException
at org.apache.hadoop.fs.s3native.NativeS3FileSystem.listStatus(NativeS3FileSystem.java:479)
at org.apache.hadoop.fs.Globber.listStatus(Globber.java:69)
at org.apache.hadoop.fs.Globber.glob(Globber.java:217)
at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1642)
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:257)
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:228)
at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:304)
at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:207)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)
at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)

build.sbt Meine build.sbt hat die folgenden Abhängigkeiten

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"

libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.4.0"

libraryDependencies += "net.java.dev.jets3t" % "jets3t" % "0.9.3"

Ich verwende AWS IAM für die Zugriffstasten. Fehle ich etwas?

Jede Hilfe würde sehr geschätzt werden.

Antworten:

Ohne weitere Details werde ich blindlings schießen und sagen, dass Ihr URI-Pfad ungültig ist.