私はS3ファイルシステムからファイルを処理しようとしています。 AWS_ACCESS_KEY_IDとAWS_SECRET_ACCESS_KEYをエクスポートしました。設定もしました
hadoopConf.set（ "fs.s3.awsAccessKeyId"、 ""）hadoopConf.set（ "fs.s3.awsSecretAccessKey"、 ""）
エラー：
[error] (run-main-0) java.lang.NullPointerException
java.lang.NullPointerException
at org.apache.hadoop.fs.s3native.NativeS3FileSystem.listStatus(NativeS3FileSystem.java:479)
at org.apache.hadoop.fs.Globber.listStatus(Globber.java:69)
at org.apache.hadoop.fs.Globber.glob(Globber.java:217)
at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1642)
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:257)
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:228)
at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:304)
at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:207)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)
at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)
build.sbt 私のbuild.sbtには以下の依存関係があります
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"
libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.4.0"
libraryDependencies += "net.java.dev.jets3t" % "jets3t" % "0.9.3"
アクセスキーにはAWS IAMを使用します。私は何かが足りないのですか？
どんな助けでも大歓迎です。
回答：
回答№1は1詳細な説明がない限り、私は盲目的に撃ち、あなたのURIパスは無効であると言っています。