Іскра / S3 Імпортування даних - apache-іскр, вулик, піспарк

Я розвернув кластер Spark з 10 рабами, і зробив наступне.

export AWS_ACCESS_KEY_ID=**key_here**
export AWS_SECRET_ACCESS_KEY=**key_here**

cd spark/bin
./pyspark

logs = sqlContext.read.json("s3n://file/path/2015-11-17-14-20-30")

Нижче я отримав таку помилку.

Виняток: ("Ви повинні побудувати Spark разом з Hive. Експортувати "SPARK_HIVE = true" і запустити збирання / sbt ", Py4JJavaError (u" сталася помилка під час виклику None.org.apache.spark.sql.hive.HiveContext.n ", JavaObject id = o23))

Я не впевнений, що інші кроки, які я "D" повинні прийняти, як тільки я експортувати іскровий кущ змінної, або де знайти папку build / sbt.

Відповіді:

Доступ Spark S3 побудований на S3 доступу Hadoop - якщови побудували Spark самостійно (схоже на випадок) перекомпілювати за інструкціями (SPARK_HIVE = true як змінну середовища і потім знову запустити sbt). інакше завантажте версію іскри "готовий для Hadoop"