Lecture des lignes de la table Hive et écriture dans un fichier dans Scala-Spark - scala, apache-spark

Je veux lire les lignes de données de l'une des ruchestableau dans le programme spark-scala.Après cela, les mêmes données doivent être écrites dans un fichier ligne par ligne. En fait, écrivez dans le fichier ligne par ligne. Quelqu'un pourrait-il partager des pointeurs? Spark version 1.6, Hive1.2.

Réponses:

Vous pouvez lire sur la table comme si ...

val mydf = hiveContext.sql("select * from hive_table_name")

mydf.write.save.format("com.databricks.spark.csv").option("header", "true").save(hdfs_path_to_save)

aide de l’analyseur CSV dont vous avez besoin si c’est avant Spark 2.0 https://github.com/databricks/spark-csv