faísca dataframe união dataframe em faísca-faísca - apache-faísca, solr, apache-spark-sql, faísca-dataframe

Eu tenho muitos quadros de dados de consulta do solr. Estes dataframe seria união de um dataframe

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

def qmap(filter: String, options: Map[String, String]): DataFrame = {
val qm = Map(
"query" -> filter
)
val df = sqlContext.read.format("solr").options(options).options(qm).load
return df
}

val dfs = sub.map(x => qmap(x,subject_options)).reduce((x,y) => x.unionAll(y))

No entanto, existem algumas exceções para contar a ação do dfs.

Por favor, me dê alguns métodos ou pensamentos para corrigi-lo. Obrigado.

Respostas:

Substituir

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

com

var sub = sc.textFile("file:/home/zeppelin/query_term.txt").collect