/ / Spark: Mesclar RDDs - scala, apache-spark, apache-spark-sql e spark-dataframe

Spark: Mesclar RDDs - scala, apache-faísca, apache-spark-sql, spark-dataframe

Usando o Spark 1.4 Eu tenho dois dataframes de esquemas diferentes. Digamos:

DF1: stringA, stringB DF2: stringC

Eu gostaria de mesclar / combinar os dois em um único dataframe como:

DF3: stringA, stringB, stringC

Eu não consigo encontrar uma maneira de combinar os dois quando eles não têm nenhuma chave para eu usar.

Respostas:

2 para resposta № 1

Você está procurando union

rdd.union(rdd2)

Perguntas relacionadas

Consultas SQL em RDD - sql, scala, apache-spark
Transformação de dataframe (preparação de dados) em scala de faísca do apache - scala, join, apache-spark, classificação de multicamadas
erro org.apache.spark.ml.feature.IDF - scala, apache-spark, apache-spark-mllib
IntelliSense em Intellij com bibliotecas de faíscas - scala, apache-spark, intellij-idea
pacote spark-java como usar o Spark do Scala? - scala, faísca-java
Converter o DataFrame de ignição para MlLib Matrix - scala, apache-faísca, faísca-dataframe, apache-spark-mllib
faísca de scala 2.10.4 para 2.11 - scala, eclipse-plugin, apache-faísca, apache-spark-sql
Eu recebo um java.lang.NoClassDefFoundError quando tento executar o exemplo de contagem de palavras em Spark - scala, apache-spark
compreensão da dependência do maven da faísca - maven, apache-faísca
Novo no Spark e Spark SQL com Java - java, apache-faísca, apache-spark-sql, migração de dados, bigdata
Junção do Spark SQL em dois RDDs criados usando java - java, join, apache-faísca, apache-spark-sql
Quantos RDDs no cache Spark - apache-spark
apache spark bluemix impossível - apache-spark, ibm-cloud
O Apache Spark não vê todas as ram das minhas máquinas - apache-spark, google-compute-engine, apache-spark-mllib
Como matar uma faísca se o ID da aplicação for conhecido? - apache-spark, datastax-enterprise
Por quanto tempo os RDDs podem persistir em centelha - apache-spark, persistência, spark-streaming, rdd
Acessar a webUI do Spark a partir do computador remoto (home)? - apache-spark
O DataFrame pode ser acessado a partir de diferentes SparkSessions? - apache-faísca, apache-spark-sql, spark-dataframe
Ho para ler arquivo comprimido “.gz” usando spark DF ou DS? - apache-faísca, apache-spark-sql, faísca-dataframe, gzip, apache-spark-dataset
como fazer atualização na tabela em spark-SQL? - apache-spark-sql, hiveql