Função Coluna Md5 na coluna em faísca sql - apache-spark, md5

Como você chama a função Md5 Column em todas as colunas em uma tabela do spark sql?

É o mesmo que sintaxe HiveSQL?

SELECT md5(*) FROM employee;

Respostas:

O Spark SQL inclui o HiveContext para que seudeclaração deve funcionar. Antes do Spark 2.0, pode ser necessário especificar o HiveContext (embora o SQLContext faça o truque. Para o Spark 2.0, a sessão do Spark inclui o HiveContext, portanto você não precisará especificá-lo.