No Hortonworks Sandbox 2.4, o uso de Spark do driver SQLServer resulta em “Nenhum driver adequado encontrado” - sql-server, jdbc, apache-faísca, hortonworks-data-platform, apache-zeppelin

HDP versão 2.4

Estou tentando gravar em um banco de dados do SQL Server por meio do sqljdbc41.jar do driver JDBC do Microsoft SQL Server. Eu estou executando o seguinte no Zeppelin:

val foo = sqlContext.jdbc("jdbc:sqlserver://X;databaseName=X;user=X;password=X", "X")

que produz o erro "nenhum driver adequado encontrado".

Este é um problema comum e até agora eu tentei o seguinte, sem sorte, com base em vários remédios que eu encontrei através das interwebs:

• adicione o caminho completo ao JAR para as seguintes propriedades em spark-defaults.conf:

spark.driver.extraClassPath
spark.executor.extraClassPath
spark.files

• adicione SPARK_CLASSPATH com o mesmo caminho JAR em spark_env.sh

Depois de fazer essas mudanças eu parei einiciei o serviço Spark por meio da interface Ambari e vejo as alterações refletidas no portal Ambari e nos arquivos de configuração na VM.

Eu notei que muitos posts indicam que você ainda tem que fornecer o jar no classpath ao executar spark-submit, mas eu estou acessando através do Zeppelin, então não tenho certeza de como isso se aplica.

Respostas:

Tente usar o JDBC Interpreter com o Zeppelin 0.6.0 e configure o driver do MySQL.

Você também pode tentar seguir http://thedataist.com/tutorial-using-apache-zeppelin-with-mysql/

Talvez você só precise alterar a string de conexão como esta postagem sugere.