Existe-t-il des outils python ou scala permettant de connecter l’étincelle / le requin - python, scala, apache-spark, shark-sql

Je souhaite utiliser python ou scala pour connecter un serveur shark. Mais je n’ai trouvé aucun outil pour le faire. Existe-t-il des bibliothèques (python ou scala / java)? Merci d'avance.

Réponses:

Vous ne comprenez pas ce que vous entendez par relier mais les deux requin et étincelle parle scala:

$./bin/shark-shell
scala> val youngUsers = sql2rdd("SELECT * FROM users WHERE age < 20")
scala> println(youngUsers.count)
...
scala> val featureMatrix = youngUsers.map(extractFeatures(_))
scala> kmeans(featureMatrix)

En plus étincelle parle python ainsi que.

Si vous voulez exécuter des requêtes SQL avec Shark, Shark "s sharkserver se comporte comme un serveur Hive Thrift standard, vous devriez donc pouvoir réutiliser les méthodes Python existantes pour la connexion à Hive, telles que

• Requêtes Hive via un client Python
• Accéder aux données de la ruche à l'aide de Python

Shark Server prend également en charge Hive "s Interface JDBC, vous pouvez donc l'utiliser pour exécuter des requêtes à partir de Scala ou Java; utilisez simplement l'adresse du serveur Shark à la place de l'adresse du serveur Hive.