bežiace sbt montáž v intellij - intellij - idea, sbt

Som nový na scala a sbt a mám problémy s spustením projektu v intellij. Toto je vzorový projekt, ktorý som sa pokúsil importovať do intellij.

https://github.com/snowplow/spark-example-project

funguje to dobre, ak spustím príkaz sbt assemblyz príkazového riadku, ale ak sa pokúsim vytvoriť konfiguráciu spustenia "aplikácie" v intellij, dostanem chybu vo svojich závislostiach: Spôsobil: java.lang.ClassNotFoundException: org.apache.hadoop.util.Tool

Ako môžem spustiť a ladiť projekt sbt v inteligencii?

odpovede:

0 pre odpoveď č. 1

Áno, je to výzva dostať iskru na spustenie v Intellij: a "odpovede" na to, ako to urobiť zmeniť na základe iskry verzie a ak ste bežali mimo master, alebo nie.

Najlepšia stávka je:

• "Importovať projekt" a prejdite do adresára spark_home.
• vyberte "projekt sbt" (alebo ak uprednostňujete projekt "maven")
• zvyšok možností by ste mali mať možnosť použiť predvolené nastavenia.

Upozornenie: Tento proces pracuje v mistrovstve od začiatku roka 2015 - a vo vydanom odvetví 1.3.0 od polovice marca 2015.

Predtým by sa po dokončení importu do projektu / modulov Intellij zapojili nejaké operácie.

---

0 pre odpoveď č. 2

Dôležitou súčasťou je správnosť vašich závislostí.

Chcem vytvoriť priečinok lib a umiestniť tam svoje súbory s iskrou, napr.

v rámci lib:

spark-streaming_2.10-2.1.0.jar

spark-sql_2.10-2.1.0.jar

spark-core_2.10-2.1.0.jar

Potom môj súbor sbt:

name := "Project_Name"

version := "1.0"

scalaVersion := "2.10.6"
retrieveManaged := true

// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "2.1.0"
// https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "2.1.0"
// https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10
libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "2.1.0" % "provided"

Ako môžete vidieť, dôrazne vás odporúčam, aby ste získali oba .jar a reťazec, ktorý ste vložili do súboru sbt https://mvnrepository.com

Pozrite sa tiež na verzie súborov jar. Mali by byť rovnaké (2.10-2.1.0 v mojom prípade)

---