Kompatibilita verzie Scala Spark - scala, apache-spark

Pokúšam sa nakonfigurovať Scalu v IntelliJ IDE

Moje verzie Scala a Spark v mojom stroji

Welcome to Scala 2.12.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_121).

apache-spark/2.2.1

Súbor SBT

scalaVersion := "2.12.5"
resolvers  += "MavenRepository" at "http://central.maven.org/maven2"

libraryDependencies ++= {
val sparkVersion = "2.2.1"
Seq( "org.apache.spark" %% "spark-core" % sparkVersion)
}

Chyba pri získavaní

Error:Error while importing SBT project:<br/>...<br/><pre>[info] Resolving jline#jline;2.14.5 ...
[error] (*:ssExtractDependencies) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;2.2.1: not found
[error] unresolved dependency: org.apache.spark#spark-core_2.12;1.4.0: not found
[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;2.2.1: not found
[error] unresolved dependency: org.apache.spark#spark-core_2.12;1.4.0: not found

odpovede:

2 pre odpoveď č. 1

Nie je k dispozícii verzia jadrového jadra, ktorú ste definovali vo vašom projekte, Môžete skontrolovať závislosť od maven Viac informácií o dostupných verziách

Ako vidíte, pre verziu 2.2.1 jadra je najnovšia verzia, ktorá sa má stiahnuť, zostavená v Scala 2.11 info tu

tak

buď zmeníte svoj sbt build súbor ako

scalaVersion := "2.11.8"
resolvers  += "MavenRepository" at "http://central.maven.org/maven2"

libraryDependencies ++= {
val sparkVersion = "2.2.1"
Seq( "org.apache.spark" %% "spark-core" % sparkVersion)
}

alebo definovať verziu zostavenia v závislosti ako

libraryDependencies ++= {
val sparkVersion = "2.2.1"
Seq("org.apache.spark" % "spark-core_2.11" % sparkVersion)
}

Dúfam, že odpoveď bude užitočná

---

0 pre odpoveď č. 2

Spark-2.2.1 nepodporuje scalaVersion-2.12, Musíte urobiť toto:

scalaVersion: = "2.11.8"

libraryDependencies + = "org.apache.spark"% "spark-core"% "$ sparkVersion"

Vďaka

---