¿Qué versión de Scala funciona con Spark 2.2.0? Estoy recibiendo el siguiente error
"Exception in thread" main "java.lang.NoSuchMethodError: scala.Predef $ .refArrayOps ([Ljava / lang / Object;) Lscala / collection / mutable / ArrayOps;"
Gracias
Respuestas
0 para la respuesta № 1Chispa 2.2.0 se crea y distribuye para trabajar con Scala 2.11 por defecto. Para escribir aplicaciones en Scala, deberá usar una versión de Scala compatible (por ejemplo, 2.11.X). Y tu versión de scala podría ser 2.12.X. Es por eso que está lanzando excepción.
3 para la respuesta № 2
De la documentación aquí:
Spark se ejecuta en Java 8+, Python 2.7 + / 3.4 + y R 3.1+. Para la API de Scala, Spark 2.2.0 utiliza Scala 2.11. Necesitará usar un Scala compatible. versión (2.11.x).
0 para la respuesta № 3
Spark 2.2.0 necesita Java 8+ y scala 2.11. Eso es sobre la información de la versión.
Pero, mirando su error "Exception in thread" main "java.lang.NoSuchMethodError:", parece que su Spark no puede encontrar la clase de controlador.
Probablemente debería mirar en esta dirección en lugar de versiones.