/ / org.apache.spark.ml.feature.IDF error - scala, apache-spark, apache-spark-mllib

org.apache.spark.ml.feature.IDF error - scala, apache-spark, apache-spark-mllib

Jak wspomniano w http://spark.apache.org/docs/latest/ml-features.html

import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}

Wyświetla Spark

scala> import org.apache.spark.ml.feature.IDF
<console>:13: error: object IDF is not a member of package org.apache.spark.ml.feature
import org.apache.spark.ml.feature.IDF

Natomiast, import org.apache.spark.mllib.feature.IDF działa w porządku.

Wszelkie powody błędu. Jestem nowy, aby iskrzyć i scala.

Odpowiedzi:

1 dla odpowiedzi № 1

Przyczyną błędu jest to, że feature.IDF klasa została wprowadzona do spark-ml z iskrą 1.4. Więc object IDF is not a member of package org.apache.spark.ml.feature błąd.

Zamiast tego możesz spróbować użyć klasy IDF iskrow-mllib.


1 dla odpowiedzi nr 2

Nie można tego odtwarzać w spark-1.4.1. Jakiej wersji używasz?

scala> import org.apache.spark.ml.feature.IDF
import org.apache.spark.ml.feature.IDF

scala> import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}
import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}

EDIT1

Spark 1.2.x zawiera tylko: org.apache.spark.mllib.feature.IDF

Spróbuj wyszukać IDF tutaj: https://spark.apache.org/docs/1.2.0/api/scala/index.html#org.apache.spark.mllib.feature.IDF