Як згадувалося в http://spark.apache.org/docs/latest/ml-features.html
import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}
Іскра дисплеїв
scala> import org.apache.spark.ml.feature.IDF
<console>:13: error: object IDF is not a member of package org.apache.spark.ml.feature
import org.apache.spark.ml.feature.IDF
Враховуючи, що import org.apache.spark.mllib.feature.IDF добре працює.
Будь-які причини помилки. Я є новим для іскра та scala.
Відповіді:
1 для відповіді № 1Причиною помилки є те, що feature.IDF клас був введений в spark-ml з іскрою 1.4. Таким чином, object IDF is not a member of package org.apache.spark.ml.feature помилка
Ви можете спробувати скористатися класом IDF spark-mllib.
1 для відповіді № 2
Це не можна відтворити spark-1.4.1. Яку версію ви використовуєте?
scala> import org.apache.spark.ml.feature.IDF
import org.apache.spark.ml.feature.IDF
scala> import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}
import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}
EDIT1
Іскра 1.2.x містить тільки: org.apache.spark.mllib.feature.IDF
Спробуйте шукати IDF тут: https://spark.apache.org/docs/1.2.0/api/scala/index.html#org.apache.spark.mllib.feature.IDF