перетворити 2d список в RDD [вектор] або JavaRDD [вектор] scala - scala, вектор, тип перетворення, rdd

У мене є 2d список цілих чисел, і я хотів би це зробитиперетворити його в RDD [вектор] або JavaRDD [вектор], щоб використовувати метод прогнозування SVM-моделі в іскровому MLlib. Я спробував наступне, щоб перетворити його на rdd. Але здається, що це не те, що мені потрібно.

 val tuppleSlides = encoded.iterator.sliding(10).toList
val rdd = sc.parallelize(tuppleSlides)

Будь-які ідеї, що це за команда перетворити її в потрібний тип?

Спасибі заздалегідь.

Відповіді:

Якщо ви хочете використовувати MLlib, вам знадобиться RDD[LabeledPoint]. Враховуючи свій 2D список даних та деякий список міток, ви можете створити свої RDD[LabeledPoint] подобається так:

scala> val labels = List(1.0, -1.0)
labels: List[Double] = List(1.0, -1.0)

scala> val myData = List(List(1d,2d), List(3d,4d))
myData: List[List[Double]] = List(List(1.0, 2.0), List(3.0, 4.0))

scala> import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.ml.linalg.Vectors

scala> import org.apache.spark.ml.feature.LabeledPoint
import org.apache.spark.ml.feature.LabeledPoint

scala> val vectors = myData.map(x => Vectors.dense(x.toArray))
vectors: List[org.apache.spark.ml.linalg.Vector] = List([1.0,2.0], [3.0,4.0])

scala> val labPts = labels.zip(vectors).map{case (l, fV) => LabeledPoint(l, fV)}
labPts: List[org.apache.spark.ml.feature.LabeledPoint] = List((1.0,[1.0,2.0]), (-1.0,[3.0,4.0]))

scala> val myRDD = sc.parallelize(labPts)
myRDD: org.apache.spark.rdd.RDD[org.apache.spark.ml.feature.LabeledPoint] = ParallelCollectionRDD[0] at parallelize at <console>:34