Zasadniczo muszę to zintegrować CTBNCToolkit z Apache Spark, więc ten zestaw narzędzi może korzystać z funkcji współbieżności i grupowania Apache Spark.
Ogólnie chciałbym wiedzieć, czy istnieje jakakolwiek droga przez Apache Spark programiści integrują dowolną bibliotekę Java / Scala w taki sposób, że biblioteka uczenia maszynowego może działać na szczycie Zarządzanie współbieżnością Sparka?
Tak więc celem jest uczynienie autonomicznych bibliotek uczenia maszynowego szybciej i współbieżnie.
Odpowiedzi:
0 dla odpowiedzi № 1Nie, to nie jest możliwe.
A więc chcesz, żeby każdy algorytm działał na Sparku. Ale, aby zrównoważyć pracę, używa Spark RDDs lub Datasets. Aby równolegle wykonywać zadania, algorytmy będą musiały korzystać z tych klas.
Jedyne, co możesz spróbować, to pisaćswój własny program Spark, który korzysta z dowolnej innej biblioteki. Ale nie jestem pewien, czy jest to możliwe w twoim przypadku. Jednak czyż nie jest wystarczająco dużo dla ciebie?