SparkR job (skrypt R) przesyła przy użyciu iskry-submit fail w klastrze BigInsights Hadoop - r, ibm-cloud, apache-spark-sql, cloudant, biginsights

Stworzyłem usługę IBM BigInsights z klastrem hadoop złożonym z 5 węzłów (w tym Apache Spark with SparkR). Próbuję użyć SparkR do połączenia chmurowej bazy danych i uzyskania niektórych danych oraz wykonania niektórych operacji.

SparkR job (skrypt R) przesyła przy użyciu polecenia spark-submit w klastrze BigInsights Hadoop. Stworzyłem skrypt SparkR i uruchomiłem poniższy kod,

-bash-4.1$ spark-submit --master local[2] test_sparkr.R
16/08/07 17:43:40 WARN SparkConf: The configuration key "spark.yarn.applicationMaster.waitTries" has been deprecated as of Spark 1.3 and and may be removed in the future. Please use the new key "spark.yarn.am.waitTime" instead.
Error: could not find function "sparkR.init"
Execution halted
-bash-4.1$

Zawartość pliku test_sparkr.R to:

# Creating SparkConext and connecting to Cloudant DB
sc <- sparkR.init(sparkEnv = list("cloudant.host"="<<cloudant-host-name>>","<<><<cloudant-user-name>>>","cloudant.password"="<<cloudant-password>>", "jsonstore.rdd.schemaSampleSize"="-1"))

# Database to be connected to extract the data
database <- "testdata"
# Creating Spark SQL Context
sqlContext <- sparkRSQL.init(sc)
# Creating DataFrame for the "testdata" Cloudant DB
testDataDF <- read.df(sqlContext, database, header="true", source = "com.cloudant.spark",inferSchema="true")

Jak zainstalować złącze chmurki iskrobezpiecznej w IBM BigInsights i rozwiązać problem. Prosimy zrobić, co konieczne. Pomoc będzie bardzo mile widziane.

Odpowiedzi:

Uważam, że złącze chmurki iskrzenia nie jest jeszcze dla R.

Mam nadzieję, że mogę zaktualizować tę odpowiedź, gdy jest!