मूल्य toDF सदस्य नहीं है org.apache.spark.rdd.RDD - स्कैला, अपाचे-स्पार्क, स्पार्क-डेटाफ्रेम

def main(args: Array[String]) {
val conf = new SparkConf().setMaster("local").setAppName("test")
val sc = new SparkContext(conf)
//require spark sql environment
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
val df1 = sc.makeRDD(1 to 5).map(i => (i, i * 2)).toDF("single", "double")
sc.stop()
}

मैंने लिखा है "import sqlContext.implicits।_ "; हालांकि यह अभी भी काम नहीं करता है। यह स्पार्क-शेल में सही है। इस स्थिति में यह सही क्यों नहीं है? मैंने डेटा फ्रेम में rdd का अनुवाद करने के लिए कई अन्य तरीके देखे हैं, लेकिन मेरे अधिकांश कोड को toDF () के रूप में लिखा गया है। ToDF काम करने के लिए कैसे करें? त्रुटि:

Error:(25, 55) value toDF is not a member of org.apache.spark.rdd.RDD[(Int, Int)]
val df1 = sc.makeRDD(1 to 5).map(i => (i, i * 2)).toDF("single", "double")
^

उत्तर:

toDF () स्पार्क संस्करण 1.3 में जोड़ा गया है, आप स्पार्क के पुराने संस्करण (1.3 से कम) का उपयोग कर रहे होंगे, इसलिए आपको यह त्रुटि मिल रही है।
इसे हल करने के लिए, स्पार्क संस्करण 1.3 या इसके बाद के संस्करण का उपयोग करें।