मैं एसबीटी के माध्यम से नमूना स्पार्क स्कैला फ़ाइल संकलित करने की कोशिश कर रहा हूं और ग्रहण आईडीई में मेवेन प्रोजेक्ट बनाया है
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object simpleSpark {
def main(args : Arrayt[String]){
val logfile = "C:\spark-1.6.1-bin-hadoop2.6spark-1.6.1-bin-hadoop2.6README.md"
val conf = new SparkConf().setAppName("Simple Application").setMaster("local[2]").set("spark.executor.memory", "1g")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numHadoops = logData.filter(line => line.contains("Hadoop")).count()
val numSparks = logData.filer(line => line.contains("Spark")).count()
println("Lines with Hadoop: %s, Lines with Spark: %s".format(numHadoops, numHadoops))
}
}
उत्तर:
जवाब के लिए 0 № 1त्रुटि कहती है कि आपके पास अवैध शुरुआत हैयहाँ अभिव्यक्ति सेट ("spark.executor.memory",)। क्या आप वाकई वास्तविक कोड में spark.executor.memory सही ढंग से सेट करते हैं? यदि हां, क्या आप दिखा सकते हैं कि आपने जो लिखा है वह एसएसबीटी फाइल है?