Ново за Spark и Spark SQL с Java - java, apache-spark, apache-spark-sql, миграция на данни, bigdata

Аз съм нов за Spark и Spark SQL, но знам Java и SQL.

Как мога да използвам Spark SQL специално, за да получа пакет от Oracle съхранени процедури, преобразувани в Spark, използвайки Spark SQL. Примери моля.

Отговори:

Следният код е пример Spark SQL; Можете ли да ме питате

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class SparkSQL {

public static void main(String[] args) {
SparkSession sparkSession = SparkSession.builder().master("local").getOrCreate();
Dataset<Row> peopleDS = sparkSession.read().json("C:\people.json");
peopleDS.createOrReplaceTempView("people");

Dataset<Row> sql = sparkSession.sql("select city,avg(age) from people group by city");

sql.show();



}

}