Apacheスパークインストールとdb_metastore - apache-spark

私はスパークの初心者です。 私はjavaとspark-1.6.1-bin-hadoop2.6.tgz（私はHadoopをインストールしていない）をインストールし、confディレクトリの設定を変更してspark-shellを実行しました。 スパークがインストールされているディレクタでは、metastore_dbにtmpフォルダが作成されていることがわかります。 なぜこのmetastore_dbが作成されていますか、これはどこに設定されていますか？ また、spark-shellを実行した後にsqlContextが作成されていることがわかります。このsqlContextは何を表していますか？

回答：

spark-shellを実行すると、SparkContextとSQLContextが作成されます。 SQLContextはSparkContextの拡張で、 スパークSQL。これは、SQLクエリ（メソッドSQL）を実行し、DataFramesを作成するメソッドを持っています。

db_metastoreはHiveメタストアのパスです。 Sparkは、HiveContext経由でApache Hiveのクエリをサポートします。 hive-site.xmlが設定されていない場合、Sparkはdb_metastoreパスを使用します。 ドキュメンテーション 詳細については。

ただし、Spark 2.0をダウンロードするとよいでしょう。 SparkSessionという名前のSparkへの統一されたエントリポイントがあります。このクラスを使用すると、多くのソースからデータを読み込み、データセットなどを作成できます。