/ / hiveとunixスクリプト - unix、hadoop、hive

ハイブとユニックススクリプト - unix、hadoop、hive

私は csvファイルとCTL 列名、サイズ、行数、場所などのファイル情報

私はそれをロードする必要があります ハイブ ハイブテーブル用のctlファイルを作成します

そして ctlファイルが一致するかどうかを確認する

私は bashスクリプト ハイブコマンドからハイブテーブル情報を抽出する "フォーマットされたtablename" 別のctlファイルを作成し、両方のCTLファイルを比較します。

スクリプトの構文についてはわからないが、私はそれが痛感できると思う

ハイブテーブル情報を取得する別の方法はありますか?

回答:

回答№1は0

列名のみを取得するには

hive -e "describe <table_name>"|awk -F" " "{ print $1 }"

ファイルにリダイレクトする場合

hive -e "describe <table_name>"|awk -F" " "{ print $1 }" >> describe.txt

回答№2の場合は0

1)CTLに関する完全な情報を提供するファイル。 2)csvのctlファイルを解析し、それに基づいてハイブテーブルAを作成する 3)他のctlテーブルと同じパーサcreateテーブルBを使用する 4) "を実行すると、フォーマットされたテーブルAとテーブルBは、CreateTime:LastAccessTime Locationのようなエントリを削除し、ファイル 5)各ファイルの違いを見つける

おそらく、もしあなたがファイルをどのようにしているかについてもっと詳しく説明できるならば、それを自動化するためのbashスクリプトを用意することができます。

列名を取得するためのbashスクリプトを提供するために、ここで出力された表の名前を入力します