ローカルFSにあるデータを比較したいHadoopにあるデータと比較します(diffはHadoopでは動作しません) 私たちが作業しているデータが膨大であるため、 "hadoop fs -copyToLocal"を実行して比較したくありません。 (すぐにローカルストレージをいっぱいにするので)
ローカルFSとHadoop FSの間のデータを比較するのに役立つツールがありますか?
回答:
回答№1は0- diffローカルファイルを使用する<(hadoop fs -cat / HadoopFilePath / file)