/ / Hadoopで差分を実装する方法は? - hadoop、diff、bigdata

Hadoopでdiffを実装する方法は? - hadoop、diff、bigdata

ローカルFSにあるデータを比較したいHadoopにあるデータと比較します(diffはHadoopでは動作しません) 私たちが作業しているデータが膨大であるため、 "hadoop fs -copyToLocal"を実行して比較したくありません。 (すぐにローカルストレージをいっぱいにするので)

ローカルFSとHadoop FSの間のデータを比較するのに役立つツールがありますか?

回答:

回答№1は0

- diffローカルファイルを使用する<(hadoop fs -cat / HadoopFilePath / file)