私はQuboleを初めて使用しますが、Hadoopクラスターがダウンした後にデータがHDFSに残っているかどうかを知りたいですか?
どんな助けもありがとうございます。
ありがとうございました。
回答:
回答№1は0それは、クラスター内のダウンによって異なります。 Hadoop、Namenode、データノード、リソースマネージャー、AppMasterなどにデーモンがあります。
そのため、Namenodeがダウンしている場合(マスターノード)、データはクラスター内にそのまま残りますが、アクセスすることはできません。なぜなら、名前ノードはデータノードのメタデータを保持しているからです。
データノードがクラスター(スレーブノード)でダウンしている場合、このノードからデータにアクセスすることはできませんが、デフォルトでは、データはフォールトトレランスのためにクラスター内の3つの場所に保存されます。したがって、他の2つのノードからデータにアクセスできます。
回答№2については2
HDFS上のデータは失われていません。 HDFSのバックアップ/復元は行いません。EC2/ S3の計算モデルでは、長寿命データは常にS3に存在し、HDFSは中間データと制御データにのみ使用されます。また、HDFS(およびローカルディスク) 、キャッシュとして。