/ / Hadoopクラスターがダウンした場合、データはHDFSに残りますか? -ハドープ

HadoopクラスタがダウンしてもデータはHDFSに残りますか? - ハープ

私はQuboleを初めて使用しますが、Hadoopクラスターがダウンした後にデータがHDFSに残っているかどうかを知りたいですか?

どんな助けもありがとうございます。

ありがとうございました。

回答:

回答№1は0

それは、クラスター内のダウンによって異なります。 Hadoop、Namenode、データノード、リソースマネージャー、AppMasterなどにデーモンがあります。

そのため、Namenodeがダウンしている場合(マスターノード)、データはクラスター内にそのまま残りますが、アクセスすることはできません。なぜなら、名前ノードはデータノードのメタデータを保持しているからです。

データノードがクラスター(スレーブノード)でダウンしている場合、このノードからデータにアクセスすることはできませんが、デフォルトでは、データはフォールトトレランスのためにクラスター内の3つの場所に保存されます。したがって、他の2つのノードからデータにアクセスできます。


回答№2については2

HDFS上のデータは失われていません。 HDFSのバックアップ/復元は行いません。EC2/ S3の計算モデルでは、長寿命データは常にS3に存在し、HDFSは中間データと制御データにのみ使用されます。また、HDFS(およびローカルディスク) 、キャッシュとして。