Os dados permanecem no HDFS quando o cluster do Hadoop está inativo? - hadoop

Eu sou novo no Qubole e queria saber se os dados permanecem no HDFS depois que o cluster do Hadoop está desativado?

Qualquer ajuda é apreciada.

Obrigado.

Respostas:

Isso depende do que está no cluster. Existem daemons no Hadoop, Namenode, nó de dados, gerenciador de recursos, AppMaster e etc.

Portanto, se o Namenode estiver inativo (nó mestre), os dados permanecerão como estão no cluster, mas você não poderá acessá-lo. Porque, o nó Nome contém os metadados dos nós de dados.

Se um nó Data estiver inativo em um cluster (nó escravo),então você não poderá acessar os dados deste nó, mas por padrão os dados serão armazenados em 3 locais no cluster para tolerância a falhas. Então você ainda pode acessar os dados de outros dois nós.

Nenhum dado no HDFS desapareceu. Não fazemos backup / restauração de HDFS. O modelo de computação em EC2 / S3 é que os dados de longa duração sempre residem em S3 e HDFS são usados ​​apenas para dados intermediários e de controle. Também usamos HDFS (e disco local), às vezes como um cache.