/ / Falha ao reiniciar o namenode do Hadoop usando o cloudera quickstart - hadoop, hdfs, cloudera, cloudera-cdh

Falha ao reiniciar o namenode do Hadoop usando o cloudera quickstart - hadoop, hdfs, cloudera, cloudera-cdh

Eu uso o Windows 8 com uma caixa virtual cloudera-quickstart-vm-5.4.2-0. Eu estou querendo colocar um arquivo "words.txt" no HDFS. Eu tenho uma exceção de conexão.

Eu verifiquei outros threads / soluções StackOverflow e tentei o seguinte:

  • Eu verifiquei o status do namenode e datanode.
    Parece que o namenode está morto enquanto o datanode está em execução.

  • Eu reiniciei o namenode, mas ainda não está em execução.

Aqui está uma captura de tela do terminal usando todas as etapas: terminal.png

Eu não tenho idéia do que fazer a seguir para resolver o problema que tenho.

Nota: Sou novo no Hadoop, por isso não estou familiarizado com a maioria dos termos técnicos associados a ele. Uma solução descritiva é muito apreciada.

Respostas:

-1 para resposta № 1

Corrigido meu próprio problema

Verifique o status de todos os serviços: for service in /etc/init.d/hadoop-hdfs-*; do $service status; done; , a saída deve ser:

Hadoop datanode is running [  OK  ]
Hadoop namenode is dead and pid file exists [FAILED]
Hadoop secondarynamenode is running  [  OK  ]

Para obter o namenode em execução, faça o seguinte:

  • Pare todos os serviços: for service in /etc/init.d/hadoop-hdfs-*; do $service stop; done;
  • limpar o cache do diretório de cache: sudo rm -rf /var/lib/hadoop-hdfs/cache/*
  • nó de nome de reformatação: sudo -u hdfs hdfs namenode -format
  • inicie todos os serviços: for service in /etc/init.d/hadoop-hdfs-*; do $service start; done;
  • verifique o status: for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;

O resultado deve ser:

Hadoop datanode is running [  OK  ]
Hadoop namenode is running [  OK  ]
Hadoop secondarynamenode is running [  OK  ]

Conforme descrito no link a seguir:

http://kshitish-bigdata.blogspot.nl/2015/02/hadoop-namenode-is-dead-and-pid-file.html