Eu uso o Windows 8 com uma caixa virtual cloudera-quickstart-vm-5.4.2-0. Eu estou querendo colocar um arquivo "words.txt" no HDFS. Eu tenho uma exceção de conexão.
Eu verifiquei outros threads / soluções StackOverflow e tentei o seguinte:
Eu verifiquei o status do
namenode
e datanode.
Parece que onamenode
está morto enquanto o datanode está em execução.Eu reiniciei o
namenode
, mas ainda não está em execução.
Aqui está uma captura de tela do terminal usando todas as etapas: terminal.png
Eu não tenho idéia do que fazer a seguir para resolver o problema que tenho.
Nota: Sou novo no Hadoop, por isso não estou familiarizado com a maioria dos termos técnicos associados a ele. Uma solução descritiva é muito apreciada.
Respostas:
-1 para resposta № 1Corrigido meu próprio problema
Verifique o status de todos os serviços:
for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
, a saída deve ser:
Hadoop datanode is running [ OK ]
Hadoop namenode is dead and pid file exists [FAILED]
Hadoop secondarynamenode is running [ OK ]
Para obter o namenode em execução, faça o seguinte:
- Pare todos os serviços:
for service in /etc/init.d/hadoop-hdfs-*; do $service stop; done;
- limpar o cache do diretório de cache:
sudo rm -rf /var/lib/hadoop-hdfs/cache/*
- nó de nome de reformatação:
sudo -u hdfs hdfs namenode -format
- inicie todos os serviços:
for service in /etc/init.d/hadoop-hdfs-*; do $service start; done;
- verifique o status:
for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
O resultado deve ser:
Hadoop datanode is running [ OK ]
Hadoop namenode is running [ OK ]
Hadoop secondarynamenode is running [ OK ]
Conforme descrito no link a seguir:
http://kshitish-bigdata.blogspot.nl/2015/02/hadoop-namenode-is-dead-and-pid-file.html