Whirr não conseguiu baixar hadoop - apache-whirr

seguindo o exemplo do guia de início rápido http://whirr.apache.org/docs/0.8.1/quick-start-guide.html Eu queria começar um cluster whirr hadoop. Infelizmente recebo os mesmos erros desta entrada aqui Whirr: Não é possível conectar ao cluster Hadoop no EC2 após lauch-cluster . Vejo na saída do lançamento do cluster que aparentemente já existe algum problema ao baixar o hadoop. Alguma ideia? Obrigado!

bin / whirr launch-cluster --config ~ / .whirr / hadoop.properties Executando no provedor aws-ec2 usando a identidade AKIAJUS7X6OK3HC3SJMQ Cluster de inicialização Configurando modelo para bootstrap-hadoop-datanode_hadoop-tasktracker Configurando o modelo para bootstrap-hadoop-jobtracker_hadoop-namenode Iniciando 1 nó (s) com funções [hadoop-datanode, hadoop-tasktracker] Iniciando 1 nó (s) com funções [hadoop-jobtracker, hadoop-namenode]

corridaInitScript {INSTANCE_NAME = bootstrap-hadoop-jobtracker_hadoop-namenode} no nó (us-east-1 / i-6343df03) executando InitScript {INSTANCE_NAME = bootstrap-hadoop-datanode_hadoop-tasktracker} no nó (us-east-1 / i-6143df01)

<< erro de execuçãoInitScript {INSTANCE_NAME = bootstrap-hadoop-datanode_hadoop-tasktracker} no nó (us-east-1 / i-6143df01): {output = This function does nothing. Ele só precisa existir para que Statements.call ("retry_helpers") não chame algo que não existe .... .... Não foi possível baixar http://apache.osuosl.org/hadoop/common/hadoop-1.0.4/hadoop- 1.0.4.tar.gz.md5. Continuando. Falha ao baixar hadoop-1.0.4.tar.gz. Abortando. , error = dpkg-preconfigure: incapaz de reabrir stdin:

Respostas:

Especificar o url do tarball ajudará você a instalar o hadoop corretamente.

por exemplo.

whirr.hadoop.version=1.2.1
whirr.hadoop.tarball.url=http://apache.osuosl.org/hadoop/common/hadoop-${whirr.hadoop.version}/hadoop-${whirr.hadoop.version}.tar.gz

O erro do download do md5 é porque o whirr usa install_tarball.sh dentro whirr/core/src/main/resources/functions

você pode mudar o HadoopClusterActionHandler.java usar install_tarball_no_md5.sh dentro whirr/core/src/main/resources/functions/