Eu tenho o CDH para rodar em um cluster e tenhoacesso ssh à máquina. Eu preciso conectar meu Mac ao Cluster, então se eu fizer o hadoop fs -ls, ele deve mostrar o conteúdo do cluster. Eu configurei HADOOP_CONF para apontar para a configuração do cluster. Estou executando o CDH4 no meu cluster. Estou faltando alguma coisa aqui, é possível se conectar?
Existe alguma configuração de chave ssh que eu preciso fazer?
Respostas:
0 para resposta № 1Existem algumas coisas que você precisará garantir para fazer isso:
- Você precisa definir o seu
HADOOP_CONF_DIRvariável de ambiente para apontar para um diretório que transporta XMLs de configuração que apontam para seu cluster. - Seu Mac deve poder acessar diretamente os hosts que formam seu cluster (todos eles). Isso pode ser feito via VPN, por exemplo - se o cluster estiver protegido de redes externas.
- Seu Mac deve ter a mesma versão do Hadoop que o cluster executa.