Cloudera 5.8をLinux RHEL 7にインストールしました。Amazon EC2の2つのインスタンス。私はSSHでログインして、mapreduce操作をテストするためのwordcountの例を次のコマンドで実行しようとしています。
hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount archivo.txt output
問題は、wordcountプログラムがブロックされ、それが出力を生成しないことです。次のものだけが要求されます。
16/08/11 13:10:02 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-22-226.ec2.internal/172.31.22.226:8032
16/08/11 13:10:03 INFO input.FileInputFormat: Total input paths to process : 1
16/08/11 13:10:03 INFO mapreduce.JobSubmitter: number of splits:1
16/08/11 13:10:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470929244097_0007
16/08/11 13:10:04 INFO impl.YarnClientImpl: Submitted application application_1470929244097_0007
16/08/11 13:10:04 INFO mapreduce.Job: The url to track the job: http://ip-172-31-22-226.ec2.internal:8088/proxy/application_1470929244097_0007/
16/08/11 13:10:04 INFO mapreduce.Job: Running job: job_1470929244097_0007
そして「実行中のジョブ」以来ブロックされます。その後、ブロックを解除するにはCtrl + Cを押す必要がありますが、出力は生成されません。
その理由を知っている人なら誰でも?私はそれがおそらく設定上の問題であると思います、そして私はDataNodeなどに新しいです。
どうもありがとう。
回答:
回答№1は0リソース(マップまたはリデューサースロット)がないように見え、ジョブはリソースを待っています。ジョブの状況を確認できます。
http://ip-172-31-22-226.ec2.internal:8088