私は初めてです Hadoop、および私は1つのマルチノードHadoopを設定しました Hadoop 2.5.1 バージョン。 コマンドを使用してmapreduceジョブを実行するとき
hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5
しかし、出力を見ると、1つのマッパーと1つのレデューサーのみが実行されています。
そして、私はマップスロットとレデューサースロットの概念がありません Hadoop 2.5.1
そして、私のファイルサイズは 78MB。私のファイルサイズが非常に小さく、ブロックが非常に低いため、実行されているマッパーは1つだけなので、その理由は何ですか？
これを手伝ってくれることは私にとって素晴らしいことです。
ありがとうございます。それでは、お元気で、 スリラタ・K
回答：
回答№1は1これは、ブロックのデフォルトサイズが128MBであるため、サイズ78Mのファイルが複数のブロックに分割されることがないためです。 この デフォルトのブロックサイズは128です。
2つのマッパーを表示する場合は、$ HADOOP_HOME / conf / hdfs-site.xmlに次の行を追加します
<property>
<name>dfs.blocksize</name>
<value>64M</value>
</property>