tylko jeden program odwzorowujący i reduktor działają, mimo że zmieniam na 5 maperów i 2 reduktory - hadoop, mapreduce, hadoop2

Jestem nowy w Hadoop, i ustawiłem jeden wielopoziomowy Hadoop z Hadoop 2.5.1 wersja. Kiedy uruchamiam zadanie mapreduce za pomocą polecenia

hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5

Ale kiedy widzę wyjście, widzę tylko jeden program odwzorowujący i jeden reduktor działający.

I widzę, że nie ma koncepcji gniazda mapy i gniazda reduktora Hadoop 2.5.1

I mój rozmiar pliku jest 78MB. Czy powodem jest to, że mój plik jest mniejszy, a bloki są bardzo niskie, więc działa tylko jeden program odwzorowujący?

Pomoc w tym byłaby dla mnie wspaniała.

Dziękuję i pozdrawiam, Srilatha K.

Odpowiedzi:

To dlatego, że domyślny rozmiar bloku wynosi 128 MB, a zatem plik o rozmiarze 78M nigdy nie został podzielony na wiele bloków. to co oznacza, że ​​domyślny rozmiar bloku to 128.

Jeśli chcesz zobaczyć dwa mappery, dodaj następujące wiersze w $ HADOOP_HOME / conf / hdfs-site.xml

<property>
<name>dfs.blocksize</name>
<value>64M</value>
</property>