Ich bin neu in Hadoopund ich habe einen Multinode Hadoop mit gesetzt Hadoop 2.5.1 Ausführung. Wenn ich einen mapreduce-Job mit dem Befehl starte
hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5
Aber wenn ich die Ausgabe sehe, sehe ich nur einen Mapper und einen Reducer laufen.
Und ich sehe, dass es kein Konzept von Kartensteckplatz und Reduziersteckplatz gibt Hadoop 2.5.1
Und meine Dateigröße ist 78MB. Ist das der Grund dafür, dass meine Dateigröße geringer ist und die Blöcke sehr niedrig sind, so dass nur ein Mapper läuft?
Hilfe dabei wäre großartig für mich, weiterzumachen.
Danke und Grüße, Srilatha K.
Antworten:
1 für die Antwort № 1Das liegt daran, dass die Standardgröße des Blocks 128 MB beträgt und daher Ihre Datei der Größe 78M niemals über mehrere Blöcke hinweg aufgeteilt wurde Dies Das sagt Standard-Blockgröße ist 128.
Wenn Sie zwei Mapper sehen möchten, fügen Sie die folgenden Zeilen in $ HADOOP_HOME / conf / hdfs-site.xml hinzu
<property>
<name>dfs.blocksize</name>
<value>64M</value>
</property>