/ / Hadoop MapReduce WordCountはどのように<key、value>ペアとして入力を受け取りますか? -hadoop、辞書、mapreduce

Hadoop MapReduceのWordCountは<キー、値>のペアとしてどのように入力されますか? - hadoop、辞書、mapreduce

どのように WordCount MapReduceアプリケーションは、入力を<key、value>ペアのセットとして受け取りますか?代わりに単語の入力セットを受け取るようです。

から Apache Hadoop MapReduceチュートリアル

  1. 「MapReduceフレームワークは<key、value>ペアでのみ動作します。つまり、フレームワークは 入力 仕事に <key、value>ペアのセットとして... "

  2. 「(入力)<k1、v1>->マップ」

回答:

回答№1は2

このチュートリアルはまだ詳細には触れていません。 InputFormatOutputFormat MapReduceプログラムごとに定義されています。

アン InputFormat 特定のレコードのキーと値を定義します。

A RecordReader 指定された入力ファイルからのレコードを定義します(これにはもう少しあります)

の中に WordCount プログラム、デフォルト InputFormatTextInputFormat、取り入れる LongWritable キーとして Text すべてのレコードの値として。そして、このプログラムのすべてのレコードは行です(デフォルト)。ここでのキーは行のバイトオフセットで、値はテキストの行です。あなたが逃したと思う この チュートリアルの一部。