どのように WordCount
MapReduceアプリケーションは、入力を<key、value>ペアのセットとして受け取りますか?代わりに単語の入力セットを受け取るようです。
から Apache Hadoop MapReduceチュートリアル:
「MapReduceフレームワークは<key、value>ペアでのみ動作します。つまり、フレームワークは 入力 仕事に <key、value>ペアのセットとして... "
「(入力)<k1、v1>->マップ」
回答:
回答№1は2このチュートリアルはまだ詳細には触れていません。 InputFormat
と OutputFormat
MapReduceプログラムごとに定義されています。
アン InputFormat
特定のレコードのキーと値を定義します。
A RecordReader
指定された入力ファイルからのレコードを定義します(これにはもう少しあります)
の中に WordCount
プログラム、デフォルト InputFormat
は TextInputFormat、取り入れる LongWritable
キーとして Text
すべてのレコードの値として。そして、このプログラムのすべてのレコードは行です(デフォルト)。ここでのキーは行のバイトオフセットで、値はテキストの行です。あなたが逃したと思う この チュートリアルの一部。