Ako funguje spracovanie MapReduce s lokálnym súborovým systémom? - hadoop, mapreduce, hdfs

Ako funguje spracovanie MapReduce, ak sú vstupy / výstupy z lokálneho súborového systému?

Spôsobuje vykonávanie úlohy MapReduce asynchrónne v celom klastri Hadoop? Ak áno, ako sa to deje?

Akým spôsobom by sme mali tento prístup skutočne použiť?

odpovede:

1. MapReduce funguje rovnako v lokálnom systéme (mapper-> reducer)

   (len jeho otázka efektívnosti, pretože bude menej efektívna v miestnom systéme než v klastri).

2. Áno, vykonávanie úlohy MapReduce sa deje asynchrónne v celom klastri Hadoop (závisí to od toho, aký plánovač používate vo vašom programe mapreduce)

   cvaknutie viac informácií o plánovači

3. Vo väčšine prípadov sa to používa na účely testovania (bežiaci program na zmenu mapy v lokálnom systéme).