So che S3 e alcuni altri filesystem possono sostituire HDFS e mi chiedo quali sono i requisiti che un filesystem deve soddisfare per essere usato come sostituto di HDFS nel framework MapReduce?
risposte:
0 per risposta № 1Il filesystem deve essere distribuito o accessibile a livello globale, per l'esecuzione distribuita di MapReduce essere in grado di parlarci attraverso la rete.
0 per risposta № 2
Hadoop ha una nozione astratta di filesystem diquale HDFS è solo un'implementazione. La classe astratta Java org.apache.hadoop.fs.FileSystem rappresenta un filesystem in Hadoop e sono implementate diverse implementazioni concrete che includono un locale per piccole implementazioni e / o scopi di test.
https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html