Viem, že S3 a niektoré ďalšie súborové systémy môžu nahradiť HDFS, a zaujímalo by ma, aké požiadavky musí súborový systém spĺňať, aby mohol byť použitý ako náhrada za HDFS v rámci MapReduce?
odpovede:
0 pre odpoveď č. 1Systém súborov musí byť distribuované alebo globálne prístupné, na distribuované vykonanie MapReduce aby sme s ňou mohli hovoriť v celej sieti.
0 pre odpoveď č. 2
Hadoop má abstraktný pojem súborový systémktorý HDFS je len jednou implementáciou. Abstraktná trieda Java.org.apache.hadoop.fs.FileSystem predstavuje súborový systém v Hadoop a je implementovaných niekoľko konkrétnych implementácií vrátane lokálnych pre malé nasadenie a / alebo testovacie účely.
https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html