Som Qubole nováčikom a chcel som vedieť, či zostanú údaje v HDFS aj po výpadku klastra Hadoop?
Akákoľvek pomoc je vítaná.
Ďakujem.
odpovede:
0 pre odpoveď č. 1Závisí to od toho, čo je v klastri. Existujú démoni v Hadoope, Namenode, dátovom uzle, Správcovi zdrojov, AppMaster a pod.
Takže ak je Namenode vypnutý (hlavný uzol), dáta zostanú také, aké sú v klastri, ale nebudete mať k nim vôbec prístup. Pretože uzol Name uchováva metaúdaje dátových uzlov.
Ak je dátový uzol v klastri (podradený uzol) vypnutý,potom nebudete mať prístup k údajom z tohto uzla, ale v predvolenom nastavení budú dáta uložené na 3 miestach v klastri kvôli odolnosti voči chybám. Takže budete mať stále prístup k údajom z ďalších dvoch uzlov.
2 pre odpoveď č. 2
Žiadne údaje o HDFS nie sú preč. Neposkytujeme zálohovanie / obnovovanie systému HDFS. Model výpočtu na EC2 / S3 spočíva v tom, že údaje s dlhou životnosťou sa vždy používajú na serveroch S3 a HDFS sa používajú iba na prechodné a kontrolné údaje. Niekedy používame aj systém HDFS (a lokálny disk). , ako vyrovnávacia pamäť.