Мені потрібно використовувати hadoop запобіжник для монтування HDFS на кластері з декількома вузлами. Як це досягти?
Я успішно розгорнув запобіжник на кластері з одним вузлом, але я сумніваюся, що він буде працювати на декілька вузлів. Чи може хто-небудь прокинути світло над цим?
Відповіді:
1 для відповіді № 1Неважливо, чи є ваш кластер єдинимвузол або багаторядний. Якщо потрібно встановити HDFS на віддаленому комп'ютері, переконайтеся, що певний апарат має доступ до мережі кластера. Встановіть клієнт hadoop (з тією ж версією hadoop у кластері) у вузлі, в якому ви плануєте підключити HDFS за допомогою FUSE.
Різниця при монтажі - це nameode url. (dfs: // NAMENODEHOST: NN-IPC-PORT /)
У випадку одного вузла, namered url будеlocalhost (0.0.0.0/127.0.0.1/0), але в багаторядковому кластері ви повинні дати namenode Hostname / Ip адресу замість localhost. Це можливо для монтування hdfs в будь-яких машинах linux, які можуть отримати доступ до кластера hadoop.
Спроба використовувати Fuse для монтування HDFS. Неможливо скомпілювати libhdfs