Intellij Доступ до файлу з кластера hadoop - hadoop, intellij-ідея

Як частина мого середовища intellij налаштувати мені потрібно підключитися до віддаленого кластера hadoop і отримати доступ до файлів в мій локальний код іскри.

Чи є спосіб підключення до віддаленого середовища hadoop без створення локального примірника hadoop?

Ідеальною відповіддю буде фрагмент коду з'єднання.

Відповіді:

Якщо у вас є файл keytab для аутентифікації в кластері, це один із способів:

val conf: Configuration: = new Configuration()
conf.set("hadoop.security.authentication", "Kerberos")
UserGroupInformation.setConfiguration(conf)
UserGroupInformation.loginUserFromKeytab("user-name", "path/to/keytab/on/local/machine")
FileSystem.get(conf)

Думаю, для цього вам можуть знадобитися деякі документи для налаштування XML. А саме core-site.xml, hdfs-site.xml, і mapred-site.xml. Це десь зазвичай під /etc/hadoop/conf/.

Ви повинні помістити їх у каталог у вашій програмі та позначити його як каталог ресурсів в IntelliJ.