/ / Nie można uzyskać dostępu do hadoop z wtyczką Pig - java, hadoop, apache-pig

Nie można uzyskać dostępu do hadoop z wtyczką Pig - java, hadoop, apache-pig

Używam świnia api 0.12.0 w celu wykonywania skryptów łacińskich na zdalnym serwerze hadoop. Aby to zrobić, umieściłem to samo core-site.xml w mojej ścieżce klas (src / main / resources).

To core-site.xml jest naprawdę prosty:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoopserver:9000</value>
</property>
</configuration>

Jednak po uruchomieniu mojego programu dziennik mówi

INFO executionengine.HExecutionEngine: Connecting to hadoop file system at: file:///

Dlaczego nie ma połączenia z tym hdfs://hadoopserver:9000 zamiast ?

Odpowiedzi:

0 dla odpowiedzi № 1

Ten problem jest spowodowany faktem, że nowy parametr fs.defaultFS nie jest obsługiwany w tej wersji. W związku z tym twój core-site.xml powinien mieć następującą właściwość:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoopserver:9000</value>
</property>
</configuration>

Nie musisz jednak zmieniać tej wartości na swoim serwerze hadoop, tylko w pliku odczytanym przez api.