Hadoop: je možné spustiť TestDFSIO benchmark ako non-hdfs užívateľ - hadoop, benchmarking

Je možné vykonať testDFSIO benchmark asnon-hdfs užívateľa? Tento benchmark sa pokúša vytvoriť adresár / benchmarks a zlyhá z dôvodu nedostatku oprávnení. Existuje spôsob, ako túto referenčnú hodnotu využiť na ukladanie údajov do môjho domova?

odpovede:

Malo by to byť možné nastavením konfiguračného parametra "test.build.data", ktorý je štandardne nastavený na "/ benchmarks / TestDFSIO".

(Pozri: https://github.com/apache/hadoop/blob/release-2.6.0/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient/src/test/java/org/apache/hadoop/fs/TestDFSIO.java#L178)

Vyzerá to, že TestDFSIO konzultuje 4 konfiguračné súbory pre jeho konfiguráciu, takže dúfajme, že vloženie parametra do niektorého z nich by urobilo trik:

hdfs-default.xml, hdfs-site.xml, mapred-default.xml, mapred-site.xml

(pozri https://github.com/apache/hadoop/blob/release-2.6.0/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient/src/test/java/org/apache/hadoop/fs/TestDFSIO.java#L111-L114)