Snažím sa o streamovanie súboru sekvencií vygenerovaných jedným z príkladov programu Mahout, aby sa zobrazil jeho obsah:
hadoop jar hadoop-streaming-0.20.2-cdh3u0.jar
-input /tmp/mahout-work-me/20news-bydate/bayes-test-input-output/
-output /tmp/me/mm
-mapper "cat"
-reducer "wc -l"
-inputformat SequenceFileAsTextInputFormat
Úloha sa úspešne spustí a nakoniec zomrie s:
11/11/30 21:08:39 INFO streaming.StreamJob: map 0% reduce 0%
11/11/30 21:09:17 INFO streaming.StreamJob: map 100% reduce 100%
java.lang.RuntimeException: java.io.IOException: WritableName can"t load class: org.apache.mahout.common.StringTuple
Zaujímalo by ma, či niečo nie je v poriadku s mojím streamovanímjar súbor, ak musím explicitne poukázať na jar jar, ktorý má túto triedu (snažil sa nastaviť HADOOP_CLASSPATH na miesto mahout-core-0.5-cdh3u2.jar, ale nefungovalo), alebo možno aj niečo iné?
Akákoľvek pomoc je vítaná. Vďaka.
odpovede:
2 pre odpoveď č. 1Pridať túto možnosť:
-libjars mahout-core-0.5-cdh3u2.jar