Leggi dal file di output del riduttore: hadoop, mapreduce, hdfs

Ho qualche lavoro su MapReduce e vorrei utilizzare ulteriormente il file di output di Reducer nel codice Java. Come posso leggere da un tale file, dal momento che si trova sul file system distribuito?

Grazie

risposte:

Poiché si desidera utilizzare ulteriormente il file di output di Reducer in un semplice codice Java, è possibile utilizzare il seguente codice: -

` try{
Path pt=new Path("hdfs://npvm11.np.wc1.yellowpages.com:9000/user/john/abc.txt");
FileSystem fs = FileSystem.get(new Configuration());
BufferedReader br=new BufferedReader(new InputStreamReader(fs.open(pt)));
String line;
line=br.readLine();
while (line != null){
System.out.println(line);
line=br.readLine();
}
}
catch(Exception e){
}`

Sostituisci l'indirizzo con l'indirizzo del file che vuoi usare nel codice java.