/ / Wizualizacja danych XML z hadoop - xml, hadoop, hdfs

Wizualizacja danych XML z hadoop - xml, hadoop, hdfs

W moim HDFS będę przetwarzać xml. tj. przetwarzanie pliku xml i wyodrębnianie 2 węzłów. I to będzie mój x i y, aby narysować wykres.

Jak mogę to zrobić. Generowanie wykresu z wyjścia hdfs. Chcę użyć Rapid miner.how mogę to zrobić jakikolwiek pomysł ...

ALBO

Czy istnieje sposób na wizualizację moich danych hadoop?

Odpowiedzi:

1 dla odpowiedzi № 1

Sposób działania HDFS polega na dzieleniu pliku na bloki o wstępnie zdefiniowanym rozmiarze. To po prostu lubię robić

split -b 64M file.xml

I bierze każdy blok i zapisuje go do maścidatanode. Teraz, jeśli HDFS ma rozmiar bloku 64 MB, a rozmiar pliku wynosi 1 GB, plik zostanie podzielony na 16 bloków i zapisany w innej lokalizacji. Tak więc zadanie mapreduce nie będzie w stanie nadać sensu blokowi pliku xml, ponieważ xml ma inną strukturę niż zwykłe pliki csv lub tsv. Więc o ile widzę, nie możesz przetworzyć pliku xml na hdfs, jeśli jest większy niż rozmiar bloku hdfs.