Ich bin neu in Hadoop und Hbase. Ich habe Daten wie diese
CustID, Eigenschaft, Anzahl ABC, IV, 3 ABC, xyz, 3 BCD, IV, 4 BCD, ter, 4
und ich möchte diese Daten durch API, Massenimport (Rekordgröße über 800 Mio.) oder aus PIG lesen und Daten in Hbase als (Transposed) darstellen lassen
CustId, iav, xyz, ter ABC, 3, 3, NULL BCD, 4, NULL, 4
Daten sind in HDFS. Wie gehe ich dabei vor? Ich würde mich über Ihre diesbezügliche Beratung freuen. Da ich neu bin, konnte ich nicht viel tun. Ich bin meistens SCHWEIN und ich bin eine Art Mensch.
Vielen Dank,
Antworten:
0 für die Antwort № 1Von Hier
Das Hadoop-Ökosystem enthält viele Unterprojekte. Hbase und Pig sind nur einige von ihnen.
Hbase ist die Hadoop-Datenbank, mit der Sie Ihre Daten in Tabellenform mehr als in einer Datei verwalten können.
Pig ist eine Skriptsprache, die einen Job zur Reduzierung der Arbeitsgeschwindigkeit generiert, um die benötigten Daten zu erhalten. Es ist sehr kompakt im Vergleich zur Handschrift Map Reduce Job.