Som nový pre hadoop a Hbase. Mám takéto údaje
CustID, Trait, Count ABC, iav, 3 ABC, xyz, 3 BCD, iav, 4 BCD, ter, môžu 4
a chcem čítať tieto údaje prostredníctvom rozhrania API, hromadného importu (veľkosť záznamu nad 800 mil.) alebo z PIG a údaje uvedené v HBase as (Transponované)
CustId, iav, xyz, ter ABC, 3, 3, NULL BCD, 4, NULL, 4
Údaje sú v HDFS. Ako to urobím? Chcel by som oceniť vaše usmernenie v tejto veci. Keď som bol nový, nebol som schopný urobiť veľa. Som väčšinou PIG a Hviezda ako človek.
Vďaka,
odpovede:
0 pre odpoveď č. 1z tu
Ekosystém Hadoop obsahuje veľa podprojektov. Hbase a Pig sú len niektoré z nich.
Hbase je databáza Hadoop, ktorá umožňuje spravovať vaše dáta tabuľkovým spôsobom viac ako súborovým spôsobom.
Pig je skriptovací jazyk, ktorý generuje na mise mapa zmenšiť úlohu, aby získala potrebné údaje. Je to veľmi kompaktné v porovnaní s mapou na ručné písanie znížiť prácu.