Môže Apache Sqoop a Flume byť zameniteľné? - hadoop, bigdata, sqoop, flume

Som novým používateľom veľkých dát. Z niektorých odpovedí na otázku Aký je rozdiel medzi Flume a Sqoop?, Flume aj Sqoop môžu sťahovať údaje zo zdroja a tlačiť na Hadoop. Môže niekto špecifikovať exaclty, kde sa používa dym a kde sa nachádza strecha? Môžu byť obe použité na rovnaké úlohy?

odpovede:

žľab a Sqoop sú navrhnuté tak, aby pracovali s rôznymi druhmi zdrojov údajov.

Sqoop pracuje s akýmkoľvek druhom systému RDBMS, ktorýpodporuje pripojenie JDBC. Na druhej strane Flume funguje dobre so zdrojmi streamovaných údajov, ako sú údaje denníka, ktoré sa generujú nepretržite vo vašom prostredí.

konkrétne

• Sqoop by sa mohol použiť na import / export údajov do / z RDBMS systémov ako Oracle, MS SQL Server, MySQL, PostgreSQL, Netezza, Teradata a niektoré ďalšie, ktoré podporujú pripojenie JDBC.
• Flume by sa mohol použiť na príjem údajov o vysokej priepustnosti zo zdrojov, ako sú uvedené nižšie, a na vloženie do cieľových miest (záchytov) nižšie.
  • Bežne používané zdroje flume:
    • Spooling directory - adresár, v ktorom sa vytvára veľa súborov, ktorý sa používa hlavne na zhromažďovanie a zhromažďovanie údajov denníka
    • JMS - zhromažďujte metriky zo systémov založených na JMS
    • a oveľa viac
  • Bežne používané umývadlá:
    • HDFS
    • HBase
    • Solr
    • ElasticSearch
    • a oveľa viac

Nie, oba nástroje nie je možné použiť na dosiahnutie rovnakej úlohy, ako napríklad flume sa nedá použiť s databázami a sqoop sa nedá použiť so streamovanými zdrojmi údajov alebo plochými súbormi.

Ak máte záujem, flume má aj náhradníka, ktorý robí to isté, čo sa volá chukwa.