Generazione di report MIS e dashboard utilizzando tecnologie opensource - postgresql, pentaho, etl, data warehouse, talend

Ho bisogno del tuo suggerimento per lo scenario qui sotto:

uno dei nostri clienti ha 8 server DB postgres utilizzaticome OLTP e ora vuole generare report MIS / dashboard integrando tutti i dati nei server. - Ci sono circa 100 rapporti da generare - Ci sarebbero circa 50k righe aggiunte a ciascuno di questi database - i report devono essere generati una volta al mese - stanno eseguendo tutti i setup in modalità bare - non vogliono usare hadoop / spark, dal momento che pensano che la manutenibilità sarà più alta - vogliono usare la tecnologia opensource per portare a termine questo compito

con tutto detto sopra, un approccio sarebbescrivere script per portare dati aggregati in un unico server e quindi codifica manualmente i report con javascript frontend. c'è un approccio migliore usando strumenti ETL come Talend, Pentaho ecc. quale strumento ETL sarebbe più adatto per questo? le edizioni comunitarie di qualsiasi strumento ETL sarebbero sufficienti per soddisfare il requisito di cui sopra?

So per il fatto che l'offerta commerciale di uno qualsiasi degli strumenti ETL non sarà nel budget.

potresti per favore fatemi sapere le vostre opinioni su questo.

Grazie in anticipo Deepak

risposte:

Certo che si. Ho fatto cose simili con successo una dozzina di volte nella mia vita.

Il mio suggerimento è di usare Pentaho-Data-Integrator(o Talend) per raccogliere i dati in un unico posto e quindi filtrare, aggregare e formattare i dati. Il volume dei dati non è un problema se si dispone di un server decente.

Per i report, suggerisco di produrli con Pentaho-Report-Designer in modo che possano essere inviati per posta (con Pentaho-DI) o distribuiti con un server Pentaho-BI.

Puoi anche creare front-end javascript con Pentaho-CDE.

Tutti questi strumenti sono maturi, robusti, facili da usare, hanno un'edizione comunitaria e sono ben supportati dalla comunità.