Potrzebuję twojej sugestii dla scenariusza poniżej:
jeden z naszych klientów ma 8 serwerów PostgreSQLjako OLTP i teraz chce generować raporty / kokpity MIS integrujące wszystkie dane na serwerach. - Należy wygenerować około 100 raportów - Do każdej z tych baz będzie dodane około 50 tys. Wierszy - raporty generowane są raz na miesiąc - uruchamiają wszystkie instalacje w baremetalach - nie chcą używać hadoopu / iskry, ponieważ uważają, że konserwatywność będzie wyższa - chcą wykorzystać technologię opensource do wykonania tego zadania
ze wszystkimi wyżej wymienionymi, jednym podejściem byłobypisz skrypty, aby zebrać zagregowane dane w jeden serwer a następnie ręcznie kodować raporty za pomocą javascript z frontendem. czy istnieje lepsze podejście przy użyciu narzędzi ETL, takich jak Talend, Pentaho itp. które narzędzie ETL byłoby najlepiej do tego przystosowane? Wydanie społecznościowe dowolnego narzędzia ETL wystarczyłoby do spełnienia powyższego wymogu ..?
Wiem, że komercyjna oferta któregoś z narzędzi ETL nie będzie dostępna w budżecie.
czy mógłbyś dać mi znać swoje poglądy na ten temat.
Z góry dziękuję Deepak
Odpowiedzi:
2 dla odpowiedzi № 1Pewnie Tak. Z powodzeniem wykonywałem podobne czynności już kilkanaście razy w życiu.
Moją sugestią jest użycie Pentaho-Data-Integrator(lub Talend), aby zebrać dane w jednym miejscu, a następnie filtrować, agregować i formatować dane. Wolumin danych nie jest problemem, o ile masz porządny serwer.
W przypadku raportów proponuję je utworzyć za pomocą aplikacji Pentaho-Report-Designer, aby można je było wysyłać pocztą (z Pentaho-DI) lub dystrybuować za pomocą serwera Pentaho-BI.
Możesz również utworzyć frontend javascript z Pentaho-CDE.
Wszystkie te narzędzia są dojrzałe, niezawodne, łatwe w użyciu, mają wspólnotową edycję i są dobrze wspierane przez społeczność.