Ako zachytávať výstup ostrosti - scala, apache-spark, oozie

Existuje aj nejaký úlovok z iskrypotom ho vložiť do shellu? V súčasnosti používame program Scala na vytváranie súborov jar a chceme, aby náš výstup iskier bol vstupom shellu. Mojím nápadom je použiť $ {wf: actionData ("spark-XXXX") ["var"]}, jednoducho neviem, ako ho implementovať v iskre. V podstate môj problém spočíva v tom, ako vydať pár kľúč / hodnota z iskry v oozie.

odpovede:

Môžete si zabaliť sprak pracovať v shell action a používať spark submit zo skriptu shellu. shell action podpery <capture-output> , takže môžete premennú vytlačiť iba na konzole: variable_name=value.

Potom ako parameter inej akcie ${wf:actionData("shell_action_name")["variable_name"]}

Viem, že to nie je tak „čisté“, ale bude to fungovať a môžete dosiahnuť rovnaké veci ako s spark action