Come catturare l'emissione di scintille di oozie - scala, apache-spark, oozie

Esiste comunque l'opportunità di catturare un'uscita dalla scintillaquindi inseriscilo su una shell? Attualmente stiamo usando scala per creare file jar e vogliamo che il nostro output di scintilla sia un input di shell. La mia idea è di usare $ {wf: actionData ("spark-XXXX") ["var"]} non so come implementarlo in spark. Quindi, in pratica, il mio problema è come generare una coppia chiave = valore da spark in oozie.

risposte:

Puoi avvolgere il tuo sprak lavoro in shell action e usare spark submit dallo script della shell. shell action supporti <capture-output> opzione, quindi è sufficiente stampare la variabile sulla console: variable_name=value.

Quindi, come parametro per un'altra azione ${wf:actionData("shell_action_name")["variable_name"]}

So che non è così "pulito", ma funzionerà e puoi ottenere le stesse cose con spark action