Czy jest jednak sposób na wychwycenie wyjścia z iskrynastępnie wprowadzić go w powłoce? Obecnie używamy scala do tworzenia plików jar i chcemy, aby nasz wynik Spark był wejściem powłoki. Moim pomysłem jest użycie $ {wf: actionData („spark-XXXX”) [„var”]}. Po prostu nie wiem, jak zaimplementować go w Spark. Zasadniczo moim problemem jest to, jak wyprowadzić parę klucz = wartość z iskry w oozie.
Odpowiedzi:
1 dla odpowiedzi № 1Możesz owinąć swój sprak Praca w shell action I użyć spark submit ze skryptu powłoki. shell action obsługuje <capture-output> opcja, więc możesz po prostu wydrukować zmienną na konsoli: variable_name=value.
Następnie jako parametr do innej akcji ${wf:actionData("shell_action_name")["variable_name"]}
Wiem, że to nie jest tak „czyste”, ale zadziała i możesz osiągnąć te same rzeczy, co z spark action