Нуждаете се от решение за планиране на заданията на Spark - скала, apache-spark

Аз съм нов за Спарк. В нашия проект,

1. ние сме превърнали седем PLSql скрипта в Scala-Spark.
2. Съществуващите скриптове PLSql се планират като задачина Talend. всеки скриптът е насрочен за отделна задача и тези седем задачи се изпълняват по последователност, тъй като едва след като първата работа завърши успешно, втората работа започва и същото продължава до последната работа (седма).

Моят екип проучва възможноститепланирайте програмите Scala-Spark като работни места по други начини. Едно от предложенията беше да конвертирате / напишете същата задача, която се изпълнява от Talend, в Scala. Нямам представа дали е възможно. Така че, Може ли някой да ме уведомите дали е възможно да се направи същото на Скала.

Отговори:

Можете да изпратите заданието си за искра в TalendtSystem или tSSH компонент. и да получите кода на отговора (код за изход) от посочения компонент. Ако кодът за изход = 0 (успех), тогава можете да изпратите следващата работа с искра. Ние направихме същото в нашия проект.