Snažím sa spustiť jednoduchý python skript na Ooziepomocou funkcie Hue. Používam nainštalované balíčky, takže som tiež pridal do Cloudera managera, konfiguráciu iskier (Spark Service Advanced Snippet (bezpečnostný ventil) pre spark-conf / spark-env.sh)
if [ -z "${PYSPARK_PYTHON}" ]; then
export PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/python
fi
Pri spustení úlohy, i "vo chybe python ImportError: Žiadny modul s názvom pandas.io.json , čo znamená, že sa zdá, že PYSPARK_PYTHON nevyberie ten z anakond.
Snažil som sa pridať argumenty
PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/python
na iskrovej akcii cez odtieň, ale nevyzerá to, že by to fungovalo.
Ak spustím skripty cez CLI a iskru, pošle to. Ak spúšťam iné python skripty na Oozie cez Hue (bez balíkov z anaconda) to funguje.
Čo mi chýba? : /
odpovede:
2 pre odpoveď č. 1Ak používate iskru cez Oozie, musíte povedať, aké premenné prostredia by mali byť nastavené na nádobe launcher (tá, ktorá začína iskrovú reláciu).
Skúste pridať novú vlastnosť akcie iskry s kľúčom oozie.launcher.mapred.child.env a hodnoty PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/python a mala by fungovať podľa očakávania.