मैंने एनाकोंडा (अजगर 2) स्थापित किया है।मेरी मशीन में 7 संस्करण) और "PYSPARK_DRIVER_PYTHON = jupyter" और PYSPARK_DRIVER_PYTHON_OPTS = "नोटबुक" के साथ jupyter नोटबुक शुरू किया। मैं इस "jupyter नोटबुक से कनेक्ट कर रहा हूं लेकिन" प्रिंट "कमांड" चलाने में असमर्थ ""। अगली पंक्ति में जा रहा है लेकिन आउटपुट नहीं दिखा रहा है और प्रिंट को रंग में हाइलाइट नहीं किया गया है।
पहले से ही मैंने अपने विंडोज़ मशीन (स्टैंडअलोन मोड) में कमांड प्रॉम्प्ट और रनिंग को ठीक से स्थापित किया है और इसके काम करने का तरीका ठीक है ..... लेकिन मुझे ज्यूपिटर नोटबुक (विंडोज़) में चलने की आवश्यकता है। कोई भी मेरी मदद कर सकता हैं??
उत्तर:
उत्तर № 1 के लिए 1जब आप पहले से ही आपके द्वारा बताए गए सही ढंग से pyspark खोल है, तो यह विंडोज़ पर Jupyter के साथ Pyspark सेटअप करने के लिए आपको बस इतना करना है।
2 नए पर्यावरण चर जोड़ें, सेट करें
PYSPARK_DRIVER_PYTHONto jupyterPYSPARK_DRIVER_PYTHON_OPTSनोटबुक के लिए
रन
pysparkCMD प्रॉम्प्ट से और नहीं "jupyter notebook"
इससे समस्या हल हो जानी चाहिए।
जवाब के लिए 0 № 2
नवीनतम सेटअप के लिए, उनके आधिकारिक ज्यूपिटर docker रेपो देखें।
यह स्पार्क 2.1.0, हडॉप 2.7 के साथ 4. ज्यूपिटर 4.x है
docker run -it --rm -p 8888:8888 jupyter/pyspark-notebook
जुपिटर नोटबुक पायथन, स्पार्क, मेसोस स्टैक
नोट के रूप में,
1 ज्यूपिटर कॉन्फिग फाइल का उपयोग करता है, जबकि, ipython प्रोफाइल का उपयोग करता है। मेरा मानना है कि अगर आप स्थानीय स्तर पर स्पार्क स्टैंडअलोन चलाना चाहते हैं। Dockerfile पर एक नज़र डालें और पता लगाएँ कि जादू क्या है।
2 में और सोना https://github.com/jupyter/docker-stacks
