मेरा पहला सवाल, मैं "बहुत बुरा पेंच नहीं करने की कोशिश करूंगा :)
मैं हडोप 2.9 इंस्टॉल कर रहा हूं।सीखने के उद्देश्य के लिए, 4 नोड्स क्लस्टर पर 0। मैंने आधिकारिक अपाचे हैडोप 2.9.0 दस्तावेज और कुछ Google पेजों के बाद नामनोड स्थापना / कॉन्फ़िगरेशन के साथ शुरुआत की है।
मैंने $ hADOOP_HOME / etc / hadoop निर्देशिका के अंतर्गत स्थित मेरे hdfs-site.xml को संपादित किया है:
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///apps/hdfs/namenode/data</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///apps/hdfs/datanode/data</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///apps/hdfs/namesecondary/data</value>
</property>
जब मैं "हैडोप नामनोड -फॉर्मैट" चलाता हूं तो यह डिफ़ॉल्ट $ hadoop.tmp.dir को / tmp / hadoop-hadoop / के अंतर्गत प्रारूपित करता है ...
उन कुछ पेजों को मिला जो HADOOP_CONF_DIR को सेट करने के लिए कहें जहां XML कॉन्फ़िगरेशन फ़ाइलें हैं (यानी: $ HADOOP_HOME / etc / hadoop) लेकिन कुछ जो इसे विपरीत नहीं कहते हैं, इसे सेट करने के लिए नहीं।
मेरे मामले में, यह मेरी समस्या को ठीक करता है लेकिन यह सुनिश्चित नहीं है कि यह सही संशोधन है या नहीं?
अगर कोई इसे समझने में मेरी मदद कर सकता है, तो यह बहुत अच्छा होगा :)
बहुत धन्यवाद!
उत्तर:
जवाब के लिए 0 № 1यह वास्तव में स्पष्ट नहीं है कि आप किस समस्या का सामना कर रहे थे, लेकिन इसके लिए एक डिफ़ॉल्ट सेटिंग है HADOOP_CONF_DIR जो एक में सेट है hadoop-env.sh फ़ाइल जो सभी हैडऑप कमांड से पहले लोड हो चुकी है।
विश्वास में यह बस हो सकता है /etc/hadoop। कम से कम, वह "जहां अधिकांश क्लस्टर कॉन्फ़िगर करते हैं
चूंकि आपकी फाइलें कहीं और हैं, इसलिए आपको उस मूल्य को किसी अन्य चीज़ को निर्यात करने की आवश्यकता है, जो ठीक है।
व्यक्तिगत रूप से, मैं मैन्युअल प्रबंधन और 2 से अधिक नोड्स स्थापित करने के बजाय अपाचे अंबारी का उपयोग करने का सुझाव देता हूं। यह सुनिश्चित करेगा कि आपकी कॉन्फ़िगरेशन मेल खा रही है और अतिरिक्त रूप से सेवाओं की निगरानी भी कर रही है