हडोप - हडूप, क्लस्टर-कंप्यूटिंग, टोक़ के साथ क्लस्टर साझा करना

क्या Hadoop को सेट करना संभव है ताकि यह एक क्लस्टर पर अन्य अनुप्रयोगों के साथ अच्छी तरह से खेल सके?

मैं टोक़ + माउ संसाधन से परिचित हूंअनुसूचक, और अस्थायी Hadoop समूहों के प्रावधान के लिए HadoopOnDemand का उपयोग करने के साथ। लेकिन यह बहुत बोझिल हो जाता है अगर बहुत से लोग हडोप का उपयोग करना चाहते हैं: प्रत्येक व्यक्ति को अपने स्वयं के मिनी हडूप क्लस्टर को स्थापित करने और फाड़ने का एक ही सिरदर्द होता है, डेटा को कॉपी करना और अपने एचडीएफ को बंद करना, आदि।

अगर हम एक हो सकते हैं तो यह बहुत अच्छा होगाHadoop का स्थायी उदाहरण जो लोग HDFS के साथ साझा करते हैं जो हमेशा बना रहता है। इसके लिए Hadoop को समझदारी से उन नोड्स को काम आवंटित करना होगा जो "अन्य अनुप्रयोगों (जैसे R, कहते हैं) के साथ व्यस्त न हों, और जब कतार में हों तो काम के लालच में न आएं।

क्या यह संभव है?

उत्तर:

Isn "यह उचित अनुसूचक क्या करता है?

http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html

हम 30 उपयोगकर्ताओं के साथ एक स्थायी हडूप क्लस्टर चलाने के लिए इसका उपयोग करते हैं। आपके पास नए पूलों को पुनः प्राप्त करने के लिए पूर्व निर्धारित कार्य हो सकते हैं, और प्रत्येक पूल के लिए व्यक्तिगत प्राथमिकताएँ भी निर्धारित कर सकते हैं।