/ / कैसे ब्रॉडकास्टजॉइन चिंगारी में अत्यधिक काम करते हैं? - शामिल हों, अपाचे-स्पार्क

स्पार्क में ब्रॉडकास्ट हैशजोइन बेहद काम कैसे करता है? - अपाचे, स्पार्क में शामिल हों

मैं समझने की कोशिश कर रहा हूँ कि कैसेब्रॉडकास्टजॉइन को अंजाम दिया जाता है। मुझे पता है कि छोटी तालिका को सभी नोड पर प्रसारित किया जाता है, लेकिन अगले परिणाम को वापस चालक को भेज दिया जाता है? मैं "स्पार्क यूआई का उपयोग करके यह बताता हूं कि नेटवर्क ट्रैफ़िक कैसे प्रबंधित किया जाता है, लेकिन मुझे प्रासंगिक परिणाम नहीं मिलता है और ड्राइवर को हमेशा परिणाम मिलता है: स्पार्क उई मैं ड्राइवर को ट्रैफ़िक क्यों नहीं दिखा सकता हूं?

उत्तर:

जवाब के लिए 3 № 1
  1. संबंध जो प्रसारित किया जाना है एकत्र किया जाता है ड्राइवर को
  2. एकत्र किया हुआ संबंध हैशेड है स्थानीय स्तर पर
  3. हस्ड रिलेशन का इस्तेमाल किया जाता है एक प्रसारण चर बनाएँ
  4. प्रसारित संबंध का उपयोग किया जाता है गणना करने के लिए समानांतर में शामिल हो

ड्राइवर से डेटा गुम होना आपको सबसे अधिक संभावना है कि वह हैशिंग भाग के अनुरूप हो नौकरी के अंदर निष्पादित नहीं किया जाता है और उपयोगी मेट्रिक्स नहीं बनाता है।