मैं स्पार्क स्ट्रीमिंग 1.6 का उपयोग कर रहा हूं जो एक स्रोत के रूप में काफ्का का उपयोग करता है
मेरे इनपुट तर्क निम्नानुसार हैं:
num-executors 5
num-cores 4
batch Interval 10 sec
maxRate 600
blockInterval 350 ms
मेरे कुछ निष्पादक बाद में दूसरे से क्यों शुरू करते हैं ??
उत्तर:
उत्तर № 1 के लिए 1वह "निष्पादक नहीं" समय शुरू करते हैं, लेकिन कार्य "समय शुरू करते हैं।
यह स्थानीयता शेड्यूलिंग के कारण सबसे अधिक संभावना है। स्पार्क ने उस कार्य को चलाने के लिए सर्वश्रेष्ठ निष्पादक को खोजने के लिए किसी कार्य की शुरुआत में देरी की। विन्यास "spark.locality.wait" में जांचें स्पार्क के दस्तावेज अधिक जानकारी के लिए।