मैं एक पूर्ण कैटलॉग डाउनलोड करने के लायक हूं स्थिर छवि सामग्री (लाख + चित्र, सभी कानूनी) विभिन्न वेबसर्वर से।
मैं छवियों को कुशलतापूर्वक डाउनलोड करना चाहता हूं, लेकिन मैं विचार कर रहा हूं क्या सीमा प्रति डोमेन मुझे जगह चाहिए # समवर्ती कनेक्शन का तथा कनेक्शन के प्रयासों के बीच का समय डॉस टूल और अन्य लिमिटर्स द्वारा ब्लैकलिस्ट होने से बचने के लिए।
उत्तर:
जवाब के लिए 0 № 1जिस कीवर्ड की मुझे तलाश थी, वह था "वेबक्रॉलर पॉलिटिक्स", जो कुछ उपयोगी लेखों को पॉप अप करता है, जो इस सवाल का काफी अच्छा जवाब देते हैं:
वेब क्रॉलर के लिए विशिष्ट राजनीतिकता कारक?
http://blog.mischel.com/2011/12/20/writing-a-web-crawler-politeness/