कल मेरे ऐप को ह्यूमन्स ने 35 बार देखा है। हालांकि ऐसा लगता है कि कोई मशीन वेबसाइट को क्रॉल कर रही थी। मैं कुछ घंटों (ज्यादातर फ्रंटएंड इंस्टेंस घंटे) में ओवरकोटा था।
आज मैं प्रति दिन अधिकतम 5USD का भुगतान करता हूं। 35 वास्तविक लोगों के लिए यह बहुत अधिक लगता है।
मुझे क्रॉलर्स के लिए वास्तव में अच्छा भुगतान नहीं लगता है जो नियमित उपयोगकर्ताओं के लिए मेरी वेबसाइट तक पहुंच को रोकते हैं। आप लोगों के लिए 2 प्रश्न:
- क्या ऐसा होना सामान्य है?
- क्रॉलर के बजाय वास्तविक उपयोगकर्ताओं में पैसा लगाने के लिए मैं क्या कर सकता हूं? (और मैं अपने ऐप का संदर्भ न देने की बात नहीं कर रहा हूं)
ऐप: www.conceptstore.me
उत्तर:
जवाब के लिए 3 № 1एक अच्छा व्यवहार करने वाले क्रॉलर को यह करना चाहिए:
- में नियमों का पालन करें
/robots.txt- तो एक अपलोड करें। बस इतना ही काफी होना चाहिए। - एक विशिष्ट प्रदान करें
User-AgentHTTP अनुरोध शीर्षलेख - इसलिए ऐप इंजन लॉग में स्वचालित रूप से रिकॉर्ड किए गए उपयोगकर्ता एजेंटों को देखें, फिर उन उपयोगकर्ता-एजेंटों के लिए त्रुटि पृष्ठ लौटाएं जिन्हें आप पसंद नहीं करते हैं।