/ / Robots.txt की अनुपस्थिति में कौन से नियम संचालित होते हैं? - वेब-क्रॉलर

Robots.txt की अनुपस्थिति में कौन से नियम शासन करते हैं? - वेब क्रॉलर

क्या एक खोज इंजन को एक ऐसी वेबसाइट को क्रॉल नहीं करना चाहिए जो किसी robots.txt को होस्ट नहीं करती है?

1 संपादित करें: अगर रोबोट मेटा टैग अनुपस्थित हो तो भी क्या होगा? मैं यहां शामिल कानूनीताओं को निर्धारित करने की कोशिश कर रहा हूं। बस।

उत्तर:

जवाब के लिए 5 № 1

एक खोज इंजन बिना किसी साइट पर सभी सार्वजनिक रूप से प्रशंसनीय पृष्ठों को बिना किसी रोबो के।