/ / Cnn जैसी बड़ी वेबसाइट्स robots.txt का उपयोग क्यों कर रही हैं और बेहतर htaccess नहीं हैं? - .htaccess

सीएनएन जैसी बड़ी वेबसाइटें robots.txt का उपयोग क्यों कर रही हैं और बेहतर एचटीएसीएसी नहीं? - एचटीएसीएसीएएस

मेरी राय में बुद्धिमान नहीं है।

जैसे इसे देखो:

http://edition.cnn.com/robots.txt
http://www.bbc.co.uk/robots.txt
http://www.guardian.co.uk/robots.txt

इसके अनुसार:

http://www.joomla.org/robots.txt

Joomla.org ने डिफ़ॉल्ट प्रशासन फ़ोल्डर नहीं बदला है: D

जैसे prestashp पृष्ठ में एक खाली robots.txt फ़ाइल है जो कि सही नहीं है, लेकिन मेरी राय में कम से कम बेहतर है:

http://www.prestashop.com/robots.txt

क्या ये लोग मूर्ख हैं या वे सोचते हैं कि यह जानना ठीक है कि वे वेब स्ट्रैचर कैसे दिखते हैं?

रोबोट आदि के लिए पहुंच को अस्वीकार करने के लिए वे htaccess का उपयोग क्यों नहीं कर रहे हैं?

उत्तर:

उत्तर № 1 के लिए 1

समस्या यह है कि .htaccess "टी सहज रूप से बता सकता है कि एक आगंतुक एक खोज इंजन बॉट है।

अधिकांश बॉट उपयोगकर्ता-एजेंट स्ट्रिंग में खुद की पहचान करेंगे, लेकिन कुछ ने "टी" जीता।

Robots.txt साइट को इंडेक्स करने के लिए देख रहे सभी बॉट्स द्वारा एक्सेस किया जाता है, और बेईमान बॉट्स नहीं जा रहे हैं

  1. खुद को बॉट के रूप में पहचानें
  2. Robots.txt पर कोई ध्यान दें (या वे जानबूझकर इसकी अवज्ञा करेंगे)।