मेरे पास सबडोमेन है जैसे blog.example.com और मैं चाहता हूं कि यह डोमेन Google या किसी अन्य खोज इंजन द्वारा अनुक्रमित न हो। मैंने अपनी robots.txt फ़ाइल को सर्वर में "ब्लॉग" फ़ोल्डर में निम्न कॉन्फ़िगरेशन के साथ रखा है:
User-agent: *
Disallow: /
क्या Google द्वारा अनुक्रमित नहीं करना ठीक होगा?
मेरी साइट से कुछ दिन पहले: blog.example.com 931 लिंक दिखाता है लेकिन अब यह 1320 पेज प्रदर्शित कर रहा है। मुझे आश्चर्य है कि मेरी robots.txt फ़ाइल सही है तो Google मेरे डोमेन को अनुक्रमणित क्यों कर रहा है।
अगर मैं कुछ भी गलत कर रहा हूं तो कृपया मुझे सही करें।
उत्तर:
उत्तर № 1 के लिए 1राहुल,
सुनिश्चित नहीं है कि आपका robots.txt शब्दशः है, लेकिन आम तौर पर निर्देश दो पंक्तियों पर होते हैं:
User-agent: *
Disallow: /
यह फ़ाइल से सुलभ होना चाहिए http://blog.example.com/robots.txt - अगर यह उस यूआरएल से सुलभ नहीं है, तो खोज इंजन मकड़ी इसे नहीं मिलेगा।
यदि आपके पास Google द्वारा पहले से अनुक्रमित किए गए पृष्ठ हैं, तो आप इंडेक्स से पृष्ठों को मैन्युअल रूप से हटाने के लिए Google वेबमास्टर टूल्स का उपयोग करने का भी प्रयास कर सकते हैं।