मेरे पास एक साइट है (example.com) और मेरे रोबोट हैं।txt रूट डायरेक्टरी में सेट अप। मेरे पास कई सबडोमेन (foo.example.com, bar.example.com, और भविष्य में आने वाले और भी) हैं जिनकी robots.txt सभी example.com के समान होगी। मुझे पता है कि मैं प्रत्येक उपडोमेन के मूल में एक फ़ाइल रख सकता हूं, लेकिन मैं सोच रहा हूं कि क्या यह संभव है कि किसी भी उपडोमेन पर robots.txt के लिए खोज करने वाले क्रॉलर को पुनः निर्देशित करना संभव हो?
उत्तर:
जवाब के लिए 0 № 1आपकी robots.txt फ़ाइल के लिए रीडायरेक्ट हेडर भेजना उचित नहीं है, न ही आधिकारिक रूप से समर्थित है।
Google का प्रलेखन विशेष रूप से बताता है:
URL को अस्वीकृत करने के लिए robots.txt पुनर्निर्देशन का संचालन अपरिभाषित और हतोत्साहित है
लेकिन प्रलेखन कहता है कि पुनर्निर्देशित होगा " आम तौर पर पीछा किया"। यदि आप Google Webmaster Tools में अपने उप-डोमेन जोड़ते हैं और "क्रॉल> अवरुद्ध URL" पर जाते हैं, तो आप अपने उप-डोमेन robots.txts का परीक्षण कर सकते हैं जो 301 पुनर्निर्देशित हैं। इसे सकारात्मक रूप से काम करते हुए वापस आना चाहिए।
हालांकि, इसके साथ ही, मैं कहूंगा दृढ़ता से सुझाव है कि आप बस में फ़ाइलों को सहानुभूतिजगह और कि प्रत्येक robots.txt फ़ाइल उचित URL पर 200 OK के साथ प्रतिक्रिया करती है। यह मूल robots.txt विनिर्देश, साथ ही साथ Google के प्रलेखन के साथ बहुत अधिक इनलाइन है, और जो जानता है कि समय के साथ इसे कैसे ठीक किया जाएगा।