Имам сайт (example.com) и имам роботи.txt създаден в главната директория. Също така имам няколко поддомейни (foo.example.com, bar.example.com и още в бъдеще), чиито robots.txt ще бъдат идентични с тези на example.com. Знам, че мога да поставя файл в основата на всеки поддомейн, но се чудя дали е възможно да пренасочи роботите, които търсят robots.txt на всеки поддомейн, в example.com/robots.txt?
Отговори:
0 за отговор № 1Изпращането на заглавие за пренасочване за вашия файл robots.txt не се препоръчва, нито се поддържа официално.
Документацията на Google конкретно посочва:
Обработката на пренасочвания на robots.txt към забранени URL адреси е неопределена и обезсърчена.
Но документацията казва пренасочване "ще бъде." в общи линии последвано ". Ако добавите поддомейните си в Google Webmaster Tools и отидете на "Обхождане> Блокирани URL адреси", можете да тествате вашите поддомейни robots.txts, които са 301 пренасочване. Тя трябва да се върне като положителна работа.
Въпреки това, с това каза, бих силно предполагам, че просто препращате към символите файловетемясто и че всеки файл robots.txt отговаря с 200 OK на съответните URL адреси. Това е много по-инлайн с оригиналната спецификация robots.txt, както и с документацията на Google и кой знае точно как ще се справи bing / yahoo с времето.