Tengo un sitio (example.com) y tengo mis robots.txt configurado en el directorio raíz. También tengo varios subdominios (foo.example.com, bar.example.com y más en el futuro) cuyo archivo robots.txt será idéntico al de example.com. Sé que puedo colocar un archivo en la raíz de cada subdominio pero me pregunto si es posible redirigir a los rastreadores que buscan robots.txt en cualquier subdominio a example.com/robots.txt.
Respuestas
0 para la respuesta № 1No se recomienda enviar un encabezado de redireccionamiento para su archivo robots.txt, ni tampoco se admite oficialmente.
Documentación de google específicamente declara:
El manejo de las redirecciones de robots.txt a direcciones URL no permitidas está indefinido y no se recomienda.
Pero la documentación dice redireccionar "será en general seguido". Si agrega sus subdominios a las Herramientas para webmasters de Google y va a "Rastrear> URL bloqueadas", puede probar los archivos de subdominio robots.txts que están redirigiendo 301. Debería volver tan positivamente funcionando.
Sin embargo, dicho esto, me gustaría fuertemente sugerir que simplemente enlace simbólico los archivos enColoque y que cada archivo robots.txt responda con un 200 OK en las URL apropiadas. Esto está mucho más en línea con la especificación de robots.txt original, así como, la documentación de Google, y quién sabe exactamente cómo Bing / yahoo lo manejará con el tiempo.