/ / Use `robots.txt` en un sitio multilingüe - seo, sitemap, robots.txt

Utilice `robots.txt` en un sitio multilingüe: seo, sitemap, robots.txt

Tener que administrar un sitio multilingüe, donde los usuarios son redirigidos a una versión local del sitio, como

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

¿Cómo se debe organizar la robots.txt archivo en par con el mapa del sitio?

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

Kwnowing que en y fr los sitios son, de hecho, entidades independientes que no comparten contenido común, incluso si tienen una apariencia similar.

Respuestas

2 para la respuesta № 1

Es necesario poner un archivo robots.txt en el nivel superior.

El archivo robots.txt debe estar en el directorio de nivel superior del host, accesible a través del protocolo apropiado y número de puerto.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


0 para la respuesta № 2

Pon el robots.txt en la raiz: myBurger.com/robots.txt y registra tus sitemaps en el robots.txt archivo usando el sitemap: directiva (ver un ejemplo I mantener si necesario).