/ / Използвайте "robots.txt" в многоезичен сайт - seo, sitemap, robots.txt

Използвайте "robots.txt" в многоезичен сайт - seo, sitemap, robots.txt

Трябва да управлявате многоезичен сайт, където потребителите се пренасочват към локална версия на сайта, например

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

Как трябва да се организира robots.txt файл в двойка с картата на сайта?

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

като го нахвърли en и fr сайтове са всъщност независими лица, които не споделят общо съдържание, дори ако са с подобен вид.

Отговори:

2 за отговор № 1

Трябва да поставите един файл robots.txt на най-високо ниво.

Файлът robots.txt трябва да бъде в директорията от най-високо ниво на хоста, достъпен чрез подходящия протокол и номера на порта.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


0 за отговор № 2

Сложи robots.txt в основата: myBurger.com/robots.txt и регистрирайте вашите Sitemap в robots.txt файл с помощта на sitemap: (вж. пример I поддържане ако е необходимо).