/ / Використовуйте `robots.txt` на багатомовному сайті - seo, sitemap, robots.txt

Використовуйте "robots.txt" на багатомовному сайті - seo, sitemap, robots.txt

Доведеться керувати багатомовним сайтом, коли користувачі переспрямовуються на локальну версію сайту, наприклад

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

Як слід організувати robots.txt файл у парі з картою карти?

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

знаючи це en і fr насправді веб-сайти є незалежними організаціями, які не діляться загальним контентом, навіть якщо подібний вигляд.

Відповіді:

2 для відповіді № 1

Потрібно поставити один robots.txt на найвищий рівень.

Файл robots.txt повинен знаходитись у каталозі головного рівня хоста, доступний, хоча відповідний протокол та номер порту.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


0 для відповіді № 2

Покласти robots.txt в корені: myBurger.com/robots.txt і зареєструвати ваші мапи сайту в robots.txt файл з використанням sitemap: директива (див. приклад I підтримувати якщо необхідно).