/ / Utiliser `robots.txt` sur un site multilingue - seo, sitemap, robots.txt

Utilisez `robots.txt` sur un site multilingue - référencement, sitemap, robots.txt

Devoir gérer un site multilingue, où les utilisateurs sont redirigés vers une version locale du site, telle que

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

Comment devrait-on organiser la robots.txt fichier en paire avec le sitemap?

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

sachant que en et fr les sites sont en fait des entités indépendantes ne partageant pas un contenu commun, même si leur apparence est similaire.

Réponses:

2 pour la réponse № 1

Vous devez placer un fichier robots.txt au premier niveau.

Le fichier robots.txt doit se trouver dans le répertoire de niveau supérieur de l'hôte, accessible via le protocole et le numéro de port appropriés.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


0 pour la réponse № 2

Mettre le robots.txt à l'origine: myBurger.com/robots.txt et enregistrez vos sitemaps dans le robots.txt déposer en utilisant le sitemap: directive (voir un exemple I maintenir si nécessaire).