Use o `robots.txt` em um site multilíngue - seo, sitemap, robots.txt

Ter que gerenciar um site multilíngüe, onde os usuários são redirecionados para uma versão local do site, como

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

Como deve ser organizado o robots.txt arquivo em par com o mapa do site?

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

kwnowing que en e fr sites são, na verdade, entidades independentes que não compartilham conteúdo comum, mesmo que aparência semelhante.

Respostas:

Você precisa colocar um robots.txt no nível superior.

O arquivo robots.txt deve estar no diretório de nível superior do host, acessível através do protocolo e número de porta apropriados.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Coloque o robots.txt Na raiz: myBurger.com/robots.txt e registre seus sitemaps no robots.txt arquivo usando o sitemap: directiva (ver um exemplo I manter se necessário).