/ /多言語サイトで `robots.txt`を使用する - seo、sitemap、robots.txt

多言語サイトで `robots.txt`を使用する - seo、sitemap、robots.txt

ユーザーがサイトのローカルバージョンにリダイレクトされる多言語サイトを管理しなければならない

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

どのように組織化すべきか robots.txt ファイルはサイトマップとペアになっていますか?

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

それを理解する en そして fr 類似した外観であっても、サイトは実際には共通のコンテンツを共有しない独立したエンティティです。

回答:

回答№1は2

トップレベルに1つのrobots.txtを配置する必要があります。

robots.txtファイルは、ホストの最上位ディレクトリにある必要があります。 適切なプロトコルとポート番号からアクセスできます。

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


回答№2の場合は0

置く robots.txt ルートで: myBurger.com/robots.txt あなたのサイトマップを robots.txt ファイルを使用して sitemap: ディレクティブ(例I 維持する 必要であれば)。