現在私の robots.txt 次のとおりです
#Sitemaps
Sitemap: http://www.baopals.com.com/sitemap.xml
#Disallow select URLs
User-agent: *
Disallow: /admin/
Disallow: /products/
私の製品には、私と同じように重複したコンテンツがたくさんtaobao.comからデータを取得して自動的に変換すると、重複した低品質の名前が多数作成されるため、全体を許可しないことにします。しかし、私は手動で特定の製品のタイトルを変更してデータベースに保存し、それらがまだ保存されたままの状態で適切な翻訳を付けてホームページに表示します。 /products/ 私がホームページからそれらを削除すると、そして永久に失われます。
許可することが可能かどうか私は疑問に思います更新された翻訳とともにホームページに保存した商品は、まだGoogleでインデックス登録されているか、手動で更新された商品のディレクトリを変更する必要がありますか。
回答：
回答№1は0一部のボット（Googlebotを含む）は、 Allow フィールド。これにより、クロールを許可するパスを指定できます。
だからあなたは追加する必要があるでしょう Allow クロールする各製品の行。
User-agent: *
Disallow: /admin/
Disallow: /products/
Allow: /products/foo-bar-1
Allow: /products/foo-foo-2
Allow: /products/bar-foo
許可しない代わりに クロール あなたの商品ページのうち、あなたは拒否したいと思うかもしれません 索引付け。それでもボットはあなたのページにアクセスしてリンクをたどることを許可されますが、そのページを検索インデックスに追加することはできません。
追加 <meta name="robots" content="noindex" /> 各製品ページへ head）をクリックして削除します（またはに変更します）。 index）各製品ページについて、インデックスを作成します。それがあなたにとってより簡単であるならば、対応するHTTPヘッダもあります。