/ / Robots.txt Специфічне виключення - seo, robots.txt

Конкретне виключення Robots.txt - seo, robots.txt

В даний час мій robots.txt є наступним

#Sitemaps
Sitemap: http://www.baopals.com.com/sitemap.xml

#Disallow select URLs
User-agent: *
Disallow: /admin/
Disallow: /products/

Мої продукти мають багато дублікатів вмісту, як яперетягувати дані з taobao.com і автоматично переводити його в результаті чого багато дублікатів і низька якість імен, тому я просто заборонити все це. Однак я вручну змінюю заголовки на певні продукти та повторно зберігаю їх у базі даних і демонструю їх на домашній сторінці з належними перекладами, які вони все одно зберігають назад /products/ і втрачаються назавжди, коли я видаляю їх з домашньої сторінки.

Я задаюся питанням, чи можна це дозволитипродукти, які я зберігаю на домашній сторінці з оновленими перекладами, все ще індексуються Google або я змушений змінити каталог оновлених продуктів вручну?

Відповіді:

0 для відповіді № 1

Деякі боти (включаючи Googlebot) підтримують Allow поля. Це дає змогу вказати шляхи, які слід дозволити сканування.

Тому вам доведеться додати Allow рядок для кожного продукту, який потрібно сканувати.

User-agent: *
Disallow: /admin/
Disallow: /products/
Allow: /products/foo-bar-1
Allow: /products/foo-foo-2
Allow: /products/bar-foo

Але замість того, щоб заборонити повзання ваших сторінок продукту, ви можете заборонити індексування. Тоді бот все ще може відвідувати ваші сторінки та переходити за посиланнями, але не додаватиме сторінки до свого пошукового індексу.

Додати <meta name="robots" content="noindex" /> на кожній сторінці продукту (у head) і видаліть його (або змініть його на index) для кожної сторінки продукту, яку потрібно індексувати. Існує також відповідний заголовок HTTP, якщо вам це простіше.