/ / Запобігання індексації підкаталогів батьківського домену - seo, robots.txt

Запобігання індексування підкаталогів батьківського домену - seo, robots.txt

Скажіть, мій сайт children.com (який я хочу індексувати) також доступний через http://mother.com/children/ (яку я не хочу індексувати).

Приклад ієрархії: / home / ім'я користувача / мати: http://mother.com | _ дітей: http://www.children.com

Що б я помістив у файл mother.com/robots.txt, щоб запобігти індексуванню вмісту в children.com і всіх підкаталогів children.com, що належать до mother.com?

Дякуємо за будь-які пропозиції

Відповіді:

0 для відповіді № 1

Я вирішив своє власне питання і підтвердив його через phpwebby robots.txt аналізатор ... Я помістив наступний код у файл mother.com/robots.txt:

User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent: Jeeves
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Yahoo-MMCrawler
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow: /

І додав до файлу chilren.com robots.txt наступне.

User-agent: *
#block indexing of email and print pages -------
Disallow: /*~email.shtml
Disallow: /*~print.shtml
Sitemap: http://www.children.com/sitemap_index.xml

Звичайно, я потрійна перевірка, щоб переконатися (використовуючифайловий аналізатор robots.txt), що різні підкаталоги не були доступні через домен mother.com і що вони були індексовані через домен children.com.

Примітка: як приклад використовуйте домени mother.com і children.com.


0 для відповіді № 2

Насправді ви навіть не хочете використовувати robots.txt. Але використовуйте комбінацію мета-тег роботів і канонічні теги.

На всю матір.com / children сторінки, додайте тег мета-роботів зі значенням "noindex". Хоча пошукова система зможе сканувати сторінку, вона не додасть ці сторінки до індексу. Тепер це може створити певну плутанину щодо авторитетного розташування вмісту.

Отже, ви захочете використовувати канонічний перехресний домендля інформування основних пошукових систем, де живе авторитетний вміст. Таким чином, ви будете "додати канонічний тег на сторінках mother.com/children і дати їм значення на children.com. .com, тому що канонічний тег дійсно призначений лише для ідентичного вмісту.