/ / Zapobiegaj indeksowaniu podkatalogów domeny nadrzędnej - seo, robots.txt

Zapobiegaj indeksowaniu podkatalogów domeny nadrzędnej - seo, robots.txt

Powiedz, że moja strona children.com (którą chcę indeksować) jest również dostępna za pośrednictwem http://mother.com/children/ (czego nie chcę indeksować).

Przykładowa hierarchia: / home / nazwa użytkownika / matka: http://mother.com | _ dzieci: http://www.children.com

Co umieściłbym w moim pliku mother.com/robots.txt, aby uniemożliwić indeksowanie treści w children.com i wszystkich podkatalogach children.com jako należących do mother.com?

Dzięki za wszelkie sugestie

Odpowiedzi:

0 dla odpowiedzi № 1

Rozwiązałem własne pytanie i potwierdziłem je za pomocą analizatora phpwebby robots.txt ... Umieściłem następujący kod w pliku mother.com/robots.txt:

User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent: Jeeves
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Yahoo-MMCrawler
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow: /

I dodał następujące elementy do mojego pliku robots.txt z chilren.com.

User-agent: *
#block indexing of email and print pages -------
Disallow: /*~email.shtml
Disallow: /*~print.shtml
Sitemap: http://www.children.com/sitemap_index.xml

Oczywiście potroiłem się, żeby się upewnić (używającanalizator plików robots.txt), że różne podkatalogi NIE były dostępne za pośrednictwem domeny mother.com i że były one indeksowane za pośrednictwem domeny children.com.

Uwaga: Jako przykłady używamy tylko domen mother.com i children.com.


0 dla odpowiedzi nr 2

Prawdopodobnie nawet nie chcesz używać robots.txt, ale zamiast tego użyj kombinacji metatag robotów i znaczniki kanoniczne.

Na całą matkę.com / children pages, dodaj tag meta robots o wartości „noindex”. Mimo że wyszukiwarka będzie mogła indeksować stronę, nie doda tych stron do indeksu. Teraz może to spowodować pewne zamieszanie co do autorytatywnej lokalizacji treści.

Więc chcesz użyć kanonicznej domeny krzyżowejznacznik informujący główne wyszukiwarki, gdzie mieszka autorytatywna treść. Więc dodasz kanoniczny tag na stronach mother.com/children i podasz im wartości na children.com. Chcesz się upewnić, że jeśli jest to konkretna strona, możesz kanonizować ją do tej samej treści dla dzieci .com, ponieważ znacznik kanoniczny jest naprawdę przeznaczony tylko dla identycznej treści.