Robots.txt Špecifické vylúčenie - seo, robots.txt

Momentálne moja robots.txt je nasledujúci

#Sitemaps
Sitemap: http://www.baopals.com.com/sitemap.xml

#Disallow select URLs
User-agent: *
Disallow: /admin/
Disallow: /products/

Moje produkty majú veľa duplicitného obsahu ako javytiahnuť dáta z taobao.com a automaticky preložiť to vedie k veľa duplicitných a nízka kvalita mien, čo je dôvod, prečo som len zakázať celú vec. Avšak manuálne meniť tituly na určitých produktoch a znovu ich ukladať do databázy a predvádzať ich na domovskej stránke s náležitými prekladmi, ktoré si ešte stále uložia späť do /products/ a sú navždy stratené, keď ich odstránim z domovskej stránky.

Zaujímalo by ma, či by to bolo možnéprodukty, ktoré ukladám na domovskú stránku s aktualizovanými prekladmi, sú stále indexované spoločnosťou Google alebo som nútený zmeniť adresár manuálne aktualizovaných produktov?

odpovede:

Niektorí roboty (vrátane robota Googlebot) podporujú Allow lúka. To vám umožní určiť cesty, ktoré by mali byť povolené na indexové prehľadávanie.

Takže budete musieť pridať Allow pre každý produkt, ktorý chcete prehľadávať.

User-agent: *
Disallow: /admin/
Disallow: /products/
Allow: /products/foo-bar-1
Allow: /products/foo-foo-2
Allow: /products/bar-foo

Ale namiesto odmietnutia plazí vašich stránok s produktmi, možno budete chcieť zakázať indexovanie, Potom môže robot ešte navštíviť vaše stránky a sledovať odkazy, ale stránky sa do indexu vyhľadávania nepridajú.

pridať <meta name="robots" content="noindex" /> na každú stránku produktu (v head) a odstráňte ho (alebo ho zmeňte na index) pre každú stránku produktu, ktorú chcete indexovať. Ak je to pre vás jednoduchšie, je tu aj zodpovedajúca hlavička HTTP.