Специално изключване на Robots.txt - seo, robots.txt

В момента моят robots.txt е следното

#Sitemaps
Sitemap: http://www.baopals.com.com/sitemap.xml

#Disallow select URLs
User-agent: *
Disallow: /admin/
Disallow: /products/

Моите продукти имат много дублиращо се съдържание, както аздръпнете данните от taobao.com и автоматично го преведете, което води до много дублирани и нискокачествени имена, поради което просто забранявам всичко. Въпреки това ръчно променям заглавията на определени продукти и ги записвам отново в базата данни и ги представям на началната страница с подходящи преводи, които те просто все още се запазват. /products/ и се изгубват завинаги, когато ги премахна от началната страница.

Чудя се дали би било възможно да се разрешипродуктите, които запазвам на началната страница с актуализираните преводи, все още се индексират от google или съм принуден да променя директорията на ръчно актуализираните продукти?

Отговори:

Някои ботове (включително Googlebot) поддържат Allow област. Това ви позволява да укажете пътища, които все пак трябва да бъдат разрешени за обхождане.

Така че трябва да добавите Allow линия за всеки продукт, който искате да бъде обхождан.

User-agent: *
Disallow: /admin/
Disallow: /products/
Allow: /products/foo-bar-1
Allow: /products/foo-foo-2
Allow: /products/bar-foo

Но вместо да забраняваме лазейки от страниците на продукта, може да искате да забраните индексиране, Тогава на бот все още е позволено да посещава страниците ви и да следи връзки, но няма да добавя страниците към индекса за търсене.

Добави <meta name="robots" content="noindex" /> на всяка продуктова страница (в head) и го премахнете (или променете на index) за всяка продуктова страница, която искате да индексирате. Има и съответно HTTP заглавка, ако това е по-лесно за вас.