/ / Роботите все още са забранени дори без файл robots.txt [затворен] - seo, robots.txt

Роботите все още са забранени дори без файл robots.txt [затворен] - seo, robots.txt

Имам проблеми с уебсайт, на който работя. Първоначално създадох a robots.txt файл, за да не позволим на роботите да го индексират, докато работех върху него. Въпреки това сега си жив и robots.txt Файлът е изтрит, но все още не е бил обходен и показва, че роботите са неоторизиран достъп. Дори при липса на robots.txt файл. Сайтът е уеб сайт, базиран на wordpress - всичко изглежда да предполага, че не трябва да има блок за роботи.

Какво може да е погрешно тук?

Отговори:

1 за отговор № 1

Вместо да имате файл robots.txt, използвайте роботи.txt файл, който специално позволява обхождането на вашето съдържание. По този начин паяците на търсачката няма да мислят, че случайно сте изтрили файла по погрешка. Нещо като:

User-agent: *
Disallow:

специално да позволи пълзянето на всичко или

User-agent: *
Disallow: /admin

да забраните само администраторска директория


0 за отговор № 2

Имах подобен проблем, вероятно това би могло да бъдетова, което ти липсва .. Дори ако роботите са ограничени до определена степен от индексирането на вашия сайт, не можете да спрете много скриптове на разположение. Например, когато се обаждате на страницата, ако ботовете представят, сякаш използват браузър за агенти, те могат да индексират вашата страница, без да я познавате.

Ex, Представете си браузър, наречен магически браузър, и следващия код, използван от бот urllib2.Request (url, headers = {"User-Agent": "Magic Browser"))

// питон

Това няма да ви е грижа, ако robots.txt е публикуван или не.


0 за отговор № 3

Регистрирайте се и проверете състоянието си с Google WebMaster Tools.

Ще откриете всичко там