/ / Защо големите уеб сайтове като cnn използват robots.txt и не по-добре htaccess? - .htaccess

Защо големите уеб сайтове като cnn използват robots.txt, а не по-добре htaccess? - .htaccess

По мое мнение не е мъдро.

например виж това:

http://edition.cnn.com/robots.txt
http://www.bbc.co.uk/robots.txt
http://www.guardian.co.uk/robots.txt

според това:

http://www.joomla.org/robots.txt

Joomla.org не са променили папката за администрация по подразбиране: D

Например prestashp страницата има празен файл robots.txt, който не е перфектен, но поне по-добър по мое мнение:

http://www.prestashop.com/robots.txt

Тези хора са глупави или смятат, че е добре да знаят как изглежда структурата им в мрежата?

Защо не използват htaccess, за да откажат достъп за роботи и т.н.?

Отговори:

1 за отговор № 1

Проблемът е, че .htaccess не може интуитивно да каже, че посетител е бот за търсачки.

Повечето ботове ще се идентифицират в низа потребител-агент, но някои ще спечелят.

Robots.txt е достъпен от всички ботове, които търсят да индексират сайта, а безскрупулни ботове няма да

  1. Определете себе си като бот
  2. Обърнете внимание на robots.txt (или те умишлено не го подведат).