Що означає цей файл robots.txt? Чи не дозволяють будь-які роботи? - seo, robots.txt

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

Я знайшов цей файл robots.txt в одній з кореневих папок мого веб-сайту. Я не знаю, що я зробив це або хто.

Я думаю, що цей файл не дозволяє роботам керувати папкою адміністратора. Це добре.

Але мені цікаво, якщо це блокує всіх роботів для всіх файлів на моєму сайті?

Я змінив цей файл:

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps: цей сайт не отримує жодного індексу протягом тривалого часу. старі проблеми з файлами?

Відповіді:

Старий скрипт, окрім запису дублювання / адміністратора, був правильним. Немає Allow: команди, а порожній "Disallow:" відкриває сайт до роботів.

http://www.free-seo-news.com/all-about-robots-txt.htm

Зокрема, позначте пункт 7 у розділі "Речі, яких слід уникати" та № 1 у розділі "Поради та підказки"

Можливо. Я прочитав ваш старий файл так само, як ви - корінь був заборонений. У будь-якому випадку ваш новий файл роботів буде налаштовано так, як я очікую, що ви його хочете.