/ / Як дозволити сканерам доступ лише до index.php, використовуючи robots.txt? - seo, веб-сканер, robots.txt

Як дозволити сканерам доступ до index.php лише за допомогою robots.txt? - seo, веб-сканер, robots.txt

Якщо я хочу дозволити лише сканерам отримувати доступ до index.php, це буде працювати?

User-agent: *
Disallow: /
Allow: /index.php

Відповіді:

20 за відповідь № 1

Так, це спрацює. Ось результат тесту з Інструмент Google для веб-майстрів.

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Однак пам’ятайте, що при такій конфігурації домашню сторінку вашого веб-сайту не можна сканувати, якщо тільки до нього не звертається повний кваліфікований шлях. Іншими словами, http://www.example.org/ заборонено поки http://www.example.org/index.php допускається

Якщо ви хочете, щоб ваша домашня сторінка була доступною, ось краща версія вашого файлу.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

3 для відповіді № 2
User-agent: *

Allow: /index.php
Disallow: /

2 для відповіді № 3

Спробуйте поміняти порядок заборонити / дозволити:

User-agent: *
Allow: /index.php
Disallow: /

Дивіться цю інформацію з Вікіпедії:

"Але, щоб бути сумісним для всіх роботів, якщови хочете дозволити одиноку файли всередині забороненого в іншому випадку Каталог, вам потрібно розмістити Дозволити спочатку директиви (и), а потім - Заборонити, наприклад: "

http://en.wikipedia.org/wiki/Robots.txt

Але я б не очікував, що це буде працювати дуже послідовно


1 для відповіді № 4

Ви можете скористатись Інструмент Google Robots оформити замовлення. Я б ніколи не містив жодних секретних каталогів у файл роботів, як я здогадався, що рядок, як показано нижче, буде медом для певних павуків.

Disallow: /secret

1 для відповіді № 5
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml