/ / Как да разреша на роботите да имат достъп само до index.php, използвайки robots.txt? - seo, web-crawler, robots.txt

Как да позволя на роботите достъп само до index.php, използвайки robots.txt? - SEO, уеб робот, robots.txt

Ако искам да разреша само на роботите на достъп до index.php, това ще работи ли?

User-agent: *
Disallow: /
Allow: /index.php

Отговори:

20 за отговор № 1

Да, ще работи. Ето резултатите от теста от Google Webmaster Tool.

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Въпреки това, не забравяйте, че при тази конфигурация началната страница на сайта ви няма да бъде обхождана, освен ако страницата е достъпна с пълния квалифициран път. С други думи, http://www.example.org/ е забранено докато http://www.example.org/index.php е позволено.

Ако искате началната ви страница да е достъпна, ето по-добра версия на вашия файл.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

3 за отговор № 2
User-agent: *

Allow: /index.php
Disallow: /

2 за отговор № 3

Опитайте да смените реда на забрана / разрешаване:

User-agent: *
Allow: /index.php
Disallow: /

Вижте тази информация от уикипедия:

„И все пак, за да бъдем съвместими с всички роботи, акоискате да разрешите единичен файлове вътре в противен случай забранени трябва да поставите Allow първо (и) директива (и), последвано от Забранете например: "

http://en.wikipedia.org/wiki/Robots.txt

Все пак не бих очаквал да работи твърде последователно


1 за отговор № 4

Можете да използвате Инструмент Google Robots до касата. Никога не бих сложил секретни директории във файла с роботи, тъй като предполагам, че ред като по-долу ще бъде като мед за определени паяци.

Disallow: /secret

1 за отговор № 5
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml