/ / Jak zezwolić robotom na dostęp tylko do index.php przy użyciu robots.txt? - seo, web-crawler, robots.txt

Jak zezwolić robotom na dostęp tylko do pliku index.php za pomocą pliku robots.txt? - seo, robota sieciowego, robots.txt

Jeśli chcę zezwolić przeszukiwaczom na dostęp do pliku index.php, czy to zadziała?

User-agent: *
Disallow: /
Allow: /index.php

Odpowiedzi:

20 dla odpowiedzi nr 1

Tak, zadziała. Oto wynik testu z Narzędzie Google dla webmasterów.

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Pamiętaj jednak, że przy tej konfiguracji strona główna witryny nie zostanie zaindeksowana, chyba że strona uzyska dostęp pełną ścieżką kwalifikowaną. Innymi słowy, http://www.example.org/ jest zabronione podczas http://www.example.org/index.php jest dozwolone.

Jeśli chcesz, aby strona główna była dostępna, oto lepsza wersja pliku.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

3 dla odpowiedzi № 2
User-agent: *

Allow: /index.php
Disallow: /

2 dla odpowiedzi nr 3

Spróbuj zamienić kolejność Disallow / Allow:

User-agent: *
Allow: /index.php
Disallow: /

Zobacz te informacje z wikipedii:

„Jednak aby być kompatybilnym ze wszystkimi roboty, jeślichcesz zezwolić na singla pliki wewnątrz inaczej zabronione w katalogu, musisz umieścić Zezwalaj dyrektywy, a następnie Zabroń, na przykład: „

http://en.wikipedia.org/wiki/Robots.txt

Mimo to nie spodziewałbym się, że będzie działać zbyt konsekwentnie


1 dla odpowiedzi nr 4

Możesz użyć Narzędzie Google Robots sprawdzić. Nigdy nie umieszczałbym żadnych tajnych katalogów w pliku robotów, ponieważ domyślam się, że linia taka jak poniżej byłaby dla niektórych pająków równie miodna.

Disallow: /secret

1 dla odpowiedzi nr 5
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml