/ / Wie können Crawler nur den Zugriff auf index.php mit robots.txt erlauben? - SEO, Webcrawler, robots.txt

Wie können Crawler nur den Zugriff auf index.php mit robots.txt erhalten? - SEO, Webcrawler, robots.txt

Wenn ich nur Crawlern den Zugriff auf index.php erlauben möchte, funktioniert das?

User-agent: *
Disallow: /
Allow: /index.php

Antworten:

20 für die Antwort № 1

Ja, es wird funktionieren. Hier ist das Testergebnis von der Google Webmaster-Tool.

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Beachten Sie jedoch, dass Ihre Website bei dieser Konfiguration nicht gecrawlt wird, es sei denn, auf die Seite wird mit dem vollständig qualifizierten Pfad zugegriffen. Mit anderen Worten, http://www.example.org/ ist währenddessen verboten http://www.example.org/index.php ist erlaubt.

Wenn Sie möchten, dass Ihre Homepage zugänglich ist, ist hier eine bessere Version Ihrer Datei.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

3 für die Antwort № 2
User-agent: *

Allow: /index.php
Disallow: /

2 für die Antwort № 3

Versuchen Sie, die Reihenfolge von Disallow / Allow zu umgehen:

User-agent: *
Allow: /index.php
Disallow: /

Sehen Sie diese Info von wikipedia:

"Um dennoch mit allen kompatibel zu sein Roboter, wennDu willst Single zulassen Dateien in einem ansonsten nicht erlaubt Verzeichnis, müssen Sie die Zulassen platzieren Richtlinie (n) zuerst, gefolgt von der Nicht zulassen, zum Beispiel: "

http://en.wikipedia.org/wiki/Robots.txt

Trotzdem würde ich nicht erwarten, dass es zu konsequent funktioniert


1 für die Antwort № 4

Du kannst den ... benutzen Google Roboter-Tool überprüfen. Ich würde niemals irgendwelche geheimen Verzeichnisse in die Robots-Datei einfügen, da ich annehmen würde, dass eine Zeile wie unten für bestimmte Spinnen wie Honig wäre.

Disallow: /secret

1 für die Antwort № 5
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml