/ / Einzelne robots.txt Datei für alle Subdomains - Apache, .htaccess, robots.txt

Einzelne robots.txt Datei für alle Subdomains - Apache, .htaccess, robots.txt

Ich habe eine Website (Beispiel.com) und habe meine Roboter.TXT im Root-Verzeichnis eingerichtet. Ich habe auch mehrere Subdomains (foo.example.com, bar.example.com und weitere in der Zukunft), deren robots.txt allesamt identisch mit der von example.com sein wird. Ich weiß, dass ich eine Datei an der Wurzel jeder Subdomain platzieren kann, aber ich frage mich, ob es möglich ist, die Crawler, die nach robots.txt in einer Subdomain suchen, an example.com/robots.txt umzuleiten?

Antworten:

0 für die Antwort № 1

Das Senden eines Redirect-Headers für Ihre robots.txt-Datei wird weder empfohlen noch offiziell unterstützt.

Google-Dokumentation ausdrücklich heißt:

Die Verarbeitung von robots.txt-Weiterleitungen zu nicht zulässigen URLs ist nicht definiert und wird nicht empfohlen.

Aber die Dokumentation sagt Redirect "wird sein allgemein gefolgt". Wenn Sie Ihre Subdomains zu den Google Webmaster-Tools hinzufügen und zu "Crawl> Blockierte URLs" wechseln, können Sie Ihre Subdomains-robots.txts testen, die 301 weiterleiten. Es sollte wieder positiv funktionieren.

Aber damit würde ich es tun stark vorschlagen, dass Sie nur die Dateien in Symlinkplatzieren Sie und dass jede robots.txt-Datei mit einem 200 OK bei den entsprechenden URLs antwortet. Dies ist viel mehr inline mit der ursprünglichen robots.txt-Spezifikation, sowie der Dokumentation von Google und wer weiß genau, wie Bing / Yahoo mit der Zeit damit umgehen wird.