/ / Was bedeutet diese robots.txt? Erlaubt es keine Roboter? - seo, robots.txt

Was bedeutet diese robots.txt? Erlaubt es keine Roboter? - seo, robots.txt

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

Ich habe diese robots.txt-Datei in einem der Stammordner meiner Website gefunden. Ich weiß nicht, ob ich es gemacht habe oder von wem.

Ich denke, diese Datei erlaubt keine Roboter zum Admin-Ordner. Das ist gut.

Aber ich frage mich, ob dies alle Roboter auf allen Dateien meiner Website blockiert.

Ich habe es mit dieser Datei geändert:

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps: diese website bekommt schon lange keinen index. war das alte dateiproblem?

Antworten:

1 für die Antwort № 1

Das alte Skript mit Ausnahme des doppelten / Admin-Eintrags war korrekt. Es gibt keinen Allow: -Befehl und ein leeres "Disallow:" öffnet die Site für Roboter.

http://www.free-seo-news.com/all-about-robots-txt.htm

Überprüfen Sie insbesondere Punkt 7 unter "Dinge, die Sie vermeiden sollten" und Nr. 1 unter "Tipps und Tricks".


1 für die Antwort № 2

Möglicherweise. Ich habe Ihre alte Datei genauso gelesen wie Sie - diese Wurzel wurde nicht zugelassen. In jedem Fall ist Ihre neue Roboter-Datei so eingerichtet, wie ich es erwartet habe.