/ / Robots sind auch ohne eine robots.txt-Datei [closed] - seo, robots.txt - weiterhin unzulässig

Roboter sind auch ohne eine robots.txt-Datei [geschlossen] - seo, robots.txt nicht erlaubt

Ich habe Probleme mit einer Website, an der ich arbeite. Ich habe zunächst eine robots.txt Datei, um zu verhindern, dass Roboter sie indizieren, während ich daran arbeite. Aber jetzt ist es live und das robots.txt Die Datei wurde gelöscht, wurde jedoch noch nicht gecrawlt und zeigt an, dass Robotern der Zugriff verweigert wird. Auch in Abwesenheit eines robots.txt Datei. Die Website ist eine WordPress-basierte Website - alles deutet darauf hin, dass keine Crawler blockiert werden sollten.

Was könnte hier falsch sein?

Antworten:

1 für die Antwort № 1

Verwenden Sie keine robots.txt-Datei, sondern einen Roboter.txt-Datei, die speziell das Crawlen Ihres Inhalts ermöglicht. Auf diese Weise glauben die Suchmaschinenspinnen nicht, dass Sie die Datei versehentlich gelöscht haben.

User-agent: *
Disallow:

um gezielt alles krabbeln zu lassen oder

User-agent: *
Disallow: /admin

nur ein Admin-Verzeichnis zu verbieten


0 für die Antwort № 2

Ich hatte ein ähnliches Problem, wahrscheinlich könnte dies seinwas du vermisst Auch wenn die Indizierung Ihrer Site durch Robots bis zu einem gewissen Grad eingeschränkt ist, können Sie nicht verhindern, dass viele Skripts verfügbar sind. Wenn die Bots beispielsweise die Seite aufrufen, als würden sie einen Agentenbrowser verwenden, können sie Ihre Seite indexieren, ohne dass Sie es merken.

Ex, Stellen Sie sich einen Browser namens Magic Browser und den folgenden Code vor, der von einem Bot verwendet wird urllib2.Request (URL, Header = {"User-Agent": "Magic Browser"})

//Python

Dies würde nicht einmal interessieren, ob robots.txt gepostet wurde oder nicht.


0 für die Antwort № 3

Registrieren Sie sich und überprüfen Sie Ihren Status mit Google WebMaster Tools.

Sie werden dort alles herausfinden