/ / Kann ich robots.txt verwenden, um die Robots an einen bestimmten Ordner zu senden? [closed] - Suchmaschine, robots.txt

Kann ich robots.txt verwenden, um die Roboter an einen bestimmten Ordner zu senden? [geschlossen] - Suchmaschine, robots.txt

Ich habe also eine reguläre Website und ein Blog in derselben Domain. In Zukunft plane ich, eine Domain exklusiv für den Blog zu kaufen, aber im Moment mache ich das so.

Der Blog befindet sich im Verzeichnis /blog Von der Hauptseite gibt es keine Links zum Blog. Ich nehme also an, dass Roboter einfach nicht dorthin gelangen können.

Gibt es eine Möglichkeit, Roboter mithilfe von an ein bestimmtes Verzeichnis zu senden? robots.txt? Gibt es eine andere Lösung als einen Link auf die Hauptseite zu setzen?

Antworten:

1 für die Antwort № 1

Sie möchten wahrscheinlich Sitemaps verwenden, um dies zu erreichen

Das Roboter-Ausschlussstandard, auch als Robots Exclusion bekannt Protokoll oderDas Protokoll robots.txt ist eine Konvention, die verhindert werden soll kooperierende Webcrawler und andere Webroboter haben keinen Zugriff auf alle oder Teil einer Website, die ansonsten öffentlich einsehbar ist. Roboter sind häufig von Suchmaschinen verwendet, um Websites zu kategorisieren und zu archivieren, oder von Webmastern zum Korrekturlesen des Quellcodes. Der Standard ist anders von, kann aber in Verbindung mit, Sitemaps, eine Robotereinbeziehung Standard für Websites.

http://en.wikipedia.org/wiki/Robots_exclusion_standard