Gibt es eine Möglichkeit zu verhindern, dass Webcrawler meine öffentlich zugängliche Webanwendungswebsite crawlen und im Cache speichern?
Vielen Dank.
Antworten:
3 für die Antwort № 1Sie können verwenden Robots.txt:
User-agent: *
Disallow: /
Aber es ist nicht 100% zuverlässig, nicht alle Crawler werden dies respektieren.
Nach dem, was ich kürzlich erfahren habe, ist der einzige 100% zuverlässige Weg, alle Ihre Seiten sicher zu machen.
2 für die Antwort № 2
Robots.txt (wie bereits vorgeschlagen) verhindert das Crawlen. Wenn Sie nur das Zwischenspeichern verhindern möchten, fügen Sie Ihrem Abschnitt <head> den folgenden HTML-Code hinzu:
<META NAME="ROBOTS" CONTENT="NOARCHIVE" />
1 für die Antwort № 3
Ja, Erstellen Sie eine robots.txt-Datei im Stammverzeichnis Ihrer Website. Es gibt viele andere interessante Tutorials um.
1 für die Antwort № 4
Eine übliche Möglichkeit, Suchmaschinen wie Google usw. zu stoppen, besteht darin, eine ROBOTS.TXT-Datei in das Stammverzeichnis Ihrer Website aufzunehmen.
Hier ist ein guter Artikel zu diesem Thema http://www.javascriptkit.com/howto/robots.shtml
1 für die Antwort № 5