/ / Welche Regeln gelten in Abwesenheit von robots.txt? - Web-Crawler

Welche Regeln gelten in Abwesenheit von robots.txt? - Web-Crawler

Sollte eine Suchmaschine nicht auf einer Website crawlen, die keine robots.txt hostet?

Bearbeiten 1: Was ist, wenn nicht einmal das Robots-Meta-Tag fehlt? Ich versuche, die hier auftretenden Gesetzmäßigkeiten zu ermitteln. Das ist es.

Antworten:

5 für die Antwort № 1

Eine Suchmaschine wird alle öffentlich zugänglichen Seiten auf einer Site ohne eine robots.txt-Datei durchsuchen.