/ / Jemand, der unsere Seite auf robots.txt verwendet - Magento, Website, Verzeichnis, robots.txt

Jemand der unsere Seite auf robots.txt - magento, website, directory, robots.txt benutzt

Vor einigen Wochen haben wir entdeckt, dass jemand mit dem robots.txt-Verzeichnis auf unsere Seite gegangen ist: http://www.ourdomain.com/robots.txt
Ich habe recherchiert und gesagt, dass robots.txt die Berechtigungen unserer Suchmaschine erfüllt. Ich bin mir nicht sicher ...
Der Grund, warum ich das frage, ist, weil er heute noch einmal versucht, in diese Datei zu kommen ...
Die Sache ist, dass wir diese Datei nicht auf unserer Website haben ... Warum versucht jemand, auf diese Datei zuzugreifen? Ist es gefährlich? Sollten wir uns Sorgen machen?
Wir haben die IP-Adresse verfolgt und es heißt, dass sich der Standort in Texas befindet, und vor einigen Wochen war es in Venezuela ... Verwendet er ein VPN? Ist das ein Bot?

Kann jemand erklären, was diese Datei macht und warum versucht wird, darauf zuzugreifen?

Antworten:

1 für die Antwort № 1

In einer robots.txt (einer einfachen Textdatei) können Sie angeben, welche URLs Ihrer Site nicht von Bots gecrawlt werden sollen (wie Suchmaschinen-Crawler).

Der Speicherort dieser Datei ist festgelegt, so dass Bots immer wissen, wo die Regeln zu finden sind: die benannte Datei robots.txt muss im Dokumentenstammverzeichnis Ihres Hosts platziert werden. Zum Beispiel, wenn Ihre Website ist http://example.com/blogAuf die robots.txt muss von zugegriffen werden http://example.com/robots.txt.

Höfliche Bots überprüfen diese Datei immer, bevor sie versuchen, auf Ihre Seiten zuzugreifen. unhöfliche Bots werden es ignorieren.

Wenn Sie keine Roboter zur Verfügung stellen.txt, höfliche Bots gehen davon aus, dass sie alles crawlen dürfen. Um die 404s loszuwerden, benutze diese robots.txt (die dasselbe sagt: alle Bots dürfen alles crawlen):

User-agent: *
Disallow: