/ / Ktoś korzystający z naszej strony na robots.txt - magento, strona internetowa, katalog, robots.txt

Ktoś używający naszej strony na robots.txt - magento, strona internetowa, katalog, robots.txt

Kilka tygodni temu odkryliśmy, że ktoś idzie na naszą stronę z katalogiem robots.txt: http://www.ourdomain.com/robots.txt
Przeprowadziłem badania i stwierdzono, że plik robots.txt uprawnia naszą wyszukiwarkę? Nie jestem tego pewien ...
Powodem, dla którego o to pytam, jest to, że dzisiaj próbuje ponownie dostać się do tego pliku ...
Chodzi o to, że nie mamy tego pliku na naszej stronie ... Dlaczego więc ktoś próbuje uzyskać dostęp do tego pliku? Czy to jest niebezpieczne? Czy powinniśmy się martwić?
Śledziliśmy adres IP i mówi, że lokalizacja znajduje się w Teksasie, a kilka tygodni temu była w Wenezueli ... Czy używa VPN? Czy to jest bot?

Czy ktoś może wyjaśnić, co robi ten plik i dlaczego próbuje uzyskać do niego dostęp?

Odpowiedzi:

1 dla odpowiedzi № 1

W pliku robots.txt (prosty plik tekstowy) możesz określić, które adresy URL Twojej witryny nie powinny być indeksowane przez boty (takie jak roboty wyszukiwarek).

Lokalizacja tego pliku jest stała, dzięki czemu boty zawsze wiedzą, gdzie znaleźć reguły: plik o nazwie robots.txt musi być umieszczony w katalogu głównym twojego hosta. Na przykład, gdy Twoja witryna jest http://example.com/blog, plik robots.txt musi być dostępny z http://example.com/robots.txt.

Uprzejmi boty zawsze sprawdzają ten plik przed próbą uzyskania dostępu do twoich stron; niegrzeczne roboty zignorują to.

Jeśli nie dostarczysz robotów.txt, uprzejme boty zakładają, że mogą indeksować wszystko. Aby pozbyć się 404, użyj tego pliku robots.txt (który mówi to samo: wszystkie boty mogą indeksować wszystko):

User-agent: *
Disallow: