/ / Някой, който използва нашия сайт в robots.txt - magento, уебсайт, директория, robots.txt

Някой, който използва нашия сайт на robots.txt - magento, уебсайт, директория, robots.txt

Преди няколко седмици открихме, че някой влиза на нашия сайт с директорията robots.txt: http://www.ourdomain.com/robots.txt
Правих някои изследвания и каза, че robots.txt прави разрешенията на нашата търсачка? Не съм сигурен в това ...
Причината да питам това е, защото днес той се опитва да влезе в този файл ...
Работата е там, че ние нямаме този файл на нашия уебсайт ... Така че защо някой се опитва да получи достъп до този файл? Опасно ли е? Трябва ли да се притесняваме?
Проследихме IP адреса и на него пише, че местоположението е в Тексас, а преди няколко седмици беше във Венецуела ... Той използва ли VPN? Това бот ли е?

Може ли някой да обясни какво прави този файл и защо се опитва да получи достъп до него?

Отговори:

1 за отговор № 1

В robots.txt (прост текстов файл) можете да укажете кои URL адреси на вашия сайт не трябва да бъдат обхождани от ботове (като роудър на търсачките).

Местоположението на този файл е фиксирано, така че ботовете винаги да знаят къде да намерят правилата: файла с име robots.txt трябва да бъде поставен в корена на документа на вашия хост. Например, когато е вашият сайт http://example.com/blog, robots.txt трябва да е достъпен от http://example.com/robots.txt.

Учтивите ботове винаги ще проверяват този файл, преди да се опитат да получат достъп до вашите страници; нечестивите ботове ще го игнорират.

Ако не предоставите роботи.txt, учтиви ботове приемат, че им е позволено да обхождат всичко. За да се отървете от 404-те, използвайте този robots.txt (който казва същото: всички ботове имат право да обхождат всичко):

User-agent: *
Disallow: