/ / Хтось, хто використовує наш сайт на robots.txt - magento, веб-сайт, каталог, robots.txt

Хтось використовує наш сайт на robots.txt - magento, веб-сайт, каталог, robots.txt

Деякі тижні тому ми виявили, що хтось переходить на наш сайт із каталогом robots.txt: http://www.ourdomain.com/robots.txt
Я займався деякими дослідженнями, і він сказав, що robots.txt робить дозволи нашої пошукової системи? Я не впевнений у цьому ...
Причина, чому я прошу цього, полягає в тому, що він сьогодні намагається знову потрапити в цей файл ...
Вся справа в тому, що у нас немає цього файлу на нашому веб-сайті ... То чому ж хтось намагається отримати доступ до цього файлу? Це небезпечно? Чи варто хвилюватися?
Ми відстежили IP-адресу, і там сказано, що місцезнаходження знаходиться в Техасі, а кілька тижнів тому це було у Венесуелі ... Він використовує VPN? Це бот?

Чи може хтось пояснити, що робить цей файл і чому він намагається отримати доступ до нього?

Відповіді:

1 для відповіді № 1

У robots.txt (простий текстовий файл) ви можете вказати, які URL-адреси вашого веб-сайту не повинні сканувати боти (як сканери пошукової системи).

Місце розташування цього файлу виправлено так, що боти завжди знають, де знайти правила: названий файл robots.txt має бути розміщено в корені документа вашого хоста. Наприклад, коли ваш сайт http://example.com/blog, robots.txt має бути доступний з http://example.com/robots.txt.

Ввічливі боти завжди перевірятимуть цей файл, перш ніж намагатись отримати доступ до ваших сторінок; нечесні боти проігнорують це.

Якщо ви не надаєте роботів.txt, ввічливі боти припускають, що їм дозволяється повзати все. Щоб позбутися 404-х, використовуйте цей robots.txt (який говорить те саме: всім ботам дозволено сканувати все):

User-agent: *
Disallow: