/ / Які правила регулюються за відсутності robots.txt? - веб-сканер

Які правила регулюють за відсутності robots.txt? - веб-сканер

Чи повинна пошукова система не сканувати веб-сайт, на якому не розміщено robots.txt?

Редагувати 1: Що робити, якщо навіть метатег роботів відсутній? Я намагаюся визначити законності, які тут стосуються. Це воно.

Відповіді:

5 за відповідь № 1

Пошукова система сканує всі публічно доступні сторінки на сайті без файлу robots.txt.