/ / Какви правила управляват при липса на robots.txt? - уеб-робот

Какви правила се регулират в отсъствието на robots.txt? - уеб робот

Трябва ли търсачката да не обходи уебсайт, който не е хост на robots.txt?

Редактиране 1: Ами ако дори мета-тагът на роботите отсъства? Опитвам се да определя законите, които са засегнати тук. Това е.

Отговори:

5 за отговор № 1

Търсачката ще обходи всички публично достъпни страници на сайт без файл robots.txt.