/ / Jakie reguły obowiązują w przypadku braku pliku robots.txt? - robot sieciowy

Jakie zasady obowiązują przy braku pliku robots.txt? - robota sieciowego

Czy wyszukiwarka nie powinna indeksować witryny, która nie obsługuje pliku robots.txt?

Edytuj 1: Co się stanie, jeśli nawet metatag robota jest nieobecny? Próbuję określić związane z tym legalności. To jest to.

Odpowiedzi:

5 dla odpowiedzi № 1

Wyszukiwarka zaindeksuje wszystkie publicznie dostępne strony w witrynie bez pliku robots.txt.