/ / Aké pravidlá platia v prípade neexistencie súboru robots.txt? - webový prehľadávač

Aké pravidlá sa riadia pri absencii súboru robots.txt? - webový prehľadávač

Mal by vyhľadávací nástroj neprehľadávať web, ktorý nie je hostiteľom súboru robots.txt?

Upraviť 1: Čo ak chýba metaznačka robotov? Pokúšam sa tu určiť, ktoré právne predpisy sú tu zapojené. To je všetko.

odpovede:

5 pre odpoveď č. 1

Vyhľadávací nástroj bude prehľadávať všetky verejne prístupné stránky na webe bez súboru robots.txt.