/ / Roboty sú stále zakázané aj bez súboru robots.txt [zatvorené] - seo, robots.txt

Roboty sú stále nepovolené ani bez súboru robots.txt [closed] - seo, robots.txt

Mám problém s webovou stránkou, na ktorej pracujem. Pôvodne som si založil robots.txt súbor, ktorý robotom zabráni v indexovaní, keď som na tom pracoval. Avšak teraz je to naživo a robots.txt súbor bol odstránený, ale stále nebol prehľadaný a ukazuje, že robotom je zakázaný prístup. Aj pri absencii a robots.txt súboru. Táto stránka je webovou stránkou založenou na wordpress - zdá sa, že všetko naznačuje, že by nemal existovať žiadny blok pre žiadne prehľadávače.

Čo by mohlo byť zlé?

odpovede:

1 pre odpoveď č. 1

Namiesto súboru robots.txt použite roboty.txt súbor, ktorý konkrétne umožňuje indexové prehľadávanie vášho obsahu. Týmto spôsobom pavúky vyhľadávača nebudú myslieť, že ste omylom odstránili súbor omylom. Niečo ako:

User-agent: *
Disallow:

konkrétne umožniť prehľadávanie všetkého alebo

User-agent: *
Disallow: /admin

zakázať iba adresár správcu


0 pre odpoveď č. 2

Mal som podobný problém, pravdepodobne by to mohol byťčo ti chýba Aj keď sú roboti do určitej miery obmedzení v indexovaní vašich stránok, nemôžete zastaviť veľa dostupných skriptov. Napríklad pri volaní na stránku, ak roboty predstavujú, akoby používali prehliadač agentov, môžu infikovať vašu stránku bez toho, aby ste to vedeli.

ex, Predstavte si prehliadač s názvom magický prehliadač a nasledujúci kód používaný robotom urllib2.Request (url, headers = {"User-Agent": "Magic Browser"})

// python

To by bolo dokonca jedno, či bol súbor robots.txt zverejnený alebo nie.


0 pre odpoveď č. 3

Zaregistrujte sa a skontrolujte svoj stav pomocou nástrojov Google WebMaster Tools.

Nájdete tam všetko