Čo robots.txt znamená? Neumožňuje robotom? - seo, robots.txt

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

Našiel som tento súbor robots.txt v jednom z koreňových zložiek mojej webovej stránky. Neviem, že som to urobil alebo kto.

Myslím, že tento súbor neumožňuje robotom robiť admin priečinok. Toto je dobré.

Ale zaujímalo by ma, či to zablokuje všetky roboty na všetky súbory na mojej webovej stránke?

Zmenil som ho s týmto súborom:

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps: táto webová stránka už dlhší čas nezískava index. bol starý problém súboru?

odpovede:

Starý skript, iný ako duplicitný / správny záznam, bol správny. Neexistuje príkaz Povoliť: a prázdne "Zakázať:" otvorí stránku robotom.

http://www.free-seo-news.com/all-about-robots-txt.htm

Konkrétne skontrolujte položku č. 7 v časti "Veci, ktoré by ste sa mali vyhnúť" a # 1 v časti "Tipy a triky"

Možno. Čítal som váš starý súbor rovnakým spôsobom - ten root bol nepovolený. Tak či onak, váš nový súbor robotov je nastavený, ako očakávam, že ho chcete.