/ / Môžem použiť súbor robots.txt na odoslanie robotov do konkrétneho priečinka? [zatvorené] - vyhľadávací nástroj, robots.txt

Môžem použiť robots.txt na odoslanie robotov do konkrétneho priečinka? [closed] - vyhľadávač, robots.txt

Mám teda rovnakú webovú stránku a blog v rovnakej doméne. V budúcnosti plánujem kúpiť doménu výlučne pre blog, ale zatiaľ to urobím ja.

Blog sa nachádza v adresári /blog a z hlavnej stránky na blog neexistujú žiadne odkazy. Takže predpokladám, že sa tam roboti nemôžu dostať.

Existuje spôsob, ako poslať robotov do konkrétneho adresára robots.txt? Existuje iné riešenie, ako vložiť odkaz na hlavnú stránku?

odpovede:

1 pre odpoveď č. 1

Na dosiahnutie tohto cieľa pravdepodobne budete chcieť použiť súbory Sitemap

Na Štandard vylúčenia robotov, známe tiež ako vylúčenie robotov Protokol aleboProtokol robots.txt je konvencia, ktorej sa má zabrániť spolupracujúce webové prehľadávače a iné webové roboty v prístupe ku všetkým alebo časť webovej stránky, ktorá je inak verejne viditeľná. Roboti sú vyhľadávacie nástroje často používané na kategorizáciu a archiváciu webových stránok, alebo správcovia webu na korektúru zdrojového kódu. Štandard je iný od, ale dá sa použiť v spojení s, Súbory Sitemap, začlenenie robotov standard pre webové stránky.

http://en.wikipedia.org/wiki/Robots_exclusion_standard