/ / Jeden súbor robots.txt pre všetky subdomény - apache, .htaccess, robots.txt

Samostatný súbor robots.txt pre všetky subdomény - apache, .htaccess, robots.txt

Mám web (example.com) a mám svojich robotov.txt nastavené v koreňovom adresári. V budúcnosti budem mať aj niekoľko subdomén (foo.example.com, bar.example.com a ďalšie), ktorých všetky súbory robots.txt budú rovnaké ako adresy example.com. Viem, že môžem umiestniť súbor do koreňa každej subdomény, ale zaujímalo by ma, či je možné presmerovať prehľadávače hľadajúce súbor robots.txt na ľubovoľnú subdoménu na example.com/robots.txt?

odpovede:

0 pre odpoveď č. 1

Odoslanie hlavičky presmerovania pre súbor robots.txt sa neodporúča a nie je ani oficiálne podporované.

Dokumentácia spoločnosti Google konkrétne uvádza:

Spracovanie presmerovaní robots.txt na zakázané adresy URL je nedefinované a neodporúča sa.

Ale dokumentácia hovorí, že presmerovanie “bude všeobecne nasledoval ". Ak pridáte svoje subdomény do Nástrojov správcu webu Google a prejdete na „Indexové prehľadávanie> blokované adresy URL“, môžete otestovať subdoménu robots.txts, ktoré presmerujú 301. Malo by sa to vrátiť pozitívne.

S tým by som však povedal silne navrhnite, aby ste súbory jednoducho zosynchronizovalimiesto a že každý súbor robots.txt odpovie 200 OK na príslušných adresách URL. Toto je oveľa viac v súlade s pôvodnou špecifikáciou robots.txt, ako aj s dokumentáciou spoločnosti Google a kto presne vie, ako s ňou bude bing / yahoo časom zaobchádzať.