Ako povoliť indexovému prehľadávaču prístup iba k index.php pomocou súboru robots.txt? - SEO, webový prehľadávač, robots.txt

Ak chcem povoliť iba indexovým prehľadávačom prístup k index.php, bude to fungovať?

User-agent: *
Disallow: /
Allow: /index.php

odpovede:

20 pre odpoveď č. 1

Áno, bude to fungovať. Tu je výsledok testu z internetu Nástroj pre správcov webu Google.

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Nezabúdajte však, že pri tejto konfigurácii nebude možné prehľadávať domovskú stránku vášho webu, pokiaľ na túto stránku nepristupujete úplnou kvalifikovanou cestou. Inými slovami, http://www.example.org/ zatiaľ je zakázané http://www.example.org/index.php je dovolené.

Ak chcete, aby bola vaša domovská stránka prístupná, tu je lepšia verzia súboru.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

---

3 pre odpoveď č. 2

User-agent: *

Allow: /index.php
Disallow: /

---

2 pre odpoveď č. 3

Skúste zmeniť poradie Zakázať / Povoliť:

User-agent: *
Allow: /index.php
Disallow: /

Pozrite si tieto informácie z wikipedia:

„Napriek tomu, aby bol kompatibilný so všetkými roboty, akchcete povoliť jedno súbory vo vnútri inak zakázaného súboru do adresára musíte umiestniť Povoliť smernica (smernice) ako prvé, za ktorou nasleduje Zakázať napríklad: „

http://en.wikipedia.org/wiki/Robots.txt

Stále by som však neočakával, že bude fungovať príliš dôsledne

---

1 pre odpoveď č. 4

Môžete použiť Nástroj Google Robots skontrolovať. Nikdy by som do súboru robotov nevložil žiadne tajné adresáre, pretože by som predpokladal, že línia, ako je nižšie, bude pre niektorých pavúkov medom.

Disallow: /secret

---

1 pre odpoveď č. 5

User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml

---