/ / Que signifie ce fichier robots.txt? Est-ce qu'il ne permet aucun robot? - seo, robots.txt

Que signifie ce fichier robots.txt? Est-ce qu'il ne permet aucun robot? - seo, robots.txt

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

J'ai trouvé ce fichier robots.txt dans l'un des dossiers racine de mon site Web. Je ne sais pas si je l’ai fait ou qui.

Je pense que ce fichier ne permet à aucun robot de se placer dans le dossier admin. C'est bon.

Mais je me demande si cela bloque tous les robots sur tous les fichiers de mon site Web?

Je l’ai changé avec ce fichier:

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps: ce site ne reçoit plus d’index depuis longtemps. était l'ancien problème de fichier?

Réponses:

1 pour la réponse № 1

L'ancien script, autre que l'entrée dupliquer / administrateur, était correct. Il n'y a pas de commande Allow: et un "Disallow:" vide ouvre le site aux robots.

http://www.free-seo-news.com/all-about-robots-txt.htm

Plus précisément, cochez le point 7 sous "Ce que vous devriez éviter" et le premier sous "Trucs et astuces".


1 pour la réponse № 2

Peut-être. J'ai lu votre ancien fichier de la même manière que vous - cette racine était interdite. Dans les deux cas, votre nouveau fichier de robots est configuré comme je l’attend.