/ / Puis-je utiliser le fichier robots.txt pour envoyer les robots dans un dossier spécifique? [fermé] - moteur de recherche, robots.txt

Puis-je utiliser le fichier robots.txt pour envoyer les robots dans un dossier spécifique? [fermé] - moteur de recherche, robots.txt

J'ai donc un site Web régulier et un blog dans le même domaine. Dans l’avenir, je prévois d’acheter un domaine exclusivement pour le blog, mais pour l’instant, c’est comme ça que je vais le faire.

Le blog est dans l'annuaire /blog et il n'y a pas de liens du site principal au blog. Je suppose donc que les robots ne peuvent tout simplement pas y arriver.

Est-il possible d'envoyer des robots dans un répertoire particulier en utilisant robots.txt? Y a-t-il une autre solution que de mettre un lien dans le site principal?

Réponses:

1 pour la réponse № 1

Vous voulez probablement utiliser des sitemaps pour y parvenir

le Norme d'exclusion de robot, également connu sous le nom d'exclusion de robots Protocole ouprotocole robots.txt, est une convention pour empêcher crawlers Web et d’autres robots Web qui coopèrent ont accès à tout ou partie partie d'un site Web qui est par ailleurs accessible au public. Les robots sont souvent utilisé par les moteurs de recherche pour classer et archiver des sites Web, ou par les webmasters pour relire le code source. La norme est différente de, mais peut être utilisé en conjonction avec, Plans Sitemap, une inclusion de robot la norme pour les sites Web.

http://en.wikipedia.org/wiki/Robots_exclusion_standard