/ / Comment personnaliser le fichier DNN robots.txt pour permettre à un sitemap spécifique au module d'être exploré par les moteurs de recherche? - référencement, dotnetnuke, robots.txt, googlebot

Comment personnaliser le fichier DNN robots.txt afin de permettre l'exploration des sitemap spécifiques à un module par les moteurs de recherche? - référencement, dotnetnuke, robots.txt, googlebot

J'utilise le module EasyDNN News pour le blog,articles de presse, etc. sur notre site Web DNN. Le sitemap DNN principal n'inclut pas les articles générés par ce module, mais ce dernier crée son propre sitemap.

Par exemple: domain.com/blog/mid/1005/ctl/sitemap

Lorsque j'essaie de soumettre ce sitemap à Google, il est indiqué que mon fichier Robots.txt le bloque.

En regardant le fichier Robots.txt fourni avec DNN, j'ai remarqué les lignes suivantes sous les agents utilisateurs Slurp et Googlebot:

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

Je souhaite "soumettre le plan du site du module, mais je" dJe voudrais savoir pourquoi le / ctl n'est pas autorisé pour ces agents utilisateurs et quel en serait l'impact si je supprimais ces lignes du fichier? Plus précisément, en ce qui concerne l'exploration du site par Google.

Comme référence supplémentaire, j'ai lu l'articleci-dessous pour éviter une pénalité de contenu dupliquée en refusant des URL spécifiques contenant / ctl, telles que login, registre, conditions, etc.

http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov

Réponses:

0 pour la réponse № 1

Pour ce faire, la meilleure solution consiste à utiliser le fournisseur DNN Sitemap, ce qui est très facile à faire en tant que développeur de modules.

Je n’ai pas de blog / tutoriel à ce sujet, mais j’ai un exemple de code qui peut être trouvé dans

http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs

Cela permettra aux modules personnalisés d'ajouter leurs propres informations au plan Sitemap de DNN.

La raison pour laquelle / CTL n'est pas autorisée est que la méthode normale de chargement des contrôles de connexion / enregistrement / profil consiste à créer le site? Ctl = login et que ce n'est généralement pas quelque chose que les utilisateurs souhaitent indexer.

L'autre option consiste simplement à modifier le fichier robots.txt.