/ / ¿Cómo personalizar DNN robots.txt para que los motores de búsqueda puedan rastrear un mapa del sitio específico del módulo? - seo, dotnetnuke, robots.txt, googlebot

¿Cómo personalizar DNN robots.txt para que los motores de búsqueda puedan rastrear un mapa del sitio específico del módulo? - seo, dotnetnuke, robots.txt, googlebot

Estoy usando el módulo de noticias de EasyDNN para el blog,Artículos de noticias, etc. en nuestro sitio web de DNN. El mapa del sitio DNN principal no incluye los artículos generados por este módulo, pero el módulo crea su propio mapa del sitio.

Por ejemplo: domain.com/blog/mid/1005/ctl/sitemap

Cuando intento enviar este mapa del sitio a Google, dice que mi archivo Robots.txt lo está bloqueando.

Mirando el archivo Robots.txt que viene con DNN, noté las siguientes líneas debajo de los agentes de usuario de Slurp y Googlebot:

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

Me gustaría enviar el mapa del sitio del módulo, pero yo¿Me gustaría saber por qué no se permite / ctl para estos agentes de usuario y cuál sería el impacto si eliminara estas líneas del archivo? Específicamente, en lo que se refiere a Google que rastrea el sitio.

Como referencia añadida, he leído el artículo.a continuación sobre cómo evitar una penalización de contenido duplicado al deshabilitar las URL específicas que contienen / ctl, como el inicio de sesión, el registro, los términos, etc. Me pregunto si esta es la razón por la que DNN simplemente rechazó cualquier URL con / ctl.

http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov

Respuestas

0 para la respuesta № 1

La forma correcta de hacerlo sería usar el proveedor de DNN Sitemap, algo que es bastante fácil de hacer como desarrollador de módulos.

No tengo una publicación de blog / tutorial en él, pero sí tengo un código de ejemplo que se puede encontrar en

http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs

Esto permitirá que los módulos personalizados agreguen su propia información al Sitemap de DNN.

La razón / CTL no está permitida es porque la forma normal de cargar los controles de inicio de sesión / registro / perfil es hacer sitio? Ctl = iniciar sesión y eso normalmente no es algo que las personas quieran indexar.

La otra opción es simplemente editar el archivo robots.txt.