Eu estou usando o módulo de notícias EasyDNN para o blog,artigos de notícias, etc. em nosso site DNN. O sitemap DNN principal não inclui os artigos gerados por este módulo, mas o módulo cria seu próprio sitemap.
Por exemplo: domain.com/blog/mid/1005/ctl/sitemap
Quando tento enviar este sitemap para o Google, ele diz que meu arquivo Robots.txt está bloqueando isso.
Olhando para o arquivo Robots.txt que vem com DNN, notei as seguintes linhas sob os agentes de usuário Slurp e Googlebot:
Disallow: /*/ctl/ # Slurp permits *
Disallow: /*/ctl/ # Googlebot permits *
Eu gostaria de enviar o sitemap do módulo, mas eugostaria de saber por que o / ctl não é permitido para esses user-agents, e qual seria o impacto se eu removesse essas linhas do arquivo? Especificamente, no que diz respeito ao rastreamento do site pelo Google.
Como referência adicional, li o artigoabaixo sobre como evitar um conteúdo duplicado pena por não permitir URLs específicos que contêm / CTL, como login, registrar, termos, etc. I "estou querendo saber se é por isso que DNN apenas anulado qualquer URL com / CTL.
http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov
Respostas:
0 para resposta № 1A maneira correta de fazer isso seria usar o provedor de Sitemap DNN, algo que é muito fácil de fazer como desenvolvedor de módulo.
Eu não tenho um blog / tutorial sobre isso, mas eu tenho código de exemplo que pode ser encontrado em
http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs
Isso permitirá que módulos personalizados adicionem suas próprias informações ao Sitemap de DNN.
A razão / CTL não é permitida é porque a maneira normal de carregar os controles Login / Registration / Profile é fazer o site? Ctl = login e que normalmente não é algo que as pessoas querem ter indexado.
A outra opção é apenas editar o arquivo robots.txt.