/ / Come personalizzare DNN robots.txt per consentire a una sitemap specifica di un modulo di essere sottoposta a scansione dai motori di ricerca? - seo, dotnetnuke, robots.txt, googlebot

Come personalizzare DNN robots.txt per consentire a una sitemap specifica del modulo di essere sottoposta a scansione dai motori di ricerca? - seo, dotnetnuke, robots.txt, googlebot

Sto usando il modulo EasyDNN News per il blog,articoli di notizie, ecc. sul nostro sito web DNN. La sitemap DNN principale non include gli articoli generati da questo modulo, ma il modulo crea la propria sitemap.

Per esempio: domain.com/blog/mid/1005/ctl/sitemap

Quando provo a inviare questa Sitemap a Google, si dice che il mio file Robots.txt lo sta bloccando.

Osservando il file Robots.txt fornito con DNN, ho notato le seguenti righe sotto gli user-agent Slurp e Googlebot:

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

Mi piacerebbe inviare la sitemap del modulo, ma io "dpiacerebbe sapere perché / ctl non è consentito per questi user-agent e quale sarebbe l'impatto se rimuoverò queste righe dal file? In particolare, in quanto riguarda Google scansione del sito.

Come riferimento aggiunto, ho letto l'articolodi seguito si evita una penalità relativa al contenuto duplicato non consentendo URL specifici che contengono / ctl come login, registro, termini, ecc. Mi chiedo se questo è il motivo per cui DNN ha semplicemente vietato qualsiasi url con / ctl.

http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov

risposte:

0 per risposta № 1

Il modo corretto per farlo sarebbe quello di utilizzare il provider Sitemap DNN, qualcosa che è abbastanza facile da fare come sviluppatore di moduli.

Non ho un post di blog / tutorial su di esso, ma ho codice di esempio che può essere trovato in

http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs

Ciò consentirà ai moduli personalizzati di aggiungere le proprie informazioni alla Sitemap DNN.

Il motivo / CTL non consentito è perché il modo normale di caricare i controlli Login / Registrazione / Profilo è di fare il sito? Ctl = login e di solito non è qualcosa che le persone vogliono avere indicizzato.

L'altra opzione è solo modificare il file robots.txt.