/ / Jak dostosować DNN robots.txt, aby umożliwić indeksowanie mapy konkretnej modułu przez wyszukiwarki? - seo, dotnetnuke, robots.txt, googlebot

Jak dostosować plik robots.insxt DNN, aby umożliwić indeksowanie mapy witryny dla modułów przez wyszukiwarki? - seo, dotnetnuke, robots.txt, googlebot

Korzystam z modułu EasyDNN News dla bloga,artykuły informacyjne itp. na naszej stronie DNN. Główna mapa witryny DNN nie zawiera artykułów generowanych przez ten moduł, ale moduł tworzy własną mapę witryny.

Na przykład: domain.com/blog/mid/1005/ctl/sitemap

Gdy próbuję przesłać tę mapę witryny do Google, oznacza to, że mój plik Robots.txt blokuje tę mapę.

Przeglądając plik Robots.txt dostarczany z DNN, zauważyłem następujące linie pod agentami użytkownika Slurp i Googlebot:

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

Chciałbym przesłać mapę witryny modułu, ale jachciałbym wiedzieć, dlaczego ten / ctl jest niedozwolony dla tych programów klienckich, i jaki byłby wpływ, gdybym po prostu usunął te linie z pliku? W szczególności, jeśli chodzi o indeksowanie witryny przez Google.

Jako dodatkowy odnośnik przeczytałem artykułponiżej o unikaniu podwójnej kary za treść poprzez uniemożliwianie określonych adresów URL zawierających / ctl, takich jak login, rejestracja, warunki, itp. Zastanawiam się, czy właśnie dlatego DNN po prostu zabronił jakiegokolwiek adresu URL z / ctl.

http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov

Odpowiedzi:

0 dla odpowiedzi № 1

Właściwym sposobem na to byłoby skorzystanie z dostawcy map witryn DNN, co jest dość łatwe do zrobienia jako programista modułów.

Nie mam bloga / tutoriala na ten temat, ale mam przykładowy kod, który można znaleźć w

http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs

Umożliwi to modułom niestandardowym dodawanie własnych informacji do mapy witryny DNN.

Przyczyna / CTL jest niedozwolona, ​​ponieważ normalnym sposobem załadowania kontrolek Login / Registration / Profile jest wykonanie strony? Ctl = login i zazwyczaj nie jest to coś, co ludzie chcieliby zaindeksować.

Inną opcją jest edycja pliku robots.txt.