/ / Как да персонализирате DNS robots.txt, за да позволите на сайт с конкретна модула да бъде обходен от търсачките? сео, dotnetnuke, robots.txt, googlebot

Как да персонализирате DNS robots.txt, за да позволите на сайт с конкретна модула да бъде обходен от търсачките? сео, dotnetnuke, robots.txt, googlebot

Използвам модула EasyDNN News за блога,новинарски статии и т.н. на нашия DNN уебсайт. Основната Sitemap за DNN не включва статиите, генерирани от този модул, но модулът създава собствена карта на сайта.

Например: domain.com/blog/mid/1005/ctl/sitemap

Когато се опитам да изпратя тази карта на сайта на Google, се казва, че моят файл Robots.txt го блокира.

Поглеждайки файла Robots.txt, който се доставя с DNN, забелязах следните редове под потребителските агенти на Slurp и Googlebot:

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

Бих искал да подам сайта на модула, но азискам да знам защо / ctl е забранен за тези потребителски агенти и какво ще бъде въздействието, ако току-що премахнах тези линии от файла? По-конкретно, тъй като се отнася до Google, който обхожда сайта.

Като допълнителна препратка прочетох статиятадолу за избягване на дублиране на съдържанието на наказание чрез забрана на конкретни URL адреси, съдържащи / ctl като вход, регистрация, условия и т.н. Чудя се дали това е причината, поради която DNN току-що е забранила URL адреса с / ctl.

http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov

Отговори:

0 за отговор № 1

Правилният начин да направите това е да използвате доставчика на DNN Sitemap, нещо, което е доста трудно да се направи като разработчик на модули.

Нямам блог пост / урок по него, но имам проба код, който може да се намери в

http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs

Това ще позволи на персонализираните модули да добавят собствена информация към Sitemap за DNN.

Причината / CTL е забранена, защото нормалният начин за зареждане на контролите за влизане / регистрация / профил е да направите сайта? Ctl = login и това обикновено не е нещо, което хората искат да индексират.

Другата опция е просто да редактирате файла robots.txt.