/ / Як налаштувати DNN robots.txt, щоб дозволити сканування конкретної карти сайту для пошукових систем? - seo, dotnetnuke, robots.txt, googlebot

Як налаштувати DNN robots.txt, щоб дозволити певним чином сканувати модуль сайту пошуковими системами? - seo, dotnetnuke, robots.txt, googlebot

Я використовую модуль новин EasyDNN для свого блогу,статті новин тощо на нашому сайті DNN. Основна карта сайту DNN не включає статті, створені цим модулем, але модуль створює власну мапу сайту.

Наприклад: domain.com/blog/mid/1005/ctl/sitemap

Коли я намагаюся надіслати цю мапу сайту до Google, вона каже, що мій файл Robots.txt блокує її.

Переглядаючи файл Robots.txt, який постачається з DNN, я помітив наступні рядки під користувацькими агентами Slurp та Googlebot:

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

Мені б хотілося надіслати файл Sitemap для модуля, але я "d."хотілося б знати, чому / ctl заборонено для цих користувальницьких агентів, і який би вплив був, якби я просто видалив ці рядки з файлу? Зокрема, як це стосується сканування веб-сайту Google.

В якості додаткового посилання я прочитав статтюнижче про те, щоб уникнути покарання за дублікат вмісту, забороняючи конкретні URL-адреси, які містять / ctl, такі як логін, реєстр, умови тощо. Мені цікаво, чи це не причина, через яку DNN просто заборонив будь-який URL з / ctl.

http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov

Відповіді:

0 для відповіді № 1

Правильним способом зробити це було б використання провайдера DNN Sitemap, що дуже важко зробити як розробник модулів.

У мене немає допису / підручника в блозі, але у мене є зразок коду, який можна знайти в

http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs

Це дозволить користувацьким модулям додати власну інформацію до мапи сайту DNN.

Причина / CTL заборонено через те, що нормальний спосіб завантаження елементів керування для входу / реєстрації / профілю - це робити сайт? Ctl = логін, і це, як правило, не те, що люди хочуть індексувати.

Інший варіант - просто відредагувати файл robots.txt.