/ / DNN robots.txtをカスタマイズして、モジュール固有のサイトマップが検索エンジンによってクロールされるようにする方法は? - seo、dotnetnuke、robots.txt、googlebot

DNN robots.txtをカスタマイズして、モジュール固有のサイトマップが検索エンジンによってクロールされるようにするにはどうすればよいですか? - seo、dotnetnuke、robots.txt、googlebot

私はブログのEasyDNN Newsモジュールを使用していますが、ニュース記事などをDNNのウェブサイトに掲載しています。コアのDNNサイトマップには、このモジュールで生成されたアーティクルは含まれていませんが、モジュールは独自のサイトマップを作成します。

例えば: domain.com/blog/mid/1005/ctl/sitemap

このサイトマップをGoogleに送信しようとすると、Robots.txtファイルがブロックしているとのことです。

DNNに同梱されているRobots.txtファイルを見ると、SlurpとGooglebotのユーザーエージェントの下に次の行があることに気付きました。

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

私はモジュールのサイトマップを提出したいが、私は "d"/ ctlがなぜこれらのユーザエージェントのために許可されていないのか知りたいのですが、ファイルからこれらの行を削除しただけではどんな影響がありますか?具体的には、Googleがサイトをクロールすることに関するものです。

参考文献として、私は記事を読んだ以下のように、login、register、termsなどの/ ctlを含む特定のURLを許可しないことで、重複したコンテンツのペナルティを避けることができます。DNNが/ ctlでURLを許可しなかったのかどうか疑問です。

http://www.codeproject.com/Articles/18151/DotNetNuke-Search-Engine-Optimization-Part-Remov

回答:

回答№1は0

これを行う適切な方法は、DNNサイトマッププロバイダを使用することです。これは、モジュール開発者としては簡単に行うことができます。

ブログ投稿/チュートリアルはありませんが、サンプルコードがあります

http://dnnsimplearticle.codeplex.com/SourceControl/latest#cs/Providers/Sitemap/Sitemap.cs

これにより、カスタムモジュールは独自の情報をDNNサイトマップに追加できます。

/ CTLが許可されない理由は、Login / Registration / Profileコントロールをロードする通常の方法はsite?ctl = loginを実行することであり、一般的に人が索引付けしたいものではないからです。

もう1つのオプションは、robots.txtファイルを編集することです。