検索エンジンでインデックス化されたワードプレスのウェブサイトがあります。
Robots.txtを編集して、検索インデックスから特定のディレクトリとWebページを禁止しました。
allowとdisallowの使用方法は知っていますが、Robots.txtファイルでfollowとnofollowを使用する方法はわかりません。
このことをグーグルで読みながらGoogleでインデックスに登録されないウェブページを持つことができますが、ページランクについてはクロールされます。これは、Robots.txtでウェブページを拒否し、ウェブページにフォローを使用することで実現できます。
Robots.txtファイルでfollowおよびnofollowを使用する方法を教えてください。
ありがとう
Sumit
回答：
回答№1は1Googleは実際にrobots.txt内のNoindex：ディレクティブを認識します。ここでそれについて話しているマット・カッツです： http://www.mattcutts.com/blog/google-noindex-behavior/
ロボットに「許可しない」を入れた場合。既にGoogleのインデックスに登録されているページのtxtを使用すると、通常、ページはキーワードに含まれないゴーストのようにインデックスにとどまることがわかります。これは、クロールしないことを知っているからだと思われます。 「ビットロートを含むインデックスが必要ないため、ページの説明を「このサイトのrobots.txtのため、この結果の説明は利用できません-詳細」に置き換えます。
したがって、問題は残ります。 「許可しない」が機能しなかったので、Googleからそのリンクを削除するにはどうすればよいですか？通常、問題のページでnoindexメタロボットを使用します。ロボットファイルのDisallowディレクティブを使用すると、彼らはそれを知ることができません。
そのページの「許可しないルール」を削除できますrobots.txtから、メタロボットのnoindexタグをページのヘッダーに追加しますが、Googleが戻って忘れてしまったページを見るのを待つ必要があります。
あなたからそれへの新しいリンクを作成することができますGoogleがヒントを取得することを期待してホームページを作成するか、Noindexルールをrobots.txtファイルに直接追加するだけで全体を回避できます。上記の投稿で、Mattは、これによりリンクが削除されると述べています。
回答№2の場合は0
いいえ、できません。 ブロックするディレクトリとボットを設定できますが、robots.txtでnofollowを設定することはできません nofollowを設定するには、ページでrobotsメタタグを使用します。
回答№3の場合は0
a。）フォロー/ノーフォローおよびインデックス/ノーインデックスのルールはrobots.txt用ではなく（一般的なサイトルールを設定）、ページ上のメタロボットタグ用です（この特定のページのルールを設定します）
b。）Googleは許可されていないページをクロールしませんが、SERPでインデックスを作成できます（受信リンクまたはDmozなどのWebサイトディレクトリからの情報を使用）。
そうは言っても、これから得られるPR値はありません。