/ / noindex suit dans Robots.txt - indexation, moteur de recherche, robots.txt, robot, nofollow

noindex suit dans Robots.txt - indexation, moteur de recherche, robots.txt, robot, nofollow

J'ai un site web wordpress qui a été indexé dans les moteurs de recherche.

J'ai modifié Robots.txt pour interdire certains répertoires et certaines pages Web à partir de l'index de recherche.

Je ne sais que comment utiliser autoriser et interdire, mais je ne sais pas comment utiliser les options suivantes et suivantes dans le fichier Robots.txt

Je lis quelque part en googlant sur ce que jeVous pouvez avoir des pages Web qui ne seront pas indexées dans Google mais qui seront explorées à la recherche de pageranks. Pour ce faire, désactivez les pages Web dans Robots.txt et utilisez la méthode suivante pour les pages Web.

S'il vous plaît laissez-moi savoir comment utiliser suivre et nofollow dans le fichier Robots.txt.

Merci

Sumit

Réponses:

1 pour la réponse № 1

En fait, Google reconnaît la directive Noindex: directive dans le fichier robots.txt. Matt Cutts en parle: http://www.mattcutts.com/blog/google-noindex-behavior/

Si vous mettez "Disallow" dans les robots.Pour une page figurant déjà dans l’index de Google, vous constaterez généralement que la page reste dans l’index, comme un fantôme, dépourvue de mots-clés. Je suppose que c’est parce qu’ils savent qu’ils savent qu’ils ne pourront "t veulent l’index contenant bit-rot. Ils remplacent donc la description de la page par" Une description de ce résultat n’est pas disponible à cause de ce site "s robots.txt - en savoir plus."

Donc, le problème reste: Comment pouvons-nous supprimer ce lien de Google dans la mesure où "Disallow" ne fonctionne pas? En règle générale, vous ne souhaitez pas utiliser de méta-robots noindex sur la page en question, car Google supprimera la page de l'index s'il voit cette mise à jour, mais avec cette directive Disallow dans votre fichier robots, ils ne le sauront jamais.

Vous pouvez donc supprimer la règle "Interdire" de cette pagede robots.txt et ajoutez une balise meta robots noindex à l’en-tête de la page, mais vous devez maintenant attendre que Google revienne et regarde une page que vous leur avez dit d'oublier.

Vous pouvez créer un nouveau lien depuis votrepage d'accueil dans l'espoir que Google obtienne l'indice, ou vous pouvez éviter le tout en ajoutant cette règle Noindex directement au fichier robots.txt. Dans le message ci-dessus, Matt dit que cela entraînera la suppression du lien.


0 pour la réponse № 2

Non, vous ne pouvez pas. Vous pouvez définir quels répertoires vous souhaitez bloquer et quels robots mais vous ne pouvez pas définir nofollow par robots.txt Utilisez la balise Meta des robots sur les pages pour définir nofollow.


0 pour la réponse № 3

a.) Les règles follow / no follow et index / no index ne sont pas pour robots.txt (définit les règles générales du site), mais pour une balise de méta-robot sur la page (définit les règles pour cette page spécifique)

Plus d'infos sur Meta-Robots

b.) Google n’a pas "analysé les pages non autorisées, mais il peut les indexer sur SERP (à l’aide des informations provenant de liens entrants ou de répertoires de sites Web tels que Dmoz).
Cela dit, il n’ya pas de valeur PR que vous puissiez en tirer.

Plus d'informations sur le comportement d'indexation de Googlebot