/ / noindex sigue en Robots.txt - indexación, motor de búsqueda, robots.txt, robot, nofollow

noindex follow en Robots.txt: indexación, motor de búsqueda, robots.txt, robot, nofollow

Tengo un sitio web de WordPress que ha sido indexado en los motores de búsqueda.

He editado Robots.txt para no permitir ciertos directorios y páginas web del índice de búsqueda.

Solo sé cómo usar permitir y no permitir, pero no sé cómo usar el seguir y no seguir en el archivo Robots.txt.

Leí en alguna parte mientras busco en Google quepuede tener páginas web que no se indexarán en Google, pero se rastrearán para buscar los rangos de páginas. Esto se puede lograr al no permitir las páginas web en Robots.txt y usar follow para las páginas web.

Por favor, hágame saber cómo usar follow y nofollow en el archivo Robots.txt.

Gracias

Sumit

Respuestas

1 para la respuesta № 1

En realidad, Google reconoce la directiva Noindex: dentro de robots.txt. Aquí está Matt Cutts hablando de eso: http://www.mattcutts.com/blog/google-noindex-behavior/

Si pones "No permitir" en robots.txt para una página que ya está en el índice de Google, generalmente encontrará que la página permanece en el índice, como un fantasma, despojado de sus palabras clave. Supongo que esto se debe a que saben que no lo rastrearán, y no lo hacen. "no desea que el índice contenga bit-rot. Por lo tanto, reemplazan la descripción de la página con" Una descripción para este resultado no está disponible debido al archivo robots.txt de este sitio. Obtenga más información ".

Entonces, el problema sigue siendo: ¿Cómo eliminamos ese enlace de Google ya que "Disallow" no funcionó? Por lo general, usted querría usar meta robots noindex en la página en cuestión porque Google realmente eliminará la página del índice si ve esta actualización, pero con esa directiva Disallow en su archivo de robots, nunca lo sabrán.

Para que pueda eliminar la regla de rechazo de esa páginadesde robots.txt y agregue una etiqueta noindex de meta robots al encabezado de la página, pero ahora tiene que esperar a que Google regrese y vea una página que les dijo que olvidaran.

Puede crear un nuevo enlace a él desde supágina de inicio con la esperanza de que Google obtenga la pista, o podría evitar todo simplemente agregando esa regla Noindex directamente al archivo robots.txt. En la publicación anterior, Matt dice que esto dará como resultado la eliminación del enlace.


0 para la respuesta № 2

No, no puedes. Puede establecer qué directorios desea bloquear y qué bots, pero no puede establecer nofollow mediante robots.txt Use la metaetiqueta robots en las páginas para configurar nofollow.


0 para la respuesta № 3

a.) Las reglas seguir / no seguir e índice / no índice no son para robots.txt (establece las reglas generales del sitio) sino para una etiqueta de meta-robots en la página (establece las reglas para esta página específica)

Más información sobre Meta-Robots

b.) Google no rastreará las páginas no permitidas, pero puede indexarlas en SERP (utilizando información de enlaces entrantes o directorios de sitios web como Dmoz).
Dicho esto, no hay valor de relaciones públicas que pueda obtener de esto.

Más información sobre el comportamiento de indexación de Googlebot