/ / Cómo Google rastrea una página [cerrada] - php

Cómo Google rastrea una página [cerrado] - php

Solo tengo curiosidad por saber cómo rastrea Google una página, tengo un poco de código para decirme si Google Bot está en mi sitio y en qué páginas está.

Si Google está rastreando una página, por ejemplo, /page.html, que tiene vínculos en esa página para decir otras 10 páginas del sitio.

¿Agregaría solamente page.html para una posible indexación, ya que es la página en la que se encuentra o almacenará todos los enlaces que están en page.html para una posible indexación también?

Respuestas

1 para la respuesta № 1

Esto probablemente responderá a sus preguntas: http://www.google.com/insidesearch/howsearchworks/crawling-indexing.html


0 para la respuesta № 2

Si Google está rastreando una página, por ejemplo, /page.html, que tiene vínculos en esa página para decir otras 10 páginas del sitio.

¿Agregaría solamente page.html para una posible indexación, ya que es la página en la que se encuentra o almacenará todos los enlaces que están en page.html para una posible indexación también?

Los enlaces son precisamente la forma en que los robots de Google se desplazan por Internet para encontrar contenido. Sí, se pondrán en cola para la indexación, a menos que se los excluya de alguna manera (robots.txt, etiqueta meta NOINDEX, etc.)


0 para la respuesta № 3

Sí, el rastreador de Google - Googlebot - almacenará estos enlaces para su posible indexación, a menos que restringido por el webmaster del sitio.

El proceso de rastreo de Googlebot comienza con una lista deURL de página web, generado a partir de procesos de rastreo anteriores y aumentado con Sitemap Datos proporcionados por los webmasters. Como Googlebot visita cada uno de estos sitios web que detecta enlaces (SRC y HREF) en cada página y los agrega a Su lista de páginas para rastrear.