Je suis simplement curieux de savoir comment Google explore une page. J'ai un peu de code pour me dire si Google Bot est sur mon site et sur quelles pages il se trouve.
Si Google explore une page par exemple, /page.html qui contient des liens dans cette page pour dire 10 autres pages du site.
Ajoutera-t-il uniquement page.html pour une indexation éventuelle puisqu'il s'agit de la page sur laquelle il se trouve ou stockera-t-il tous les liens figurant sur page.html pour une indexation éventuelle?
Réponses:
1 pour la réponse № 1Cela répondra probablement à vos questions: http://www.google.com/insidesearch/howsearchworks/crawling-indexing.html
0 pour la réponse № 2
Si Google explore une page par exemple, /page.html qui contient des liens dans cette page pour dire 10 autres pages du site.
Ajoutera-t-il uniquement page.html pour une indexation éventuelle puisqu'il s'agit de la page sur laquelle il se trouve ou stockera-t-il tous les liens figurant sur page.html pour une indexation éventuelle?
Les liens sont précisément la manière dont les robots de Google se déplacent sur Internet pour trouver du contenu. Oui, ils seront mis en file d'attente pour l'indexation, à moins qu'ils ne soient exclus d'une manière ou d'une autre (robots.txt, balise méta NOINDEX, etc.)
0 pour la réponse № 3
Oui, le robot de Google - Googlebot - stockera ces liens pour une éventuelle indexation, sauf si restreint par le webmaster du site.
Le processus d’exploration de Googlebot commence par une liste deURL de pages Web, généré à partir des processus d'analyse précédents et complété avec Sitemap données fournies par les webmasters. En tant que Googlebot visite chacun de ces sites Web détecte les liens (SRC et HREF) sur chaque page et les ajoute à sa liste de pages à explorer.