Som zvedavý na to, ako Google indexovo prehľadáva stránku, mám trochu kódu, ktorý mi povie, či je Google Bot na mojich stránkach a na ktorých stránkach je.
Ak Google indexovo prehľadáva stránku, napríklad /page.html, ktorá má na tejto stránke odkazy na ďalších 10 stránok.
Pridalo by to iba stránku.html pre prípadné indexovanie, pretože je to stránka, na ktorej sa nachádza, alebo by ukladala všetky odkazy, ktoré sú na stránke page.html, pre prípadné indexovanie?
odpovede:
1 pre odpoveď č. 1Toto pravdepodobne zodpovie vaše otázky: http://www.google.com/insidesearch/howsearchworks/crawling-indexing.html
0 pre odpoveď č. 2
Ak Google indexovo prehľadáva stránku, napríklad /page.html, ktorá má na tejto stránke odkazy na ďalších 10 stránok.
Pridalo by to iba stránku.html pre prípadné indexovanie, pretože je to stránka, na ktorej sa nachádza, alebo by ukladala všetky odkazy, ktoré sú na stránke page.html, pre prípadné indexovanie?
Odkazy sú presne to, ako roboti spoločnosti Google prechádzajú internetom, aby našli obsah. Áno, budú zaradení do frontu na indexovanie, pokiaľ nebudú nejakým spôsobom vylúčení (robots.txt, metaznačka NOINDEX atď.)
0 pre odpoveď č. 3
Áno, prehľadávač Google - Googlebot - uloží tieto odkazy pre prípadné indexovanie, pokiaľ obmedzené správcom webu.
Proces indexového prehľadávania robota Googlebot začína zoznamomadresy URL webových stránok, generované z predchádzajúcich procesov indexového prehľadávania a rozšírené o súbor Sitemap údaje poskytnuté správcami webu. Keď robot Googlebot navštívi každú z nich webové stránky, na ktorých zistí odkazy (SRC a HREF) na každej stránke a pridá ich zoznam stránok na indexové prehľadávanie.