Jestem po prostu ciekawy, jak Google indeksuje stronę, mam trochę kodu, aby powiedzieć, czy Google Bot jest na mojej stronie i na jakich stronach się znajduje.
Jeśli Google indeksuje stronę, na przykład /page.html, która zawiera linki na tej stronie, aby powiedzieć 10 innych stron witryny
Czy dodałoby to tylko page.html dla możliwego indeksowania, ponieważ jest to strona, na której jest on umieszczony, czy też przechowuje wszystkie linki znajdujące się na stronie.html, aby możliwe było także indeksowanie?
Odpowiedzi:
1 dla odpowiedzi № 1To prawdopodobnie odpowie na twoje pytania: http://www.google.com/insidesearch/howsearchworks/crawling-indexing.html
0 dla odpowiedzi nr 2
Jeśli Google indeksuje stronę, na przykład /page.html, która zawiera linki na tej stronie, aby powiedzieć 10 innych stron witryny
Czy dodałoby to tylko page.html dla możliwego indeksowania, ponieważ jest to strona, na której jest on umieszczony, czy też przechowuje wszystkie linki znajdujące się na stronie.html, aby możliwe było także indeksowanie?
Linki są dokładnie tym, jak boty Google'a przemieszczają się po Internecie w celu znalezienia treści. Tak, będą one umieszczane w kolejce do indeksowania, chyba że zostaną w jakiś sposób wyłączone (robots.txt, metatag NOINDEX itp.)
0 dla odpowiedzi № 3
Tak, robot Google - Googlebot - zapisze te linki do ewentualnego indeksowania, chyba że ograniczone przez webmastera witryny.
Proces indeksowania Googlebota rozpoczyna się od listyadresy URL stron internetowych, wygenerowany z poprzednich procesów indeksowania i rozszerzony o mapę witryny dane dostarczane przez webmasterów. Ponieważ Googlebot odwiedza każdy z nich strony internetowe wykrywa linki (SRC i HREF) na każdej stronie i dodaje je jego lista stron do indeksowania.