/ / Jak przeszukać całą witrynę, jeśli dane są dołączane do Javascript po przewinięciu - robota sieciowego

Jak przeszukiwać całą witrynę, jeśli dane są dołączane do Javascript po przewinięciu - robota sieciowego

Muszę zaindeksować witrynę, ale problem polega na tym,nie ma powiązanej paginacji na dole. Dane dołączane, jeśli przewiniesz do dołu. Jak mogę to zrobić za pomocą mojego robota? Czy są jakieś pomysły?

Odpowiedzi:

1 dla odpowiedzi № 1

Spróbuj przejrzeć skrypt, który wykonuje dołączanie danych po przewinięciu w dół. Musi jakoś odzyskać dodatkowe dane - zobacz, co robi, i poproś robota, żeby zrobił to samo.


0 dla odpowiedzi nr 2

Używanie robota takiego jak Selenium może działać, możeszsymulować prawdziwego użytkownika w prawdziwym nawigatorze. Jedną z rzeczy, którą zrobiłem na facebooku, było użycie interpretera JavaScript w C ++ / Qt, a następnie wysłanie prośby za jego pośrednictwem. O wiele szybciej niż Selen.

Jestem pewien, że Google ma o wiele więcej mocy obliczeniowej niż ty, a webmaster robi wszystko, aby je przeanalizować.