Necesito rastrear un sitio web, pero el problema es,no hay paginación vinculada en la parte inferior. Los datos se añaden si se desplaza hacia la parte inferior. Ahora, ¿cómo puedo hacer que esto suceda con mi rastreador? ¿Hay alguna idea?
Respuestas
1 para la respuesta № 1Intente examinar el script que se ejecuta para adjuntar los datos cuando se desplaza hacia abajo. Debe recuperar los datos adicionales de alguna manera, solo vea lo que está haciendo y haga que su rastreador haga lo mismo.
0 para la respuesta № 2
Usando un robot como Selenium podría funcionar, puedesSimular un usuario real en un navegador real. Una cosa que hice con Facebook una vez fue usar un intérprete de JavaScript en C ++ / Qt y luego enviar una solicitud a través de él. Mucho más rápido que el selenio.
Estoy seguro de que Google tiene mucho más poder de procesamiento que usted, y el webmaster hace todo lo posible para que sean analizados por ellos.