/ / url request с различни прокси сървъри в python - python, proxy, web-crawler

URL заявка с различни прокси сървъри в Python - Python, прокси, уеб робот

Опитвам се да изтегля някои страници, които сарезултати от търсенето с Google и кеширани. Всъщност засега имам два проблема. Обикновено мога да изтегля първите десет резултати, но не мога да го накарам да работи, за да отида на "следващите" 10 страници. Опитах се да използвам редовни изрази, за да намеря следващия контрол в страницата и да отида от там, не можех да го накарам да работи. Но моят друг проблем, който е много по-важно, е, че ми IP адрес е блокиран от Google, че вече не мога да гледам кеширани резултати. Ето едно решение, което ми идва, е да използвам прокси за извършване на URL заявки и да подновяваме този прокси през някои интервали. Но нямам представа как да си свърша тази работа. Опитах се да търся решения в мрежата, но не успях да намеря добър. Бих бил много щастлив, ако можете да ми дадете някои съвети.

Отговори:

1 за отговор № 1

5-ти пример? Или може би 3-ти пример?