Sú roboty odlišné od prehľadávačov z hľadiska python Django - python, django, web-crawler, scrapy, robots

Vlastne som zmätený s terminológiou. Som študovať škrabance a myslím, že jeho pre prehľadávanie webových stránok a extrahovať niektoré údaje.

Ale chcem, aby sa niektoré python programy, ktoré robí niečo ako skutočný užívatelia robí. Mám na mysli ako automatizačné úlohy.

E, g Choďte na www.myblah.com a potom získajte najlacnejší produkt v niektorej kategórii a ak je to menej ako moja prednastavená suma, pošlite mi e-mail.

Teraz neviem, či tieto veci sa dostanú pod crawling alebo niečo iné.

Môžem to urobiť v škrabancoch alebo máme iné knižnice na vykonávanie týchto úloh.

odpovede:

Scrapy je rámec, ktorý možno použiť na vytvorenie topánok aleboprehľadávač (aka pavúk). Prehľadávač je špecifický druh topánok, ale bot nie je nevyhnutne prehľadávač. Crawlers sú definované tak, že sú navrhnuté tak, aby preskúmali graf stránok (uzlov) a ich vložených adries URL (hrany), hoci môžu byť obmedzené z nasledujúcich adries URL.

Automatizácia úloh je práca topánok. Či Scrapy bude fungovať pre to bude závisieť na tom, aké informácie sú potrebné a ako akcie musia byť prijaté. Mnohé stránky sú ťažké na javascript v týchto dňoch, takže ak topánok "t spustiť javascript a správne poskytovať cookies, nemusí byť schopný získať informácie k nemu" úlohu. Niektoré webové automatizačné úlohy môžu vyžadovať prehliadač plug-in alebo dokonca GUI automatizačné nástroje môžu byť potrebné.