Snažím sa robiť elektronický obchod so škrabaním z webuweb a hľadali sme všetky možné druhy možných riešení. Najlepšie, čo som zistil, je rozšírenie prehliadača Google Chrome na šrotovanie webu. Vlastne chcem vytiahnuť všetky údaje dostupné na tejto webovej stránke.
Napríklad sa pokúšam vyradiť údaje z webovej stránky elektronického obchodu www.bigbasket.com, Teraz, keď sa snažím vytvoriť mapu stránok, somprilepené k tejto časti, kde musím vybrať prvok zo stránky. Rovnaká stránka kategórie A, zatiaľ čo sa posunie nadol, obsahuje rôzne produkty a jedna stránka kategórie sa ďalej delí, pretože strana 1, strana 2 a niekoľko kategórií má stránku 3 a tak ďalej.
Teraz, ak vyberiem viac rovnakých prvkovstránka hovorí, že stránka 1 je úplne v poriadku, ale keď sa pokúšam vybrať prvok zo stránky 2 alebo zo stránky 3, výzvy na škrabku s časťou s iným typom prvku sú zakázané a po výzve ma požiada o povolenie zaškrtnutím tohto políčka a potom Som schopný vybrať rôzne prvky. Ale keď spustím mapu stránok a začnem škrabanie, škrabka vráti nulové hodnoty a dáta nie sú vytiahnuté. Neviem ako prekonať tento problém, aby som mohol nakresliť všeobecnú mapu stránok a vytiahnuť údaje naraz.
odpovede:
0 pre odpoveď č. 1Rôzne webové stránky sa teraz používajú, aby sa zabránilo škrabaniu webuvykreslenie pomocou JavaScriptu. Web (bigbasket.com), ktorý používate, tiež používa JS na vykreslenie informácií na rôzne prvky. Na zoškrabovanie webových stránok, ako sú tieto, budete musieť namiesto Selenium použiť tradičné metódy (ako je napríklad krásna polievka v Jave).
Budete tiež musieť skontrolovať rôzne právne aspekty tejto skutočnosti a to, či webová stránka požaduje, aby ste tieto údaje prehľadávali.