Трябва да разработя инструмент, който да стърженеданни за продукта (цена, заглавие и т.н.) от цялата мрежа. Сега, имам опит с изрязване, но това е за един уебсайт. и след това изстържете всеки уебсайт от връзката, която се появява в Google.
Просто се нуждая от общ подход за това как бихтерешаване на този проблем, защото както виждам, всеки сайт може да има свой собствен начин на представяне на данни. Как да включа всички тези варианти? Някакви указания / съвети?
Отговори:
1 за отговор № 1Google има вградена функция за сравняване на цените на няколко уебсайта вижте: http://www.google.co.uk/shopping
Можете да опитате да използвате този ресурсgoogles собствен потребителски API за търсене или къдря, въпреки че API е вероятно по-добър избор, тъй като Google е известен трудно да се изстържете и вероятно ще заключите IP, ако мисли, че се използва къдрящ сценарий или подобен алтернатива. от някой elses сравнение сайт (и), ако идеята за кодиране на множество сайтове на ръка изпълва с ужас.
1 за отговор № 2
Терминът, който определя това, за което говорите, е уеб робот, Разгледахте ли статията на Уикипедия?
http://en.wikipedia.org/wiki/Web_crawler