分割された2番目のJavaScriptの遅延があるサイトをスクレイピングしようとしています
私は現在スクラップにpythonを使用しています。ページが表示されるたびに、JavaScriptの遅延が完了しておらず、新しいDOMがまだ完全に読み込まれていません。
どのように私はそのようなpgeをこするでしょうか？
回答：
回答№1は1信頼性の高い方法は、それを介してそれをこすることです WebブラウザまたはWebブラウザコントロール、ｅ。 g。 iマクロで 削りコマンド。それはまた働きます Python / Linux.
Windows上のWebブラウザコントロールからこれを自分でコーディングすることもできます。 http://www.codeproject.com/KB/cs/webbrowser.aspx
回答№2の場合は1
Mozillaを拡張してWebスクレーパーを構築することができますこれはWebブラウザの能力をフルに活用することができます。すべてのデータがロードされてDOMが構築されたら、XSLTを使用してDOMから必要なデータを抽出できます。初期ロード後にDOMが動的に変更された場合は、変更を待つためのいくつかの方法をとることができます。訪問 http://www.gooseeker.com 詳細については。 GooSeekerは、みんなに無料で似たようなツールを公開します。コードの大部分はJavaScriptで書かれており、そこからコードの実行方法を見つけることができます。