Webサイトをクロールする必要がありますが、問題は下部にリンク付きページ付けはありません。下にスクロールするとデータが追加されます。クローラでこれを実現する方法を教えてください。何かアイデアはありますか？
回答：
回答№1は1下にスクロールしたときにデータを追加するために実行されるスクリプトを調べてみてください。それはどういうわけか追加データを検索しなければなりません - ちょうどそれがしていることを見て、そしてあなたのクローラに同じことをさせてください。
回答№2の場合は0
Seleniumのようなロボットを使うとうまくいくことができます。実際のナビゲーターで実際のユーザーをシミュレートします。私がFacebookで一度やったことの1つは、C ++ / QtでJavaScriptインタプリタを使ってそれからリクエストを送ることでした。 Seleniumよりずっと速いです。
私は、Googleがあなたよりもはるかに高い処理能力を持っていると確信しています、そして、ウェブマスターは彼らによって解析されることができるすべてをします。