Quel est le nombre maximal de connexions simultanées / demandes HTTP par seconde que je devrais effectuer dans un domaine donné? - http, web, connexion, web-crawler, httprequest

Je télécharge un catalogue complet d'une valeur de contenu d'image statique (millions d’images, toutes légales) de différents serveurs Web.

Je veux télécharger les images efficacement, mais j’envisage quelles limites par domaine, je devrais placer sur le Nombre de connexions simultanées et temps entre les tentatives de connexion pour éviter d'être mis sur la liste noire par les outils DOS et d'autres limiteurs.

Réponses:

Le mot-clé que je devais rechercher était "la politesse du WebCrawler", qui a fait apparaître des articles utiles qui répondent assez bien à la question:

Facteur de politesse typique pour un robot Web?

http://blog.mischel.com/2011/12/20/writing-a-web-crawler-politeness/