Meilleure façon d’ajouter un délai en C # - c #, web-crawler

Je suis en train de construire un robot Web et je souhaite ajouter un délai sur demande afin que je ne frappe pas trop les serveurs Web.

Quel est le moyen le plus approprié d'ajouter ce délai?

En outre, quel est le délai approprié pour un robot? Je pensais à 0,5-1 seconde.

Merci

Réponses:

Vous pouvez utiliser

Thread.Sleep(TimeSpan.FromSeconds(1))

Les moteurs de recherche peuvent utiliser des délais plus longs, de 10 à 15 voire 60 secondes. Et les robots polis respectent le "délai d'attente" fourni par le site dans le fichier robots.txt. Pour plus de détails, jetez un oeil à http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy