Sto scaricando un catalogo completo del valore di contenuto di immagine statica (milioni di immagini, tutte legali) da vari server web.
Voglio scaricare le immagini in modo efficiente, ma sto pensando quali limiti per dominio dovrei collocare sul Numero di connessioni simultanee e tempo tra i tentativi di connessione per evitare di essere nella lista nera di strumenti DOS e altri limitatori.
risposte:
0 per risposta № 1La parola chiave che dovevo cercare era "educatezza del webcrawler", che presentava alcuni articoli utili che rispondevano abbastanza bene alla domanda:
Tipico fattore di cortesia per un web crawler?
http://blog.mischel.com/2011/12/20/writing-a-web-crawler-politeness/