Quale database per un web crawler e come posso usare MySQL in un ambiente distribuito? - mysql, innodb, myisam, database distribuito

Quale motore di database dovrei usare per un webcrawler, InnoDB o MYiAM? Ho due PC, ciascuno con 1 disco rigido da 1 TB. Se uno si riempie, mi piacerebbe che salvasse automaticamente sull'altro PC, ma le letture dovrebbero andare sul PC corretto; Come lo faccio?

risposte:

Per quanto riguarda la prima parte della tua domanda, piuttostodipende dalla tua precisa implementazione. Se hai intenzione di avere un singolo crawler limitato dalla larghezza di banda della rete, allora MYiSAM può essere più veloce. Se utilizzi più crawler, InnoDB ti offrirà vantaggi come le transazioni che potrebbero aiutarti.

AFAIK MySQL non supporta la configurazione hardware che stai suggerendo.Se hai bisogno di un grande spazio di archiviazione potresti guardare MySQL Cluster.

MyISAM è la prima scelta, perché lo avraiscrivere solo operazioni e crawler - anche eseguito in parallelo - verrà configurato - suppongo - per eseguire la scansione di diversi domini / URL. Quindi non è necessario occuparsi dei conflitti di accesso.

Quando si scrivono molti dati, in particolare il testo !, in Mysql evitare transazioni, indici, ecc., Perché rallenteranno drasticamente MySQL.