Ho una tabella MySQL che dovrà essere archiviatacirca 200 milioni di registrazioni su base giornaliera. I dati arrivano in file flat che caricherò in blocco utilizzando "LOAD DATA INFILE". La maggior parte degli elementi di dati sono ID, quindi non molto testo. Un file flat per un giorno composto da record di 200M è di circa 27 GB.
La mia domanda è se dovessi conservare tutto questoinformazioni in una tabella, o dovrei dividere i dati di ogni giorno in una tabella separata. Le informazioni di suddivisione renderebbero sicuramente più difficile l'analisi, ma non sono sicuro di quanto MySQL gestirà 6 miliardi di record in una singola tabella che si accumulerebbero per un mese.
Attualmente sto usando un'installazione pronta per MySQL usando le tabelle MyISAM.
(Sì, sto cercando di stabilire una soluzione Hadoop a lungo termine, ma mi chiedo se posso accontentarmi di MySQL a breve termine)
Grazie.
risposte:
1 per risposta № 1Sì, MySQL può memorizzare miliardi di righe in una singola tabella.
Vedi la mia risposta a Numero massimo di record in una tabella di database MySQL.
Come domanda una tabella con miliardi di righe al suo interno è un problema diverso. Dovresti esaminare Partizionamento della tabella, con la consapevolezza che il modo in cui partiziona una tabella deve essere progettato con attenzione rispetto alle query che devi eseguire sulla tabella.
Inoltre, non utilizzare MyISAM se non si desidera che i dati vengano danneggiati. Utilizza InnoDB.