Ich habe eine MySQL-Tabelle, die gespeichert werden mussetwa 200 Millionen Datensätze auf einer täglichen Basis. Die Daten kommen in flachen Dateien, die ich mit "LOAD DATA INFILE" hochladen werde. Die meisten Datenelemente sind IDs, also nicht viel Text. Eine flache Datei für einen Tag, die aus 200 Millionen Datensätzen besteht, ist ungefähr 27 GB.
Meine Frage ist, sollte ich das alles speichernInformationen in einer Tabelle, oder sollte ich die Daten eines jeden Tages in eine separate Tabelle aufteilen. Die Splitting-Information würde definitiv die Analyse erschweren, aber ich bin nicht sicher, wie gut MySQL 6 Milliarden Datensätze in einer einzelnen Tabelle verarbeiten wird ein Monat.
Ich verwende derzeit eine Out-of-the-Box-Installation für MySQL mit MyISAM -Tabellen.
(Ja, ich möchte langfristig eine Hadoop-Lösung aufbauen, frage mich aber, ob ich kurzfristig mit MySQL auskommen kann)
Vielen Dank.
Antworten:
1 für die Antwort № 1Ja, MySQL kann Milliarden von Zeilen in einer einzigen Tabelle speichern.
Siehe meine Antwort auf Maximale Anzahl von Datensätzen in einer MySQL-Datenbanktabelle.
Wie man Abfrage eine Tabelle mit Milliarden von Zeilen ist ein anderes Problem. Sie sollten nachsehen TabellenpartitionierungBeachten Sie, dass die Partitionierung einer Tabelle in Bezug auf die Abfragen, die Sie für die Tabelle ausführen müssen, sorgfältig gestaltet sein muss.
Verwenden Sie MyISAM auch nicht, wenn Sie nicht möchten, dass Ihre Daten beschädigt werden. Verwenden Sie InnoDB.