J'ai une table MySQL qui devra être stockéeenviron 200 millions de disques par jour. Les données sont fournies sous forme de fichiers plats que je vais télécharger en bloc avec "LOAD DATA INFILE". La plupart des éléments de données sont des identifiants, donc pas beaucoup de texte. Un fichier plat pour une journée composée de 200 millions d’enregistrements correspond à environ 27 Go.
Ma question est devrais-je stocker tout celainformations dans un tableau, ou devrais-je fractionner les données de chaque jour dans un tableau séparé? Les informations de fractionnement rendraient certainement plus difficile l’analyse, mais je ne suis pas sûr de la capacité de MySQL à gérer 6 milliards d’enregistrements dans un seul tableau qui accumulerait un mois.
J'utilise actuellement une installation prête à l'emploi pour MySQL à l'aide de tables MyISAM.
(Oui, je cherche à établir une solution Hadoop à long terme, mais je me demande si je peux me débrouiller avec MySQL à court terme)
Merci.
Réponses:
1 pour la réponse № 1Oui, MySQL peut stocker des milliards de lignes dans une seule table.
Voir ma réponse à Nombre maximal d'enregistrements dans une table de base de données MySQL.
Comment question un tableau avec des milliards de lignes est un problème différent. Vous devriez regarder dans Partitionnement de table, sachant que la façon de partitionner une table doit être soigneusement conçue en fonction des requêtes à exécuter sur la table.
En outre, n’utilisez pas MyISAM si vous ne voulez pas que vos données soient corrompues. Utilisez InnoDB.