Estamos desarrollando una aplicación que procesa.algunos códigos y salida una gran cantidad de filas cada vez (millones!). Queremos guardar estas filas en una base de datos porque el procesamiento en sí mismo toma un par de horas en completarse.
1. ¿Cuál es la mejor manera de guardar estos registros?
2. ¿Se puede usar una solución NoSql aquí?
Supongamos que estamos guardando cinco millones de registros por día y que podemos recuperarlos de vez en cuando.
Respuestas
2 para la respuesta № 1Depende mucho de cómo pretenda usar elDatos una vez generados. Si solo lo buscará por clave principal, entonces NoSQL probablemente estará bien, pero si alguna vez desea buscar u ordenar los datos (o unir filas), entonces una base de datos SQL probablemente funcionará mejor.
Básicamente, NoSQL es realmente bueno para rellenaropaca los datos en una tienda y recupera cualquier artículo individual muy rápidamente. Las bases de datos relacionales son realmente buenas para indexar datos que pueden unirse o buscarse.
Cualquier base de datos SQL moderna manejará fácilmente 5Millones de filas por día: el espacio en disco es más probable que sea su cuello de botella, dependiendo de qué tan grandes sean sus filas. No he hecho mucho con NoSQL, pero me sorprendería que 5 millones de artículos por día causen un problema.
1 para la respuesta № 2
Depende exactamente de qué tipo de datos deseapara almacenar - ¿podrías explicar eso? Si los datos están bien estructurados en tablas, entonces no necesariamente necesita un enfoque NoSQL. Sin embargo, si sus datos tienen una estructura gráfica o de red, entonces debe considerar una solución NoSQL. Si esto último es cierto para usted, entonces tal vez lo siguiente será útil para darle una visión general de algunas de las bases de datos NoSQL: http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis