Combinando uma lista enorme de quadros de dados em um único dataframe sem obter um erro de memória? - python-3.x

Eu tenho uma lista enorme de dataframe (time-series) (mais de 5500 entradas em uma lista e 750 x 2 de tamanho de cada entrada). Como faço para combiná-lo em um único dataframe sem receber um erro de memória?

Eu tentei usar pandas.merge, pandas.concat mas nada está funcionando

Respostas:

Você não forneceu nenhum código, então eu não sei como é sua configuração, mas considere o conceito abaixo.

import pandas as pd
df1 = pd.DataFrame({"A": ["A0", "A1", "A2", "A3"],
"B": ["B0", "B1", "B2", "B3"],
"C": ["C0", "C1", "C2", "C3"],
"D": ["D0", "D1", "D2", "D3"]},
index=[0, 1, 2, 3])


df2 = pd.DataFrame({"A": ["A4", "A5", "A6", "A7"],
"B": ["B4", "B5", "B6", "B7"],
"C": ["C4", "C5", "C6", "C7"],
"D": ["D4", "D5", "D6", "D7"]},
index=[4, 5, 6, 7])


df3 = pd.DataFrame({"A": ["A8", "A9", "A10", "A11"],
"B": ["B8", "B9", "B10", "B11"],
"C": ["C8", "C9", "C10", "C11"],
"D": ["D8", "D9", "D10", "D11"]},
index=[8, 9, 10, 11])


frames = [df1, df2, df3]

result = pd.concat(frames)
print(result)