Como adicionar dados pandas a um arquivo csv existente?

Eu quero saber se é possível usar a function pandas to_csv() para adicionar um dataframe a um arquivo csv existente. O arquivo csv tem a mesma estrutura que os dados carregados.

Você pode acrescentar a um csv abrindo o arquivo no modo append:

 with open('my_csv.csv', 'a') as f: df.to_csv(f, header=False) 

Se este foi seu csv, foo.csv :

 ,A,B,C 0,1,2,3 1,4,5,6 

Se você ler isso e, em seguida, acrescentar, por exemplo, df + 6 :

 In [1]: df = pd.read_csv('foo.csv', index_col=0) In [2]: df Out[2]: ABC 0 1 2 3 1 4 5 6 In [3]: df + 6 Out[3]: ABC 0 7 8 9 1 10 11 12 In [4]: with open('foo.csv', 'a') as f: (df + 6).to_csv(f, header=False) 

foo.csv torna-se:

 ,A,B,C 0,1,2,3 1,4,5,6 0,7,8,9 1,10,11,12 

Você pode especificar um modo de gravação python na function pandas to_csv . Para acrescentar, é ‘a’.

No seu caso:

 df.to_csv('my_csv.csv', mode='a', header=False) 

O modo padrão é ‘w’.

Uma pequena function de ajuda que uso com algumas proteções de verificação de header para lidar com tudo:

 def appendDFToCSV_void(df, csvFilePath, sep=","): import os if not os.path.isfile(csvFilePath): df.to_csv(csvFilePath, mode='a', index=False, sep=sep) elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns): raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.") elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all(): raise Exception("Columns and column order of dataframe and csv file do not match!!") else: df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False) 

Um pouco atrasado para a festa, mas você também pode usar um gerenciador de contexto, se estiver abrindo e fechando seu arquivo várias vezes, ou registrando dados, statistics, etc.

 from contextlib import contextmanager import pandas as pd @contextmanager def open_file(path, mode): file_to=open(path,mode) yield file_to file_to.close() ##later saved_df=pd.DataFrame(data) with open_file('yourcsv.csv','r') as infile: saved_df.to_csv('yourcsv.csv',mode='a',header=False)` 

Inicialmente, começando com um pyspark dataframes – eu tenho erros de conversão de tipo (ao converter para pandas df e, em seguida, acrescentando ao csv), dado os tipos de esquema / coluna em meus frameworks de dados pyspark

Resolvido o problema, forçando todas as colunas em cada df a serem do tipo string e, em seguida, anexando isso ao csv da seguinte forma:

 with open('testAppend.csv', 'a') as f: df2.toPandas().astype(str).to_csv(f, header=False)