Gibt es einen Python-csv-Dateischreiber, der die fwrite-Geschwindigkeit von data.table vergleichen kann? [geschlossen]

8

Ich möchte die Geschwindigkeit von R data.table::fwrite csv Datei in Python anpassen.

Lassen Sie uns einige Zeitpunkte überprüfen. Erstes R ...

%Vor%

Das gleiche gilt für Python mit pandas.to_csv

%Vor%

Derzeit gibt es eine große Leistungslücke. Ein Hauptgrund könnte sein, dass fwrite alle Kerne für den Schreibprozess verwendet, während to_csv wahrscheinlich nur single-threaded ist.

Ich konnte keine Python-Pakete finden, die standardmäßig csv -Datei-Writer mit data.table::fwrite enthalten. Habe ich etwas verpasst? Gibt es eine andere Möglichkeit, den Schreibprozess zu beschleunigen?

Die Dateigröße beträgt in beiden Fällen etwa 400 MB. Der Code wurde auf demselben Computer ausgeführt. Ich habe Python 2.7 , 3.4 , 3.5 ausprobiert. Ich verwende R 3.3.2 und data.table 1.10.4 . In Python 3.4 habe ich pandas 0.20.1

benutzt     
cryo111 24.05.2017, 16:51
quelle

0 Antworten

Tags und Links