Ich möchte die Geschwindigkeit von R
data.table::fwrite
csv
Datei in Python anpassen.
Lassen Sie uns einige Zeitpunkte überprüfen. Erstes R
...
Das gleiche gilt für Python mit pandas.to_csv
Derzeit gibt es eine große Leistungslücke. Ein Hauptgrund könnte sein, dass fwrite
alle Kerne für den Schreibprozess verwendet, während to_csv
wahrscheinlich nur single-threaded ist.
Ich konnte keine Python-Pakete finden, die standardmäßig csv
-Datei-Writer mit data.table::fwrite
enthalten. Habe ich etwas verpasst? Gibt es eine andere Möglichkeit, den Schreibprozess zu beschleunigen?
Die Dateigröße beträgt in beiden Fällen etwa 400 MB. Der Code wurde auf demselben Computer ausgeführt.
Ich habe Python 2.7
, 3.4
, 3.5
ausprobiert. Ich verwende R 3.3.2
und data.table 1.10.4
. In Python 3.4 habe ich pandas 0.20.1
Tags und Links python r csv data.table pandas