Ich habe Probleme, große Dateien zu teilen (etwa 10 GB). Die Grundidee ist einfach die Zeilen zu lesen und alle, sagen wir 40000 Zeilen in eine Datei zu gruppieren. Aber es gibt zwei Möglichkeiten, Dateien zu "lesen".
1) Die erste lautet, die WHOLE-Datei auf einmal zu lesen und sie in eine LISTE umzuwandeln. Dies erfordert jedoch das Laden der WHOLE-Datei in den Speicher, was für die zu große Datei schmerzhaft ist. (Ich glaube, ich habe solche Fragen schon mal gestellt) In python, Ansätze zum Lesen der gesamten Datei auf einmal habe ich versucht, einschließlich:
%Vor% Nun, dann kann ich einfach 40000 Zeilen in eine Datei gruppieren: list[40000,80000] or list[80000,120000]
Oder der Vorteil der Verwendung von Liste ist, dass wir leicht auf bestimmte Zeilen zeigen können.
2) Die zweite Möglichkeit besteht darin, Zeile für Zeile zu lesen; Verarbeite die Linie beim Lesen. Diese Leseleitungen werden nicht gespeichert. Beispiele umfassen:
%Vor%oder
%Vor%Ich bin sicher für gzip.open, das f ist keine Liste, sondern ein Dateiobjekt. Und anscheinend können wir nur Zeile für Zeile verarbeiten; wie kann ich diesen "Split" Job ausführen? Wie kann ich auf bestimmte Zeilen des Dateiobjekts zeigen?
Danke
Wenn es nichts Besonderes ist, eine bestimmte Anzahl von Dateizeilen in jeder Datei zu haben, readlines() function akzeptiert auch einen Größenhinweisparameter, der sich wie folgt verhält:
Wenn ein optionaler Parameter sizehint angegeben wird, liest er so viele Bytes aus die Datei und genug mehr, um eine Zeile zu vervollständigen, und gibt die Zeilen zurück davon. Dies wird oft verwendet, um ein effizientes Lesen eines großen zu ermöglichen Datei für Zeile, aber ohne die gesamte Datei im Speicher zu laden. Nur vollständige Zeilen werden zurückgegeben.
... damit du den Code so schreiben kannst:
%Vor%Für eine 10-GB-Datei ist der zweite Ansatz eindeutig der richtige Weg. Hier ist ein Überblick darüber, was Sie tun müssen:
Wenn Sie an der Datei arbeiten, müssen Sie natürlich den Inhalt der Datei in irgendeiner Weise durchlaufen - egal, ob Sie das manuell tun oder einen Teil der Python-API für Sie verwenden (z. B. die Readlines) () Methode) ist nicht wichtig. In der großen O-Analyse bedeutet dies, dass Sie die O (n) -Zeit ausgeben (n ist die Größe der Datei).
Aber das Lesen der Datei in den Speicher erfordert auch O (n) Leerzeichen. Obwohl wir manchmal eine 10-GB-Datei in den Speicher schreiben müssen, ist dies bei Ihrem speziellen Problem nicht erforderlich. Wir können direkt über das Dateiobjekt iterieren. Natürlich benötigt das Dateiobjekt Platz, aber wir haben keinen Grund, den Inhalt der Datei zweimal in zwei verschiedenen Formen zu halten.
Deshalb würde ich mit Ihrer zweiten Lösung gehen.