Wie speichert man ein Array in der hdf5-Datei, das zu groß ist, um es in den Speicher zu laden?

Question

Wie speichert man ein Array in der hdf5-Datei, das zu groß ist, um es in den Speicher zu laden?

8

Gibt es eine Möglichkeit, ein Array in einer hdf5-Datei zu speichern, die zu groß ist, um sie in den Speicher zu laden?

wenn ich so etwas mache

%Vor%

Ich bekomme einen Speicherfehler.

python memory numpy hdf5

Sounak 23.03.2015, 11:39

quelle

1 Antwort

Tags und Links python memory numpy hdf5

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Aktualisieren von transaction.commit_manual () zu Django 1.6

score 6 · Accepted Answer

Gemäß der Dokumentation können Sie create_dataset zum Erstellen verwenden ein Chunked Array im hdf5 gespeichert. Beispiel:

%Vor%

Durch das Schneiden der HDF5 dataset werden Numpy-Arrays zurückgegeben.

%Vor%

Sie können Werte wie für ein Numpy-Array festlegen.

%Vor%

Ich weiß nicht, ob dies der effizienteste Weg ist, aber Sie können das ganze Array in Chunks durchlaufen. Und zum Beispiel setzen Sie es auf zufällige Werte:

%Vor%