Ich möchte nur Tupel von Strings oder Ints serialisieren und unserialisieren.
Ich schaute auf pickle.dumps (), aber der Byte-Overhead ist signifikant. Im Grunde genommen sieht es so aus, als würde es etwa 4x soviel Platz benötigen, wie es braucht. Außerdem brauche ich nur Basistypen und muss Objekte nicht serialisieren.
Marshal ist ein wenig besser in Bezug auf den Platz, aber das Ergebnis ist voller bösen \ x00 Bytes. Idealerweise möchte ich, dass das Ergebnis für den Menschen lesbar ist.
Ich dachte daran, nur rep () und eval () zu verwenden, aber gibt es eine einfache Möglichkeit, dies ohne eval () zu erreichen?
Dies wird in einer db gespeichert, nicht in einer Datei. Byte Overhead ist wichtig, da es den Unterschied zwischen der Anforderung einer TEXT-Spalte und einer VARCHAR-Datei ausmachen kann. Die Datenkompaktheit wirkt sich in der Regel auf alle Bereiche der Db-Leistung aus.
persönlich würde ich yaml verwenden. Es ist auf Augenhöhe mit JSON für die Kodierung der Größe, aber es kann bei Bedarf etwas komplexere Dinge (z. B. Klassen, rekursive Strukturen) darstellen.
%Vor%Vielleicht verwenden Sie nicht das richtige Protokoll:
%Vor%Siehe die Dokumentation für Pickle-Datenformate .
In der Python-Dokumentation sind einige Persistenz-Builtins erwähnt, aber ich denke nicht, dass irgendetwas davon bemerkenswert ist kleiner in der produzierten Dateigröße.
Du könntest immer den configparser verwenden, aber dort bekommst du nur string, int, float, bool.
"Der Byte-Overhead ist signifikant"
Warum ist das wichtig? Es macht den Job. Wenn Ihnen der Speicherplatz knapp wird, würde ich Ihnen gerne einen 1 TB für 500 $ verkaufen.
Hast du es ausgeführt? Ist Leistung ein Problem? Können Sie nachweisen, dass die Leistung der Serialisierung das Problem ist?
"Ich dachte daran, nur rep () und eval () zu verwenden, aber gibt es eine einfache Möglichkeit, dies ohne eval () zu erreichen?"
Nichts einfacher als Rep und Eval.
Was ist falsch mit eval?
Ist das "jemand könnte bösartigen Code in die Datei einfügen, wo ich meine Listen serialisiert habe" Problem?
Wer - speziell - wird diese Datei finden und bearbeiten, um bösartigen Code einzufügen? Alles, was Sie tun, um dies zu sichern (d. H. Verschlüsselung) entfernt "einfach" davon.
Zum Glück gibt es eine Lösung, die COMPRESSION verwendet und löst
das allgemeine Problem mit einem beliebigen Python-Objekt
einschließlich neuer Klassen. Eher als Micro-Management einfach
Tupel Manchmal ist es besser, ein DRY-Tool zu verwenden.
Ihr Code wird klarer und leichter refaktoriert
in ähnlichen zukünftigen Situationen.
y_serial.py module :: warehouse Python-Objekte mit SQLite
"Serialisierung + Persistenz: Komprimieren und kommentieren Sie in einigen Codezeilen Python-Objekte in SQLite und rufen sie später chronologisch nach Schlüsselwörtern ohne SQL ab. Am nützlichsten ist das" Standard "-Modul für eine Datenbank, um schemalose Daten zu speichern . "
[Wenn Sie immer noch besorgt sind, warum nicht stecken Sie diese Tupel ein ein Wörterbuch, wenden Sie dann y_serial auf das Wörterbuch an. Wahrscheinlich wird jeder Overhead aufgrund der Transparenz verschwinden Komprimierung im Hintergrund von zlib.]
Zur Lesbarkeit gibt die Dokumentation auch Details zu warum cPickle wurde über json ausgewählt.
Tags und Links python pickle serialization