Kryo ist ein schnelles und effizientes Framework für die Serialisierung von Objektgraphen für Java. Die Ziele des Projekts sind Geschwindigkeit, Effizienz und eine einfach zu bedienende API. Das Projekt ist nützlich, wenn Objekte dauerhaft gespeichert werden müssen, sei es in einer Datei, einer Datenbank oder über das Netzwerk.
In Spark gibt es drei Möglichkeiten, um die Optionen für SparkConf anzugeben, die zum Erstellen von SparkContext verwendet wurden:
Als Eigenschaften in der Datei conf / spark-defaults.conf
z. B. die Zeile: spark.driver.memory 4g...
14.07.2015, 04:36
Ich habe eine Klasse, die einen benutzerdefinierten Kryo-Serialisierer implementiert, indem sie die Methoden read() und write() von com.esotericsoftware.kryo.Serializer implementiert (siehe Beispiel unten). Wie kann ich diesen benutzer...
22.03.2016, 01:20
Wie deserialisieren Sie die immutable Sammlung mithilfe von Kryo ? Muss ich zusätzlich zu dem, was ich getan habe, etwas registrieren?
Hier ist mein Beispielcode
%Vor%
Es löst Ausnahme aus
%Vor%
10.05.2013, 21:13
Ich werde diese Frage im Kontext von Spark stellen, denn das ist es, womit ich konfrontiert bin, aber das könnte ein einfaches Java-Problem sein.
In unserem Spark-Job haben wir ein Resolver , das in allen unseren Mitarbeitern verwendet werd...
21.01.2018, 19:53
Twitter-chill scheint eine gute Lösung für das Problem zu sein, wie man in Scala ohne übermäßiges Vortex effizient zu serialisieren.
Ich sehe jedoch keine Beweise dafür, wie sie mit Fallklassen umgehen. Funktioniert das einfach automatisch od...
31.12.2013, 01:57