Ich habe eine Klasse, die einen benutzerdefinierten Kryo-Serialisierer implementiert, indem sie die Methoden read() und write() von com.esotericsoftware.kryo.Serializer implementiert (siehe Beispiel unten). Wie kann ich diesen benutzerdefinierten Serializer bei Spark registrieren?
Hier ist ein Sudo-Code-Beispiel von dem, was ich habe:
%Vor%Jetzt in Spark:
%Vor%Leider kann Spark meinen benutzerdefinierten Serializer nicht registrieren. Irgendeine Idee, wenn es einen Weg gibt, dies zu tun?
Erstellen Sie Ihre eigene KryoRegistrator mit diesem benutzerdefinierten registrierten Serializer:
Setzen Sie dann spark.kryo.registrator auf den voll qualifizierten Namen Ihres Registrators, z. com.acme.MyRegistrator :
Tags und Links scala apache-spark kryo