Ich bin sehr neu in Apache Spark. Ich möchte mich eigentlich auf die grundlegende Spark-API-Spezifikation konzentrieren und einige Programme mit Spark-API verstehen und schreiben. Ich habe ein Java-Programm mit Apache Spark geschrieben, um das Joins-Konzept zu implementieren.
Wenn ich Left Outer Join - leftOuterJoin () oder Right Outer Join - rightOuterJoin () verwende, geben beide Methoden ein JavaPairRDD zurück, das einen speziellen Google-Optionen-Typ enthält. Aber ich weiß nicht, wie man die ursprünglichen Werte vom optionalen Typ extrahiert.
Ich würde gerne wissen, ob ich dieselben Join-Methoden verwenden kann, die die Daten in meinem eigenen Format zurückgeben. Ich habe keinen Weg gefunden, das zu tun. Das heißt, wenn ich Apache Spark verwende, kann ich den Code nicht in meinem eigenen Stil anpassen, da sie bereits alle vordefinierten Dinge gegeben haben.
Bitte finden Sie den Code unten
%Vor%Hier ist mein Java-Code
%Vor%Und hier die Ausgabe, die ich bekomme
%Vor%Ich führe dieses Programm auf Windows-Plattform
Bitte beachten Sie die obige Ausgabe und helfen Sie mir beim Extrahieren der Werte vom optionalen Typ
Vielen Dank im Voraus
Wenn Sie den linken äußeren Join und den rechten äußeren Join ausführen, haben Sie möglicherweise Nullwerte. richtig!
So gibt spark das optionale Objekt zurück. Nachdem Sie dieses Ergebnis erhalten haben, können Sie dieses Ergebnis Ihrem eigenen Format zuordnen.
Sie können die isPresent () -Methode von Optional verwenden, um Ihre Daten zuzuordnen.
Hier ist das Beispiel:
%Vor%Tags und Links java join apache-spark optional