Gibt es in SPARK SCALA eine linke äußere Verbindung? Ich verstehe, dass es eine Join-Operation gibt, die dem Datenbank-Inner-Join entspricht.
Es ist so einfach wie rdd1.leftOuterJoin(rdd2) , aber Sie müssen sicherstellen, dass beide RDDs in Form von (Schlüssel, Wert) für jedes Element der RDDs sind.
Ja, da ist es. Sehen Sie sich die DStream-APIs
Wenn Sie einen Stream vom Typ haben, sagen wir "Record", und Sie möchten zwei Datenströme verbinden, dann können Sie das tun wie:
%Vor% Wie die APIs sagen, müssen die linken und rechten Streams Hash-partitioniert sein. das heißt, Sie können einige Attribute aus einem Datensatz übernehmen (oder auf andere Weise), um einen Hash-Wert zu berechnen und ihn in DStream zu konvertieren. left und right streams haben den Typ DStream[(Long, Record)] , bevor Sie diese Join-Funktion aufrufen. (Es ist nur ein Beispiel. Der Hash-Typ kann auch anders als Long sein.)
Spark-SQL / Data Frame API unterstützt auch Links / Rechts / FULL äußere schließt sich direkt an:
Aufgrund dieses Fehlers: Ссылка Outer-Joins in Funken vor 1.6 kann sehr langsam sein (es sei denn, Sie haben wirklich kleine Datensätze zu verbinden). Es verwendet kartesisches Produkt zu verwenden und dann Filterung vor 1.6. Jetzt ist es mit SortMergeJoin statt.
Tags und Links scala apache-spark