Verbinden von zwei Datenrahmen in Spark SQL und Auswählen von Spalten aus nur einer Datei

Question

8

Ich habe zwei Datenrahmen in Spark SQL ( D1 und D2 ).

Ich versuche, beide zu verbinden D1.join(D2, "some column") und erhalten Daten von nur D1, nicht den vollständigen Datensatz .

Sowohl D1 als auch D2 haben die gleichen Spalten.

Könnte jemand bitte mir dabei helfen?

Ich benutze Spark 1.6.

scala apache-spark apache-spark-sql

Avi 02.08.2016, 13:02

quelle

2 Antworten

2

Als alternative Antwort können Sie auch Folgendes tun, ohne Aliase hinzuzufügen:

%Vor%

nsanglar 30.01.2018 11:12

quelle

score 23 · Accepted Answer

23

Sagen wir, Sie möchten sich der "id" -Spalte anschließen. Dann könnten Sie schreiben:

%Vor%

cheseaux 02.08.2016, 13:08

quelle