Gibt es einen einfachen Weg, wie explode für eine Array-Spalte in SparkSQL DataFrame verwendet? Es ist relativ einfach in Scala, aber diese Funktion scheint in Java nicht verfügbar zu sein (wie in javadoc erwähnt).
Eine Option ist die Verwendung von SQLContext.sql(...) und explode function innerhalb der Abfrage, aber ich suche nach etwas besserem und besonders sauberem Weg. DataFrame s werden aus Parkettdateien geladen.
Ich habe es auf diese Weise gelöst: Sagen Sie, dass Sie eine Array-Spalte mit Jobbeschreibungen mit dem Namen "positions" für jede Person mit "fullName" haben.
Dann erhalten Sie vom ursprünglichen Schema:
%Vor%zum Schema:
%Vor%indem Sie:
%Vor%Tags und Links java apache-spark apache-spark-sql