Unter Verwendung von Spark 2.0 sehe ich, dass es möglich ist, einen Datenrahmen von Zeilen in einen Datenrahmen von Fallklassen zu verwandeln. Als ich das versuchte, begrüßte ich eine Nachricht mit dem Hinweis, spark.implicits._ zu importieren. Das Problem, das ich habe, ist, dass Intellij dies nicht als gültige Import-Anweisung erkennt, ich frage mich, ob sich das verschoben hat und die Nachricht nicht aktualisiert wurde, oder wenn ich nicht die richtigen Pakete in meinen Build-Einstellungen habe ist mein build.sbt
Es gibt kein Paket namens spark.implicits .
Mit spark bezieht es sich hier auf SparkSession . Wenn Sie sich innerhalb der REPL befinden, ist die Sitzung bereits als spark definiert, sodass Sie einfach Folgendes eingeben können:
Wenn Sie irgendwo in Ihrem Code ein eigenes SparkSession definiert haben, passen Sie es entsprechend an:
Spark hat spark identifier für SparkSession verwendet. Dies verursacht die Verwirrung. Wenn Sie es mit etwas wie,
Der richtige Weg zum Importieren von implicits wäre
Lass es mich wissen, wenn das hilft. Prost.
Tags und Links scala apache-spark spark-dataframe