Ich erhalte diesen Fehler, wenn ich versuche, diesen Code auszuführen.
%Vor%Ausgabe:
Ausnahme im Thread "main" java.lang.IllegalArgumentException: Kann SparkSession mit Hive-Unterstützung nicht instanziieren, weil Hive-Klassen nicht gefunden werden. bei org.apache.spark.sql.SparkSession $ Builder.enableHiveSupport (SparkSession.scala: 778) unter com.training.hivetest.App.main (App.java:21)
Wie kann es gelöst werden?
Ich habe mir den Quellcode angeschaut und festgestellt, dass trotz HiveSessionState (in spark-hive) eine andere Klasse HiveConf benötigt wird, um SparkSession zu initiieren. Und HiveConf ist nicht in spark-hive * jar enthalten, vielleicht kannst du es in Bienenstock-ähnlichen Gläsern finden und es in deinen Klassenpfad einfügen.
Ich hatte das gleiche Problem. Ich könnte es lösen, indem ich folgende Abhängigkeiten hinzufüge. (Ich habe diese Liste durch Bezugnahme auf den Abschnitt Abhängigkeiten kompilieren von spark-hive_2.11 mvn repository aufgelöst Seite ):
%Vor%wobei scala.binary.version = 2.11 und spark.version = 2.1.0
%Vor%Tags und Links java apache-spark hive apache-spark-sql