Ich bin ein Neuling für Scala und Apache Spark und versuche, Spark SQL zu verwenden. Nach dem Klonen des Repo habe ich die Spark-Shell gestartet, indem ich bin/spark-shell eingegeben und folgendes ausgeführt habe:
und alles hat wie erwartet funktioniert. Die users.txt -Datei ist ungefähr wie folgt:
Danach habe ich versucht ein eigenständiges Projekt zu erstellen und ich habe die Abhängigkeiten mit sbt erstellt. Die in build.sbt aufgelisteten Abhängigkeiten lauten wie folgt:
Wenn ich die gleichen Anweisungen ausführe, stürzt es in dieser Zeile ab:
%Vor%mit diesem Fehler:
%Vor%Was ist das Problem?
UPDATE:
Ok, ich glaube nicht, dass das Problem Spark SQL ist, sondern Spark selbst, da ich nicht einmal users.collect() ausführen kann. Wenn es in der Spark-Shell ausgeführt wird, lautet das Ergebnis stattdessen:
wie erwartet. Der Fehler ist folgender:
%Vor% Ich fand das auch java.io .EOFException auf Spark EC2 Cluster beim programmatischen Senden von Jobs , aber ich weiß nicht, welche Version von hadoop-client benötigt werden könnte.
Versuchen Sie, "org.apache.spark"% "spark-catalyst_2.10"% "1.2.0" hinzuzufügen (obwohl ich denke, dass dies als Abhängigkeit herangezogen werden sollte).
Tags und Links scala apache-spark sbt apache-spark-sql