Ausführen eines Apache Spark Programms auf YARN von IntelliJ IDEA
Ich habe Apache Spark 1.1.1 für die Ausführung auf YARN (Hadoop-2.5.2) eingerichtet. Ich kann Programme mit dem Befehl spark-submit ausführen.
Ich benutze IntelliJ IDEA 14. Ich bin in der Lage, Artefakte zu erstellen und den resultierenden Jar mit spark-submit auszuführen.
Allerdings habe ich mich gefragt, ob es möglich ist, das gesamte Programm direkt von IntelliJ auszuführen?
Ich habe die notwendigen Bibliotheken hinzugefügt und das hadoop-2.4-Profil aktiviert. Allerdings bekomme ich den folgenden Fehler
%Vor%Kann mir jemand sagen, wo ich falsch liege?
1 Antwort
In Intellij müssen Sie die Abhängigkeiten hinzufügen, die der Pfad Ihres Hadoop conf dir
istgehe zur Projekteinstellung und in Abhängigkeiten den Pfad hinzufügen $ HADOOP_HOME / etc / hadoop
und wenn Sie ein Lambda verwenden, dann aus der Projekteinstellung - & gt; Quellen - & gt; Sprachlevel gesetzt 8-Lambda-Typ Annonation 
Tags und Links intellij-idea apache-spark