Ich bin ziemlich neu in Spark. Ich habe versucht zu suchen, aber ich konnte keine richtige Lösung finden. Ich habe Hadoop 2.7.2 auf zwei Boxen installiert (ein Master-Knoten und der andere Arbeiter-Knoten) Ich habe den Cluster eingerichtet, indem ich den folgenden Link Ссылка Ich habe Hadoop und funken Anwendung als root Benutzer zum Testen des Clusters ausgeführt.
Ich habe den Funke am Masterknoten installiert und der Funke startet fehlerfrei. Wenn ich jedoch den Job mit Spark Submit übergebe, erhalte ich die Ausnahme "File Not Found", obwohl die Datei im Master-Knoten an der gleichen Stelle im Fehler vorhanden ist. Ich führe den Spark Submit-Befehl aus und finde die Logs unterhalb der Befehl.
%Vor% %Vor%Ich habe sogar versucht, den Funke auf dem HDFS-Dateisystem auszuführen, indem ich meine Anwendung auf HDFS platzierte und den HDFS-Pfad im Spark Submit-Befehl gab. Selbst dann wird die Datei nicht gefunden Exception in einigen Spark-Conf-Datei geworfen. Ich führe den Befehl Spark Submit aus und finde die Logs unterhalb des Befehls.
%Vor% %Vor%Die Spark-Konfiguration zeigte nicht auf das richtige Hadoop-Konfigurationsverzeichnis. Die Hadoop-Konfiguration für 2.7.2 befindet sich im Dateipfad hadoop 2.7.2./etc/hadoop/ und nicht in /root/hadoop2.7.2/conf. Als ich auf HADOOP_CONF_DIR = / root / hadoop2.7.2 / etc / hadoop / unter spark-env.sh zeigte, begann die Funke-Submit-Funktion zu arbeiten und die Ausnahme "Datei nicht gefunden" verschwand. Früher zeigte es auf /root/hadoop2.7.2/conf (was nicht beendet wird). Wenn Spark nicht auf das richtige Hadoop-Konfigurationsverzeichnis verweist, kann dies zu einem ähnlichen Fehler führen. Ich denke, es ist wahrscheinlich ein Fehler im Funken, es sollte es anmutig handhaben, anstatt mehrdeutige Fehlermeldungen zu werfen.
Ich habe einen ähnlichen Fehler mit Spark, der auf EMR läuft. Ich habe meinen Spark-Code in Java 8 geschrieben, und im EMR-Cluster läuft Funke standardmäßig auf Java 8. Dann musste ich den Cluster mit JAVA_HOME neu erstellen, der auf die Java-8-Version zeigt. Es hat mein Problem gelöst. Bitte überprüfen Sie die ähnlichen Zeilen.
Tags und Links hadoop apache-spark yarn spark-streaming