Der Spark Worker-Knoten wird automatisch gestoppt

8

Ich führe den Spark Standalone-Cluster aus und beim Übermitteln der Anwendung stoppt der Funketreiber mit dem folgenden Fehler.

%Vor%

Ich bin ein Neuling für Spark und seine Verarbeitung. Bitte helfen Sie mir dabei.

    
Poppy 13.01.2016, 08:03
quelle

2 Antworten

4

Der Fehler wird nicht durch die java.io.IOException verursacht, da Sie eindeutig 16/01/12 23:26:14 INFO Worker: Asked to kill executor app-20160112232613-0012/0 sehen können. Diese Ausnahme wird später ausgelöst, wenn Spark versucht, die Protokolldateien zu schreiben, in denen Sie auch die Ursache Ihres Fehlers beobachten.

Auch wenn Sie mit root privilege funke-submit ausführen, ist es der spark Benutzer, der die Dateien schreibt. Ich schätze, Sie laufen auf Ihrem Laptop dies. Versuchen Sie, sudo chmod -R 777 auf Ihrem Spark-Ordner auszuführen.

    
Radu Ionescu 13.01.2016 16:11
quelle
2

In meinem Fall war das Problem, dass der Funketreiber nicht in der Lage war, die Abhängigkeiten vom ausführbaren Jar zu erhalten, der gesendet wurde. Alle Abhängigkeiten zusammengeführt und in eine einzelne ausführbare Datei konvertiert. Das Problem wurde behoben.

Bitte tragen Sie meine Terminologien :)

    
Poppy 13.01.2016 10:26
quelle

Tags und Links