Warum Spark Executor SIGTERM empfängt?

10

Ich verwende Spark API (Spark Core API, nicht Stream, SQL etc.) Ich sehe oft diese Art von Fehler in Spark Dump Log: Spark-Umgebung: 1.3.1 Garn-Client

%Vor%
  1. Wer löst SIGTERM aus? Garn, Spark oder ich?
  2. Wird dieses Signal den Spark Executor beenden? Wenn nicht, wow wird es das Funkenprogramm beeinflussen.

Ich drücke Strg + c, aber das sollte SIGINT sein. Wenn YARN den Executor tötet, wäre das SIGKILL.

    
worldterminator 15.10.2015, 06:13
quelle

1 Antwort

2

Sie werden wahrscheinlich den Grund in den Garnregistern finden. Wenn Sie die Protokollaggregation aktiviert haben, können Sie

eingeben

yarn logs -applicationId [app_id]

und Suche nach Ausnahmen.

    
Bacon 21.04.2016 16:01
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Schwenken Sie den Panning-Betrag, um zu verhindern, dass das Bild vom Fenster abkommt