Ich habe Probleme mit der Langlebigkeit der Spark-Kinesis Streaming-Anwendung, die auf dem Standalone-Clustermanager von Spark ausgeführt wird. Das Programm läuft ungefähr 50 Stunden und hört auf, Daten von Kinesis zu empfangen, ohne einen gültigen Fehler zu geben, warum es gestoppt wurde. Aber wenn ich die Anwendung neu starte, funktioniert es für einen anderen Tag und die Hälfte oder so.
Ich sehe viele Fehler während der Programmausführung. Ich bin mir nicht sicher, ob dies mit unerwarteten Ereignissen zusammenhängt. Weil diese Fehler in Protokollen auch dann vorhanden sind, wenn die Spark-Anwendung in Ordnung ist.
Es gibt keinen Fehler beim Stoppen im Treiber oder Executor. Außerdem habe ich überprüft, ob ein Speicherfehler vorliegt, aber ich konnte die Protokolle nicht erkennen. Könnten Sie mir bitte helfen zu verstehen, was diese Fehlermeldung bedeutet? Hat das etwas mit der Langlebigkeit zu tun? Wo denkst du, sollte ich debuggen, um zu verstehen, was damit passiert?
%Vor%Tags und Links apache-spark amazon-kinesis spark-streaming