Stoppen Sie den Streaming-Kontext in Spark Streaming nach einer gewissen Zeit

Question

Stoppen Sie den Streaming-Kontext in Spark Streaming nach einer gewissen Zeit

9

Ich erstelle eine Anwendung, die DStreams von Twitter empfängt. Die einzige Möglichkeit, den Streaming-Kontext zu stoppen, besteht darin, die Ausführung zu stoppen. Ich frage mich, ob es eine Möglichkeit gibt, eine Zeit einzustellen und den Streaming-Socket zu beenden, ohne die gesamte Anwendung zu stoppen?

stream apache-spark spark-streaming twitter4j

Anis Nouri 29.06.2015, 13:19

quelle

2 Antworten

2

Sie können die Methode awaistTermination () für das streamingContext-Objekt verwenden, um eine bestimmte Zeit zu warten. Siehe dies

urug 29.06.2015 13:58

quelle

Tags und Links stream apache-spark spark-streaming twitter4j

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Anpassen Speichern Sie den Dateidialog so, dass er dem zugrunde liegenden Betriebssystem-Speicherdialog ähnelt C #

score 6 · Accepted Answer

6

Sie können entweder

verwenden %Vor%

wie in der vorherigen Antwort erwähnt, oder Sie können den Streaming-Kontext manuell von Ihrem anderen Thread stoppen:

%Vor%

vanekjar 29.06.2015, 16:17

quelle