spark-streaming, Seitenzahl 2

Spark Streaming ist eine Erweiterung der Apache Spark API, die eine hochverfügbare, fehlertolerante Stream-Verarbeitung von Live-Datenströmen ermöglicht. Ab der Version 1.3.0 unterstützt es genau einmal Verarbeitung Semantik, auch im Falle von Fehlern.

Antworten

Stoppen Sie den Streaming-Kontext in Spark Streaming nach einer gewissen Zeit

Ich erstelle eine Anwendung, die DStreams von Twitter empfängt. Die einzige Möglichkeit, den Streaming-Kontext zu stoppen, besteht darin, die Ausführung zu stoppen. Ich frage mich, ob es eine Möglichkeit gibt, eine Zeit einzustellen und den Stre...

29.06.2015, 13:19

Antworten

Kombinieren Sie Ergebnisse aus Batch-RDD mit Streaming-RDD in Apache Spark

Kontext: Ich verwende Apache Spark, um eine laufende Anzahl verschiedener Ereignistypen aus Protokollen zu aggregieren. Die Protokolle werden sowohl in Cassandra für historische Analysezwecke als auch in Kafka für Echtzeitanalysezwecke gespeic...

23.10.2014, 02:59

Antworten

Echtzeit-Protokollverarbeitung mit Apache-Spark-Streaming

Ich möchte ein System erstellen, in dem ich Protokolle in Echtzeit lesen und apache spark verwenden kann, um es zu verarbeiten. Ich bin verwirrt, wenn ich etwas wie Kafka oder Gerinne verwenden sollte, um die Logs zum Funkenstrom zu leiten, oder...

22.02.2015, 07:03

Antwort

Spark Streaming mit einer dynamischen Nachschlagetabelle

Ich bin derzeit dabei, Spark-Streaming zu verwenden, um Logfile-ähnliche Einträge aufzunehmen und aus statistischen Gründen etwas zu berechnen. Es gibt Datensätze auf HDFS, auf die HBase und Hive gerade zugreifen können, die benötigt werden,...

01.02.2015, 16:13

Antwort

Ist es möglich, einen zuverlässigen Empfänger zu implementieren, der ein nicht graziöses Herunterfahren unterstützt?

Ich bin neugierig, ob es absolut notwendig ist, dass eine Spark-Streaming-Anwendung ordnungsgemäß heruntergefahren wird oder dass das Risiko besteht, dass doppelte Daten über das Write-Ahead-Protokoll verursacht werden. Im folgenden Szenario ski...

29.07.2015, 18:47

Antworten

JSON im Spark-Streaming parsen

Ich bin ziemlich neu, um zu funken, und ich versuche, einen DStream zu erhalten, der als ein json von einem kafka Thema strukturiert wird, und ich will den Inhalt jedes json analysieren. Das JSON, das ich erhalte, ist ungefähr so: %Vor% Ich...

03.09.2014, 12:06

Antworten

Kinesis Spark Streaming-Langlebigkeitsprobleme

Ich habe Probleme mit der Langlebigkeit der Spark-Kinesis Streaming-Anwendung, die auf dem Standalone-Clustermanager von Spark ausgeführt wird. Das Programm läuft ungefähr 50 Stunden und hört auf, Daten von Kinesis zu empfangen, ohne einen gülti...

18.04.2016, 19:48

Antworten

Spark-Streaming benutzerdefinierte Metriken

Ich arbeite an einem Spark-Streaming-Programm, das einen Kafka-Stream abruft, sehr grundlegende Transformation im Stream durchführt und dann die Daten in einen DB (Voltdb, wenn es relevant ist) einfügt. Ich versuche die Rate zu messen, mit der i...

29.09.2015, 12:17

Antworten

SBT kann Kafka-Encoder / Decoder-Klassen nicht importieren

Projekteinrichtung: 1 Produzent - serialisiert Objekte & amp; sendet Bytes an Kafka 1 Spark Consumer - sollte DefaultDecoder in kafka.serializer verwenden Paket, um Bytes zu verbrauchen Problem: SBT importiert korrekte Bibliothe...

04.04.2016, 08:22