spark-streaming, Seitenzahl 1

Spark Streaming ist eine Erweiterung der Apache Spark API, die eine hochverfügbare, fehlertolerante Stream-Verarbeitung von Live-Datenströmen ermöglicht. Ab der Version 1.3.0 unterstützt es genau einmal Verarbeitung Semantik, auch im Falle von Fehlern.

Antwort

Spark-Streaming von einem Actor

Ich möchte, dass ein Verbraucher ein Kafka-Thema abonniert und Daten für die weitere Verarbeitung mit Spark Streaming außerhalb des Verbrauchers streamt. Warum ein Schauspieler? Weil ich gelesen habe, dass seine Supervisor-Strategie eine gute Mö...

21.02.2017, 08:44

Antworten

Benutzerdefinierte Quellen- / Senke-Konfigurationen werden nicht erkannt

Ich habe meine benutzerdefinierte Metrik Source / Sink für meine Spark-Streaming-App geschrieben, und ich versuche, sie aus metrics.properties zu initialisieren - aber das funktioniert nicht von Executoren. Ich habe keine Kontrolle über die Masc...

06.09.2016, 03:10

Antworten

Spark Streaming Kafka Nachrichten nicht verbraucht

Ich möchte Nachrichten von einem Thema in Kafka (Broker v 0.10.2.1 ) mit Spark (1.6.2) Streaming empfangen. Ich verwende den Receiver Ansatz. Der Code ist wie folgt: %Vor% Der Zugriff auf Kafka ist kerberisiert . Wenn ich starte...

16.01.2018, 17:32

Antworten

was ist der genaue Unterschied zwischen Spark Transformation in DStream und map?

Ich versuche, die Transformation in Spark DStream in Spark Streaming zu verstehen. Ich wusste, dass transform in viel Superlativ im Vergleich zu Karte, aber Kann mir jemand ein Echtzeitbeispiel oder ein klares Beispiel geben, das die Transfor...

23.08.2015, 14:57

Antworten

Spark Streaming + Kafka: SparkException: Es konnten keine Vorlaufoffsets für Set gefunden werden

Ich versuche, Spark Streaming einzurichten, um Nachrichten aus der Kafka-Warteschlange zu erhalten. Ich erhalte den folgenden Fehler: %Vor% Hier ist der Code, den ich ausführe (pyspark): %Vor% Es gab ein paar ähnliche Posts mit demselben...

15.12.2015, 11:48

Antworten

Wie behebt man "java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord" in Spark Streaming Kafka Consumer?

Spark 2.0.0 Apache Kafka 0.10.1.0 scala 2.11.8 Wenn ich Spark-Streaming und Kafka-Integration mit Kafka-Broker-Version 0.10.1.0 mit dem folgenden Scala-Code schlägt es mit folgender Ausnahme fehl: %Vor% Warum? Wie man es repariert...

13.11.2016, 05:26

Antwort

Spark Streaming Kumulierte Wörter zählen

Dies ist ein Spark-Streaming-Programm in Scala geschrieben. Er zählt die Anzahl der Wörter aus einer Steckdose alle 1 Sekunde. Das Ergebnis wäre die Wortzählung, z. B. die Wortzählung von Zeit 0 bis 1 und die Wortzählung dann von Zeit 1 bis 2. A...

16.07.2014, 03:40

Antwort

Was bedeutet "Streaming" in Apache Spark und Apache Flink?

Als ich zur Webseite von Apache Spark Streaming ging, sah ich einen Satz: Spark Streaming macht es einfach, skalierbare fehlertolerante Streaming-Anwendungen zu erstellen. Und in der Apache Flink Website gibt es einen Satz: A...

30.06.2015, 10:13

Antworten

Spark-Job, der auf dem Yarn-Cluster ausgeführt wird java.io.FileNotFoundException: Die Datei wird nicht beendet, obwohl die Datei auf dem Master-Knoten beendet wird

Ich bin ziemlich neu in Spark. Ich habe versucht zu suchen, aber ich konnte keine richtige Lösung finden. Ich habe Hadoop 2.7.2 auf zwei Boxen installiert (ein Master-Knoten und der andere Arbeiter-Knoten) Ich habe den Cluster eingerichtet, inde...

20.04.2016, 19:37

Antwort

So finden Sie die Funkenmaster-URL auf Amazon EMR

Ich bin neu zu funken und versuchen, Funke auf Amazon-Cluster mit Version 1.3.1 zu installieren. wenn ich es tue %Vor% es funktioniert für mich, aber ich kam zu wissen, dass dies für Testzwecke ist, kann ich lokal [2] setzen Wenn ich vers...

10.06.2015, 15:28