apache-kafka

Fragen
Apache Kafka ist eine verteilte Streaming-Plattform zur Speicherung und Verarbeitung von Datenströmen mit hohem Durchsatz.
1
Antwort

Kafka-Consumer konnte beim Abrufen von Themenmetadaten "Leader nicht finden"

Wenn ich versuche, das Skript Kafka Producer und Consumer (0.9.0) zu verwenden, um Nachrichten von einem Thema zu pushen / zu ziehen, erhalte ich die folgenden Fehler. Erzeugerfehler %Vor% Verbraucherfehler %Vor% Warum erhalte ich den...
13.01.2016, 03:19
2
Antworten

Kombinieren Sie Ergebnisse aus Batch-RDD mit Streaming-RDD in Apache Spark

Kontext: Ich verwende Apache Spark, um eine laufende Anzahl verschiedener Ereignistypen aus Protokollen zu aggregieren. Die Protokolle werden sowohl in Cassandra für historische Analysezwecke als auch in Kafka für Echtzeitanalysezwecke gespeic...
23.10.2014, 02:59
3
Antworten

Echtzeit-Protokollverarbeitung mit Apache-Spark-Streaming

Ich möchte ein System erstellen, in dem ich Protokolle in Echtzeit lesen und apache spark verwenden kann, um es zu verarbeiten. Ich bin verwirrt, wenn ich etwas wie Kafka oder Gerinne verwenden sollte, um die Logs zum Funkenstrom zu leiten, oder...
22.02.2015, 07:03
1
Antwort

Wie können Kafka-Einschränkungen vermieden werden? [geschlossen]

Wir versuchen, ein BI-System zu erstellen, das sehr große Datenmengen sammelt, die von anderen Komponenten verarbeitet werden sollen. Wir haben uns entschieden, dass es eine gute Idee ist, eine Zwischenschicht zum Sammeln, Speichern & Amp; vert...
21.07.2014, 11:06
2
Antworten

Apache Sturm java.nio.channels.ClosedChannelException: null

Wir versuchen, Apache Storm für die Verarbeitung einer großen Anzahl (gefälschter) Nachrichten zu verwenden. Nachrichtenbeispiel: %Vor% Wir verwenden Apache Kafka als Nachrichtenquelle für unseren Storm-Cluster. Unser Ziel ist es, mindestens...
03.07.2014, 12:30
1
Antwort

Die Task Kafka-connect sink ignoriert die Dateioffset-Speichereigenschaft

Ich habe ein merkwürdiges Verhalten bei der Arbeit mit dem Confluent JDBC-Connector. Ich bin mir ziemlich sicher, dass es nicht mit Confluent Stack zusammenhängt, sondern mit Kafka-connect Framework selbst. Also definiere ich offset.storage....
06.02.2017, 16:39
0
Antworten

Samza / Kafka Aktualisierung der Metadaten fehlgeschlagen

Ich arbeite gerade daran, ein Samza-Skript zu schreiben, das nur Daten von einem Kafka-Thema aufnehmen und die Daten zu einem anderen Kafka-Thema ausgeben wird. Ich habe eine sehr einfache StreamTask geschrieben, aber bei der Ausführung bekomme...
04.06.2015, 20:09
0
Antworten

Fehler beim Start von Kafka Consumer: Fehler beim Hinzufügen des Leaders für Partitionen [Aufrufe, 0] - NotLeaderForPartitionException

Beim Versuch, die Datei kafka-console-consumer.bat gegen ein bestehendes Thema in Windows7 auszuführen, erhalten wir die Ausnahmen "Fehler beim Hinzufügen von Leader" und "NotLeaderForPartition" Hier ist die Befehlszeile %Vor% Hier sind d...
25.05.2014, 07:58
1
Antwort

WebSocket wird nach 1000 Nachrichten geschlossen

Ich schreibe eine App, um Nachrichten von Apache Kafka über einen WebSocket an den Browser zu senden. Wenn der Server Nachrichten für eine Weile nicht konsumiert und der Offset hinterherhinkt, schließt der Websocket nach 1000 oder 2000 Nachricht...
17.09.2014, 17:08
0
Antworten

Wie erhole ich mich von NoReplicaOnlineException mit einem Kafka-Broker?

Wir haben ein wirklich einfaches Kafka 0.8.1.1 in unserem Entwicklungslabor eingerichtet. Es ist nur ein Knoten. In regelmäßigen Abständen stoßen wir auf diesen Fehler: %Vor% Kann jemand eine Strategie empfehlen, um sich davon zu erholen?...
10.08.2015, 17:49