apache-kafka

Fragen
Apache Kafka ist eine verteilte Streaming-Plattform zur Speicherung und Verarbeitung von Datenströmen mit hohem Durchsatz.
2
Antworten

Kubernetes - Es kann keine Verbindung mit einer Service-IP aus dem Service-Pod hergestellt werden

Ich versuche, 3 Instanzen von Kafka zu erstellen und stelle ein lokales Kubernetes-Setup bereit. Da jede Instanz eine bestimmte Konfiguration benötigt, erstelle ich jeweils ein RC und einen Service - und warte gespannt auf ​​# 18016 ;) Ich h...
22.01.2016, 00:51
1
Antwort

Entspricht Kafka / AWS Kinesis Stream auf der Google Cloud Platform

Ich baue eine App, die ständig an einen Puffer angehängt wird, während viele Leser unabhängig von diesem Puffer verbrauchen (einmal schreiben, viele lesen / WORM). Zuerst dachte ich an Apache Kafka, aber da ich eine as-a-service-Option bevorzuge...
11.09.2017, 20:29
1
Antwort

Spark-Streaming von einem Actor

Ich möchte, dass ein Verbraucher ein Kafka-Thema abonniert und Daten für die weitere Verarbeitung mit Spark Streaming außerhalb des Verbrauchers streamt. Warum ein Schauspieler? Weil ich gelesen habe, dass seine Supervisor-Strategie eine gute Mö...
21.02.2017, 08:44
4
Antworten

Wie konfiguriere ich die Protokollierung für Kafka-Produzenten?

Ich verwende den Kafka Producer Client und ich habe keine log4j Konfiguration in meinem Projekt. Beim Ausführen druckt das Programm eine Menge Kafka Debug-Protokolle, die ich wirklich nicht will. Also habe ich versucht, eine log4j.properti...
03.03.2016, 13:40
5
Antworten

So erstellen Sie ein Thema in Apache kafka mit Python

Bisher habe ich keinen Python-Client gesehen, der die Erstellung eines Themas explizit implementiert, ohne die Konfigurationsoption zu verwenden, um die Themen automatisch zu erstellen.     
24.09.2014, 16:03
1
Antwort

Kafka: Kann mehrere Stream-Konsumenten erstellen

Ich bin gerade mit Kafka 0.8 beta 1 aufgestanden. Ich habe ein wirklich einfaches Beispiel, das läuft, das Problem ist, ich kann nur einen Nachrichtenkonsumenten zur Arbeit bringen, nicht mehrere. Das heißt, die Methode runSingleWorker () WORKS....
27.08.2013, 23:42
2
Antworten

Spark Streaming Kafka Nachrichten nicht verbraucht

Ich möchte Nachrichten von einem Thema in Kafka (Broker v 0.10.2.1 ) mit Spark (1.6.2) Streaming empfangen. Ich verwende den Receiver Ansatz. Der Code ist wie folgt: %Vor% Der Zugriff auf Kafka ist kerberisiert . Wenn ich starte...
16.01.2018, 17:32
0
Antworten

So lösen Sie einen Fehler bei der Pfeiffer-Authentifizierung, wenn Sie Kafka mit Kerberos verwenden

Ich versuche SASL zwischen meinem Kafka-Broker und dem Tierpfleger zu verwenden. Wenn ich den kafka Server starte %Vor% Ich erhalte den folgenden Fehler: %Vor% Meine Fragen sind: Was ist los? Und wie kann ich das beheben? Hier sind me...
12.12.2017, 17:31
0
Antworten

kafka.consumer.SimpleConsumer: Erneut Verbindung wegen Socket-Fehler: java.nio.channels.ClosedChannelException

Ich führe einen einfachen Verbraucher für Kafka wie diesen: %Vor% Das läuft für ein paar Stunden gut, aber ich bekomme eine Ausnahme später kafka.consumer.SimpleConsumer: Erneut wegen Socket-Fehler verbinden:    java.nio.channels.ClosedCh...
04.03.2016, 23:19
0
Antworten

kafka konsument AbstractCoordinator: Entdeckter Koordinator Java-Client

Ich habe 3 Broker, die mit der Broker-ID s 0 1 und 2 arbeiten. Der Consumer (Java-Client) ruft Broker 0 als Gruppenkoordinator auf und beginnt, Nachrichten korrekt zu konsumieren. Aber wenn der Broker 0, der der Gruppenkoordinator ist, nicht akt...
23.09.2016, 00:57