kafka-consumer-api

Fragen
Wird für Fragen verwendet, die sich auf die Apache Kafka Consumer-API beziehen
0
Antworten

kafka.consumer.SimpleConsumer: Erneut Verbindung wegen Socket-Fehler: java.nio.channels.ClosedChannelException

Ich führe einen einfachen Verbraucher für Kafka wie diesen: %Vor% Das läuft für ein paar Stunden gut, aber ich bekomme eine Ausnahme später kafka.consumer.SimpleConsumer: Erneut wegen Socket-Fehler verbinden:    java.nio.channels.ClosedCh...
04.03.2016, 23:19
0
Antworten

kafka konsument AbstractCoordinator: Entdeckter Koordinator Java-Client

Ich habe 3 Broker, die mit der Broker-ID s 0 1 und 2 arbeiten. Der Consumer (Java-Client) ruft Broker 0 als Gruppenkoordinator auf und beginnt, Nachrichten korrekt zu konsumieren. Aber wenn der Broker 0, der der Gruppenkoordinator ist, nicht akt...
23.09.2016, 00:57
3
Antworten

Wie bekomme ich den LETZTEN Offset eines Kafka-Themas?

Ich schreibe einen kafka consumer mit Java. Ich möchte die Echtzeit der Nachricht beibehalten. Wenn also zu viele Nachrichten auf den Konsum warten, wie beispielsweise 1000 oder mehr, sollte ich die nicht verbrauchten Nachrichten aufgeben und...
18.07.2016, 03:31
5
Antworten

Ist kafka consumer 0.9 abwärtskompatibel?

Wird der kommende kafka consumer 0.9.x mit dem 0.8 broker kompatibel sein? Mit anderen Worten - es ist nur möglich, zu einer neuen Verbraucher-Implementierung zu wechseln, ohne etwas anderes zu berühren?     
19.11.2015, 19:15
3
Antworten

Kafka 0.9 Wie man eine Nachricht wieder aufnimmt, wenn man den Offset mit einem Kafka Consumer manuell festlegt

Ich schreibe einen Verbraucher, der den Offset manuell festlegt, sobald eine Reihe von Aufzeichnungen an Mongo übergeben wurde. Im Falle eines Mongo-Fehlers oder eines anderen Fehlers wird versucht, den Datensatz in eine Fehlerbehandlungssammlu...
20.01.2016, 13:46
1
Antwort

Konfigurieren Sie kafka-net so, dass keine neuen Nachrichten mehr gesendet werden

Ich benutze kafka 0.8.1.1 auf einer Red Hat VM mit kafka-net plugin. Wie kann ich meinen Kunden so konfigurieren, dass er keine früheren Nachrichten von kafka mehr empfängt? Mein Verbrauchercode: %Vor%     
13.03.2015, 21:19
1
Antwort

Fehler UNKNOWN_MEMBER_ID ist beim Vergeben von Offsets für die Gruppe xxx aufgetreten

Mit der Java-Bibliothek des Kafka-Clients hat die Verwendung von Protokollen eine Zeit lang funktioniert, aber mit den folgenden Fehlern funktioniert sie nicht mehr: %Vor% Es wird zurückgesetzt. Beim Ausführen einer anderen Instanz dersel...
15.07.2016, 11:09
2
Antworten

Kafka löst java.nio.channels.ClosedChannelException aus

Wenn ich versuche, Nachrichten vom kafka-Server, der in ec2 gehostet wird, mit dem kafka console tool zu konsumieren (V 0.9.0.1, glaube ich, dass dies alte Consumer-APIs verwendet) Ich bekomme folgende Ausnahme. Wie kann ich das überwinden?...
06.04.2016, 04:58
2
Antworten

Kafka und Firewall-Regeln

Wir haben eine ziemlich strenge Netzwerksegmentierungspolitik. Ich verwende eine Cloud Foundry-Instanz, um eine App zu implementieren. Die Firewall-Regeln wurden so eingerichtet, dass sie den Kafka-Cluster innerhalb der Cloud-Foundry-Instanz err...
22.07.2016, 16:11
1
Antwort

Kafka-Consumer konnte beim Abrufen von Themenmetadaten "Leader nicht finden"

Wenn ich versuche, das Skript Kafka Producer und Consumer (0.9.0) zu verwenden, um Nachrichten von einem Thema zu pushen / zu ziehen, erhalte ich die folgenden Fehler. Erzeugerfehler %Vor% Verbraucherfehler %Vor% Warum erhalte ich den...
13.01.2016, 03:19