apache-kafka

Apache Kafka ist eine verteilte Streaming-Plattform zur Speicherung und Verarbeitung von Datenströmen mit hohem Durchsatz.
1
Antwort

Wie kann man die langsame Leistung von reaktiven Kafka (Scala plus Akka Streams) verbessern?

Ich bewege mein Projekt von RabbitMQ nach Kafka und versuche zu verstehen, wie schnell reaktives Kafka sein wird. Ich bin derzeit in der Lage, etwa 12K / sec triviale Nachrichten / Sek. in Rabbit zu schreiben, und beim Lesen einen trivialen P...
29.03.2016, 19:13
3
Antworten

Entfernen einer Kafka-Konsumentengruppe im Tierpfleger

Ich benutze kafka_2.9.2-0.8.1.1 mit dem Tierpfleger 3.4.6. Gibt es ein Dienstprogramm, das eine Verbrauchergruppe automatisch aus dem Zoowächter entfernen kann? Oder kann ich einfach alles unter / consumers / [group_id] in zookee entfernen? W...
24.03.2015, 22:15
1
Antwort

konfluente Plattform vs Apache kafka [geschlossen]

Ich bin neu bei Kafka. Und neugierig auf konfluente Plattform. es scheint nicht viel konfluente Plattform User Story existiert. Gibt konfluente Plattform viel mehr Wert als nur Kafka? Oder kann mir jemand sagen, welchen Sie am liebsten?...
26.09.2016, 12:50
2
Antworten

Offsets in Zookeeper oder Kafka gespeichert?

Ich bin ein wenig verwirrt darüber, wo Offsets gespeichert sind, wenn man Kafka und Zookeeper benutzt. Offsets scheinen in manchen Fällen in Zookeeper gespeichert zu sein, in anderen Fällen sind sie in Kafka gespeichert. Was bestimmt, ob der...
14.12.2016, 07:46
2
Antworten

Kafka Streaming Concurrency?

Ich habe einen grundlegenden Kafka-Streaming-Code, der Datensätze von einem Thema liest, etwas verarbeitet und Datensätze zu einem anderen Thema ausgibt. Wie geht Kafka Streaming mit Nebenläufigkeit um? Läuft alles in einem einzigen Thread? I...
11.10.2016, 19:20
3
Antworten

Wie bekomme ich den LETZTEN Offset eines Kafka-Themas?

Ich schreibe einen kafka consumer mit Java. Ich möchte die Echtzeit der Nachricht beibehalten. Wenn also zu viele Nachrichten auf den Konsum warten, wie beispielsweise 1000 oder mehr, sollte ich die nicht verbrauchten Nachrichten aufgeben und...
18.07.2016, 03:31
5
Antworten

Ist kafka consumer 0.9 abwärtskompatibel?

Wird der kommende kafka consumer 0.9.x mit dem 0.8 broker kompatibel sein? Mit anderen Worten - es ist nur möglich, zu einer neuen Verbraucher-Implementierung zu wechseln, ohne etwas anderes zu berühren?     
19.11.2015, 19:15
1
Antwort

Was sind die Themen __consumer_offsets und _schema in Kafka?

Nach dem Einrichten des Kafka Broker Clusters und dem Erstellen einiger Themen haben wir festgestellt, dass die folgenden zwei Themen automatisch von Kafka erstellt wurden: __ consumer_offsets _schema Was ist die Bedeutung und Verwendun...
16.09.2016, 10:42
2
Antworten

Wie entscheidet man Kafka Clustergröße?

Ich plane zu entscheiden, wie viele Knoten in Kafka Cluster vorhanden sein sollen. Ich bin mir nicht sicher über die zu berücksichtigenden Parameter. Ich bin sicher, es muss & gt; = 3 sein (mit einem Replikationsfaktor von 2 und einer Fehlertole...
13.01.2015, 13:05
3
Antworten

Simple Kafka Consumer Beispiel funktioniert nicht

Ich habe eine einfache Klasse, um Nachrichten von einem Kafka-Server zu konsumieren. Die meisten Codes werden aus den Kommentaren von org.apache.kafka.clients.consumer.KafkaConsumer.java kopiert. %Vor% Ich benutze 'org.apache.kafka: kafka-cl...
31.07.2015, 11:59