Ich beginne gerade mit Apache Kafka / Zookeeper und habe Probleme beim Einrichten eines Clusters in AWS. Derzeit habe ich drei Server:
Ein laufender Zookeeper und zwei laufende Kafka.
Ich kann die Kafka Server ohne Probleme starten und kann Themen für beide erstellen. Das Problem tritt jedoch auf, wenn ich versuche, auf der einen Maschine einen Producer und auf der anderen einen Consumer zu starten:
beim Kafka-Produzenten:
%Vor%beim Kafka-Verbraucher:
%Vor%Ich tippe eine Nachricht auf den Produzenten ("hi") und nichts passiert für eine Weile. Dann bekomme ich diese Nachricht:
%Vor%Auf der Verbraucherseite bekomme ich diese Nachricht, die sich periodisch wiederholt:
%Vor%Nach einer Weile beginnt der Produzent dann, diese Fehlermeldung schnell zu werfen, wobei # schrittweise erhöht wird:
%Vor%Ich bin mir nicht sicher, wo ich von hier aus hingehen soll. Lassen Sie mich wissen, wenn mehr Details über meine Konfigurationsdateien benötigt werden
Dies war ein Konfigurationsproblem.
Um es zum Laufen zu bringen, mussten einige Änderungen an config Dateien vorgenommen werden:
In config/server.properties auf jedem Kafka-Server:
host.name: <Public IP> advertised.host.name: <AWS Public DNS Address> In config/producer.properties auf jedem Kafka-Server:
metadata.broker.list: <Producer Server advertised.host.name>:<Producer Server port>,<Consumer Server advertised.host.name>:<Consumer Server port> Ändern Sie in / etc / hosts auf jedem Kafka-Server 127.0.0.1 localhost localhost.localdomain in:
Tags und Links java amazon-web-services apache-kafka apache-zookeeper