Wir versuchen, Apache Storm für die Verarbeitung einer großen Anzahl (gefälschter) Nachrichten zu verwenden. Nachrichtenbeispiel:
%Vor%Wir verwenden Apache Kafka als Nachrichtenquelle für unseren Storm-Cluster. Unser Ziel ist es, mindestens 50k msg / s / Knoten verarbeiten zu können. Wenn wir mehr als einen Knoten verwenden, bleiben wir ständig bei dem Fehler (Log-Snippet ist von worker - *. Log):
%Vor%Unsere aktuelle Sturmkonfiguration:
%Vor%Unsere Sturmtopologie:
%Vor%Wir verwenden AWS c3.2x große Maschinen, Apache Storm 0.9.2-Inkubation, Apache Kafka 2.9.2-0.8.1.1.
Testen Sie Ping und Telnet: Stellen Sie sicher, dass jede Maschine, die Sturm läuft, eine Verbindung zu allen anderen Maschinen mit Ping hat (alle Arbeiter, Nimbus und Tierpfleger). Versuchen Sie, über IP, Hostname und FQDN zu pingen, und wenn es nicht funktioniert, bearbeiten Sie die Hosts (/ etc / hosts) Dateien so.
auch telnet die Maschinen, um offene Ports in storm.yaml (6701, 6702) zu überprüfen. Zoowärter (2181).
In meiner getesteten Umgebung funktionieren die storm.yaml-Einstellungen mit den folgenden Einstellungen:
%Vor%Versuchen Sie zuerst, die Last hinzuzufügen und dann die Topologie zu starten, es passiert mehrmals mit mir, da das Thema neu war und die Last fehlte.
Tags und Links apache-storm netty apache-kafka