Ich habe Funke Standalone auf einer Gruppe von Clustern installiert. Und ich habe versucht, Cluster über das Clusterstart-Skript zu starten. Ich habe die IP-Adresse des Clusters in die Datei conf / slaves hinzugefügt. Der Master verbindet sich über passwortloses SSH mit allen Slaves.
Nach dem Ausführen von ./bin/start-slaves.sh script erhalte ich folgende Meldung:
Starten Sie org.apache.spark.deploy.worker.Worker und melden Sie sich in /root/spark-0.8.0-incubating/bin/../logs/spark-root-org.apache.spark.deploy.worker an. Worker-1-jbosttest2.out
Aber die WebUI des Masters (localhost: 8080) zeigt keine Informationen über den Arbeiter an. Aber wenn ich localhost-Eintrag in meine Datei conf / slaves hinzufüge, wird die Worker-Information von localhost angezeigt.
Es gibt keine Fehlermeldungen, die Nachricht am Terminal sagt, dass der Arbeiter gestartet wurde, aber die WebUI zeigt keine Arbeiter an.
Ich hatte das gleiche Problem. Mir ist aufgefallen, wenn ich keinen Telnet-Master habe: Port von den Slaves. In meiner etc / hosts Datei (auf Master) hatte ich einen 127.0.0.1 Mastereintrag (vor meinem 192.168.0.x Master). Wenn ich den Eintrag 127.0.0.1 aus meiner etc / hosts-Datei entfernte, konnte ich telnet und wenn ich start-slaves.sh (vom Master) meine Slaves verbunden
Wenn Sie den Cluster ausführen, überprüfen Sie den Befehl $jps in Worker-Knoten, ob er korrekt ausgeführt wurde, und prüfen Sie ihn in den Protokollen mit der PID des Arbeiters.
oder
legen Sie Folgendes fest: Führen Sie den Cluster aus und prüfen Sie, ob die Ports mit Ihren konfigurierten Ports verfügbar sind oder nicht
%Vor%überprüfen Sie Ihre / etc / hosts und sehen Sie die Bindungen für Master
Wenn Ihr Master sowohl an localhost als auch an die IP-Adresse gebunden ist (zB 192.168.x.x), entfernen Sie localhost. Wenn Sie einen intakten Master des lokalen Hosts haben, wird dieser auf localhost gemapped, was es den Slaves nicht erlaubt, sich mit der Master-IP-Adresse zu verbinden
Tags und Links apache-spark