Ich versuche eine einfache Ausführung des SparkPi-Beispiels auszuführen. Ich habe den Master und einen Worker gestartet, dann habe ich den Job auf meinem lokalen "Cluster" ausgeführt, aber am Ende habe ich eine Reihe von Fehlern bekommen, die alle mit
enden %Vor%Ich habe ursprünglich versucht, meinen Master und den Worker ohne Konfiguration auszuführen, endete aber mit demselben Fehler. Ich habe versucht, zu 127.0.0.1 zu wechseln, um zu testen, ob es vielleicht nur ein Firewall-Problem war, da der Server von der Außenwelt gesperrt ist.
Mein conf/spark-conf.sh enthält Folgendes:
Hier ist die Reihenfolge und die Befehle, die ich ausführe:
1) sbin/start-master.sh (um den Master zu starten)
2) bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 --ip 127.0.0.1 --port 1111 (in einer anderen Sitzung auf demselben Rechner, um den Slave zu starten)
3) bin/run-example org.apache.spark.examples.SparkPi spark://127.0.0.1:7077 (in einer anderen Sitzung auf demselben Rechner, um den Job zu starten)
Ich kann kaum glauben, dass ich genug abgesperrt bin, dass das lokale Ausführen Probleme verursachen könnte.
Es sieht so aus, als sollten Sie SPARK_MASTER_IP nicht auf eine Loopback-Adresse 127.0.0.1 setzen. Der Worker-Knoten kann keine Verbindung zum MASTER-Knoten mit einer Loopback-Adresse herstellen.
Sie müssen es in conf / spark-env.sh auf eine gültige lokale IP-Adresse (zB 192.168.0.2) setzen und die IP des Arbeiters in der Konfigurationsdatei conf / slaves sowohl in MASTER als auch im WORKER-Knoten hinzufügen.
>Dann können Sie den Cluster mit sbin / start-all.sh starten.
Und dann führe "bin / run-example org.apache.spark.examples.SparkPi"
ausTags und Links apache-spark