Wie verbinde ich Master und Slaves in Apache-Spark? (Standalone-Modus)

8

Ich verwende die Spark-Standalone-Modus -Tutorialseite, um Spark im Standalone-Modus zu installieren.

1- Ich habe einen Master von:

gestartet %Vor%

2- Ich habe einen Mitarbeiter von:

gestartet %Vor%

Hinweis: spark://ubuntu:7077 ist mein Master-Name, den ich in Master-WebUI sehen kann.

Problem: Nach dem zweiten Befehl wurde ein Worker erfolgreich gestartet. Aber es konnte nicht mit dem Meister verbinden. Es versucht wiederholt und gibt dann diese Nachricht:

%Vor%

Was ist das Problem?

Danke

    
Omid Ebrahimi 08.02.2015, 20:23
quelle

2 Antworten

12

Ich starte normalerweise von spark-env.sh Vorlage. Und ich setze Eigenschaften, die ich brauche. Für einfache Cluster benötigen Sie:

  • SPARK_MASTER_IP

Erstellen Sie dann eine Datei namens "slaves" im selben Verzeichnis wie spark-env.sh und slaves ip (eins pro Zeile). Stellen Sie sicher, dass Sie alle Slaves über ssh erreichen.

Schließlich kopieren Sie diese Konfiguration in jede Maschine Ihres Clusters. Starten Sie dann den gesamten Cluster, indem Sie das Skript start-all.sh ausführen, und versuchen Sie Spark-Shell, um Ihre Konfiguration zu überprüfen.

%Vor%     
gasparms 08.02.2015, 21:06
quelle
1

Sie können export SPARK_LOCAL_IP="You-IP" #to set the IP address Spark binds to on this node in $SPARK_HOME/conf/spark-env.sh

festlegen     
nikk 24.07.2016 22:55
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Bootstrap, halte div nach dem Scrollen fest