Hadoop 2.6 Herstellen einer Verbindung mit ResourceManager unter /0.0.0.0:8032

Question

Hadoop 2.6 Herstellen einer Verbindung mit ResourceManager unter /0.0.0.0:8032

9

Ich versuche, das folgende Spark-Beispiel unter Hadoop 2.6 auszuführen, aber ich erhalte den folgenden Fehler:

INFO RMProxy: Verbindung zum ResourceManager unter /0.0.0.0:8032 und der Client tritt in eine Schleife ein, um eine Verbindung herzustellen. Ich betreibe eine Gruppe von zwei Maschinen, einen Master und einen Slave.

%Vor%

Das ist der Fehler, den ich bekomme:

%Vor%

jps

hususer @ master: / usr / local / spark $ jps

%Vor%

Mein / etc / host /

%Vor%

Die folgenden Zeilen sind für IPv6-fähige Hosts wünschenswert.

%Vor%

java hadoop apache-spark resourcemanager

Jose Antonio 06.12.2015, 13:32

quelle

7 Antworten

Tags und Links java hadoop apache-spark resourcemanager

Django: Verwenden von Annotate, Count und Distinct in einem Queryset kann nicht app.local zu einer Routing-Datei abrufen

score 1 · Answer 1

1

Dieser Fehler tritt hauptsächlich dann auf, wenn der Hostname nicht korrekt konfiguriert wurde ... Bitte überprüfen Sie, ob der Hostname richtig konfiguriert ist und der gleiche wie für den Resourymanager ...

Naruto 06.12.2015 13:36

quelle

score 1 · Answer 2

1

Ich hatte das gleiche Problem. Ich habe es gelöst.

Führen Sie die folgenden Schritte aus.

Starten Sie Yarn mit dem Befehl: start-yarn.sh
Überprüfen Sie den Ressourcenmanager mit dem Befehl: jps
Fügen Sie der Konfiguration den folgenden Code hinzu

%Vor%

sunanda 10.04.2016 22:08

quelle

score 0 · Answer 3

Ich war auch auf das gleiche Problem gestoßen, wo ich den Funkenjob nicht mit einer Funkenabgabe vorlegen konnte.

Das Problem war auf den fehlenden HADOOP_CONF_DIR-Pfad zurückzuführen, während der Spark-Job gestartet wurde. Wenn Sie also den Job übergeben, legen Sie HADOOP_CONF_DIR auf das entsprechende HADOOP CONF-Verzeichnis fest. Wie export HADOOP_CONF_DIR = / etc / hadoop / conf

score 0 · Answer 4

0

Sie müssen sicherstellen, dass sich die Seite "yarn-site.xml" im Klassenpfad befindet und sicherstellen, dass die relevanten Eigenschaften mit "true" gekennzeichnet sind.

DroneAB 17.03.2017 08:54

quelle

score 0 · Answer 5

0

Ein ähnlicher Export HADOOP_CONF_DIR = / etc / hadoop / conf war eine gute Idee für meinen Fall in flink on yarn, wenn ich ./bin/yarn-session.sh -n 2 -tm 2000 laufe.

Matiji66 24.05.2017 10:48

quelle

score 0 · Answer 6

Wie Sie hier sehen können yarn.resourcemanager.address wird basierend auf yarn.resourcemanager.hostname berechnet, dessen Standardwert auf 0.0.0.0 festgelegt ist. Also solltest du es richtig konfigurieren.
Bearbeiten Sie von der Basis der Hadoop-Installation aus die etc/hadoop/yarn-site.xml -Datei und fügen Sie diese Eigenschaft hinzu.

%Vor%

Wenn Sie start-yarn.sh erneut ausführen, werden Ihre neuen Einstellungen wirksam.

score 0 · Answer 7

Ich habe das gleiche Problem. Meine Ursache ist, dass die Zeiten zwischen Maschinen nicht übereinstimmen, da mein Ressourcenmanager nicht auf dem Mastercomputer ist. Ein Unterschied von nur einer Sekunde kann ein Problem mit der Garnverbindung verursachen. Ein Unterschied von einigen Sekunden kann dazu führen, dass der Knoten und der Datumsknoten nicht mehr gestartet werden können. Verwenden Sie ntpd, um die Zeitsynchronisierung zu konfigurieren, um sicherzustellen, dass die Zeiten genau übereinstimmen.