Funke-Submit mit --master yarn-cluster laufen lassen: Problem mit Funke-Baugruppe

8

Ich führe Spark 1.1.0, HDP 2.1, auf einem kerberisierten Cluster aus. Ich kann Spark-Submit erfolgreich ausführen, indem ich --master yarn-client verwende und die Ergebnisse korrekt in HDFS geschrieben werden. Der Job wird jedoch nicht auf der Hadoop All Applications-Seite angezeigt. Ich möchte mit "--master yarn-cluster" spark-submit ausführen, bekomme aber weiterhin diesen Fehler:

%Vor%

Ich habe meinen Account mit Zugriff auf den Cluster bereitgestellt. Ich habe garn-site.xml konfiguriert. Ich habe gelöscht.sparkStaging. Ich habe versucht, --jars [Pfad zu meiner Funkenbaugruppe in spark / lib] zu verwenden. Ich habe diese Frage Das ist sehr ähnlich, aber unbeantwortet. Ich kann nicht sagen, ob dies ein 2.1-Problem, Spark 1.1.0, kerberisierter Cluster, Konfigurationen oder was ist. Jede Hilfe würde sehr geschätzt werden.

    
jackar 18.12.2014, 22:59
quelle

1 Antwort

11

Dies liegt wahrscheinlich daran, dass Sie sparkConf.setMaster("local[n]") im Code gelassen haben.

    
bhomass 25.06.2015, 23:10
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset So erstellen Sie ein benutzerdefiniertes Sperrbildschirm-Widget (ich möchte nur eine Schaltfläche anzeigen)