Hadoop-DFS-Berechtigungsproblem beim Ausführen eines Jobs

8

Ich erhalte den folgenden Berechtigungsfehler und bin mir nicht sicher, warum Hadoop versucht, in diesen speziellen Ordner zu schreiben:

%Vor%

Irgendeine Idee, warum es versucht, in die Wurzel meiner hdfs zu schreiben?

Update: Nachdem ich hdfs root (/) vorübergehend auf 777 Berechtigungen gesetzt habe, habe ich gesehen, dass ein "/ tmp" -Ordner geschrieben wird. Ich denke, eine Option besteht darin, einfach einen Ordner "/ tmp" mit offenen Berechtigungen zu erstellen, auf den alle schreiben können. Aus Sicherheitsgründen wäre es jedoch schön, wenn dies stattdessen in den Benutzerordner geschrieben wird (dh / user / myuser / tmp).

    
Dolan Antenucci 08.09.2011, 17:12
quelle

4 Antworten

15

Ich konnte das mit der folgenden Einstellung arbeiten:

%Vor%

Neustart des Jobtracker-Dienstes erforderlich (besonderer Dank an Jeff auf der Hadoop-Mailingliste, die mir hilft, das Problem aufzuspüren!)

    
Dolan Antenucci 09.09.2011, 19:58
quelle
1

1) Erstellen Sie das Verzeichnis {mapred.system} / mapred in hdfs mit dem folgenden Befehl

%Vor%

2) Erteilen Sie maptred user die Berechtigung

%Vor%     
minhas23 16.02.2015 09:37
quelle
0

Sie können auch einen neuen Benutzer namens "hdfs" anlegen. Ganz einfache Lösung, aber wahrscheinlich nicht so sauber.

Dies ist natürlich der Fall, wenn Sie den Hue mit Cloudera Hadoop Manager (CDH3) verwenden

    
Highmastdon 23.01.2012 15:11
quelle
0

Sie müssen die Berechtigung für das Hadoop-Stammverzeichnis (/) festlegen, anstatt die Berechtigung für das Stammverzeichnis des Systems festzulegen. Sogar ich war verwirrt, aber dann wurde mir klar, dass das erwähnte Verzeichnis das Dateisystem von hadoop war und nicht das des Systems.

    
divinedragon 09.04.2012 14:19
quelle

Tags und Links