Welcher Unterschied besteht zwischen dem Ausführen eines Map-Reduce-Jobs mit dem Befehl hadoop und java?

9

Finden Sie viele Optionen zum Ausführen eines Map-Reduce-Programms. Kann irgendjemand Unterschiede zwischen Thesen unter Befehlen erklären? Und welche Auswirkungen hat Map-reduce auf den Job?

%Vor%

In diesem Befehl welcher der beste oder der andere in jedem?

Kann die Konfiguration so vornehmen, dass alle Informationen über den Job unter Verwendung von Garn und Jobverlauf (wie Hadoop- und Garnbefehl anzeigen) im Webdienst normal angezeigt werden, indem der Port für den Webservice 8088 (YARN) auf dem unteren Befehl verwendet wird?

%Vor%     
Tinku 07.08.2014, 10:28
quelle

2 Antworten

3

Keiner von ihnen ist besser als der andere. Wenn Sie den Befehl java -jar ausführen, entspricht dies genau dem Ausführen einer nicht Hadoop-Anwendung. Wenn Sie hadoop jar oder yarn jar verwenden, werden die Skripte /usr/bin/hadoop und /usr/bin/yarn zum Einrichten der Umgebung verwendet.

Wenn Sie keine der Skripts geändert haben, um zusätzliche Variablen einzurichten, sollten die drei gleich funktionieren.

    
Balduz 07.08.2014, 11:52
quelle
1

Die Optionen haben ihre eigenen Spezifikationen:

%Vor%

Das obige erwartet, dass alle Hadoop-Jars im Klassenpfad des Jars definiert sind.

im Falle von

%Vor%

Die obigen jars werden ausgeführt, indem die in $ HADOOP_CLASSPATH vordefinierten JAR-Dateien abgerufen werden.

    
K S Nidhin 07.08.2014 12:06
quelle

Tags und Links