yarn, Seitenzahl 3

YARN (Yet Another Resource Negotiator) ist eine Schlüsselkomponente der Apache Hadoop-Infrastruktur der zweiten Generation. Verwenden Sie DIESE NICHT für den JavaScript / Node.js Garn-Paket-Manager (verwenden Sie stattdessen [yarnpkg])! Ursprünglich von Apache als neugestalteter Ressourcenmanager beschrieben, wird YARN jetzt als großräumiges, verteiltes Betriebssystem für Big-Data-Anwendungen einschließlich MapReduce (MR2) der nächsten Generation charakterisiert.

Antwort

Garn achtet nicht auf Garn.nodemanager.resource.cpu-vcores

Ich verwende Hadoop-2.4.0 und meine Systemkonfigurationen sind 24 Kerne, 96 GB RAM. Ich verwende folgende Konfigs %Vor% Capacity Scheduler konfiguriert %Vor% Mit obigen Konfigurationen erwarte ich, dass Garn nicht mehr als 10 Mappe...

29.08.2014, 07:42

Antwort

Pyspark auf Garn-Cluster-Modus

Gibt es eine Möglichkeit, pyspark-Skripte mit dem Garn-Cluster-Modus auszuführen, ohne das Spark-Submit-Skript zu verwenden? Ich brauche es auf diese Weise, weil ich diesen Code in eine Django Web App integrieren werde. Wenn ich versuche, irg...

09.07.2015, 20:11