Garn achtet nicht auf Garn.nodemanager.resource.cpu-vcores

7

Ich verwende Hadoop-2.4.0 und meine Systemkonfigurationen sind 24 Kerne, 96 GB RAM.

Ich verwende folgende Konfigs

%Vor%

Capacity Scheduler konfiguriert

%Vor%

Mit obigen Konfigurationen erwarte ich, dass Garn nicht mehr als 10 Mapper pro Knoten startet, aber es werden 28 Mapper pro Knoten gestartet. Mache ich etwas falsch?

    
banjara 29.08.2014, 07:42
quelle

1 Antwort

22

YARN führt mehr Container aus als zugewiesene Kerne, da standardmäßig DefaultResourceCalculator wird verwendet. Es berücksichtigt nur Speicher.

%Vor%

Verwenden Sie DominantResourceCalculator, es verwendet sowohl CPU als auch Speicher.

Unter config in capacity-scheduler.xml

festlegen %Vor%

Mehr über DominantResourceCalculator

    
banjara 29.08.2014, 14:46
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Wie kann ich mit Wi-Fi Direct Dateien zwischen Android-Geräten übertragen? [geschlossen]