Festlegen der maximalen Anzahl der gleichzeitig ausgeführten Aufgaben pro Knoten in Hadoop 2.4.0 auf Elastic MapReduce

8

Nach Ссылка , Die Formel zum Bestimmen der Anzahl der gleichzeitig ausgeführten Aufgaben pro Knoten lautet:

%Vor%

Beim Einstellen dieser Parameter auf (für einen Cluster von c3.2xlarges):

garn.nodemanager.resource.memory-mb = 14336

mapreduce.map.memory.mb = 2048

garn.nodemanager.resource.cpu-vcores = 8

mapreduce.map.cpu.vcores = 1,

Ich finde, dass ich nur bis zu 4 Aufgaben gleichzeitig ausführen kann, wenn die Formel 7 lautet. Was ist das Geschäft?

Ich verwende Hadoop 2.4.0 unter AMI 3.1.0.

    
verve 07.08.2014, 22:18
quelle

1 Antwort

1

Meine empirische Formel war falsch. Die von Cloudera bereitgestellte Formel ist die richtige und scheint die erwartete Anzahl gleichzeitig ausgeführter Aufgaben zu bieten, zumindest auf AMI 3.3.1.

    
verve 16.12.2014, 20:36
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset SoapFault - Fehlercode: 'ns1: Unerwarteter Fehler' android SOAP-Aufruf