Ich lerne Spark bei AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-Executor) und Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand sagen?
Auch wenn ich versuche, den folgenden Job einzureichen, erhalte ich einen Fehler:
%Vor%Anzahl der Ausführenden ist die Anzahl der verschiedenen Garnbehälter (think processes / JVMs), die Ihre Anwendung ausführen.
Anzahl der Executor-Kerne ist die Anzahl der Threads, die Sie in jedem Executor (Container) erhalten.
Die Parallelität (Anzahl der gleichzeitig laufenden Threads / Aufgaben) Ihrer Spark-Anwendung ist #executors X #executor-cores . Wenn Sie 10 Executoren und 5 Executor-Cores haben, werden (hoffentlich) 50 Tasks gleichzeitig ausgeführt.
Tags und Links apache-spark yarn emr