In spark-env.sh ist es möglich, die folgenden Umgebungsvariablen zu konfigurieren:
%Vor%Wenn ich einen eigenständigen Cluster damit starte:
%Vor%Ich kann auf der Webseite von Spark Master UI sehen, dass alle Arbeiter mit nur 3 GB RAM beginnen:
%Vor%Allerdings habe ich 22g als SPARK_WORKER_MEMORY in spark-env.sh angegeben
Ich bin etwas verwirrt. Wahrscheinlich verstehe ich den Unterschied zwischen "Knoten" und "Arbeiter" nicht.
Kann jemand den Unterschied zwischen den zwei Speichereinstellungen erklären und was ich möglicherweise falsch gemacht habe?
Ich benutze Spark-0.7.0. Siehe auch hier für weitere Konfigurationsinformationen.
Ein eigenständiger Cluster kann mehrere Spark-Cluster hosten (jeder "Cluster" ist an einen bestimmten SparkContext gebunden). d. h. Sie können einen Cluster mit kmeans, einen Cluster mit Shark und einen anderen mit interaktivem Data Mining betreiben.
In diesem Fall ist die 22 GB die Gesamtspeichermenge, die Sie dem eigenständigen Spark-Cluster zugewiesen haben, und Ihre bestimmte Instanz von SparkContext verwendet 3 GB pro Knoten. So können Sie 6 weitere SparkContexts mit bis zu 21 GB erstellen.
Tags und Links scala mapreduce apache-spark