Ich bin neu zu funken und versuchen, Funke auf Amazon-Cluster mit Version 1.3.1 zu installieren. wenn ich es tue
%Vor%es funktioniert für mich, aber ich kam zu wissen, dass dies für Testzwecke ist, kann ich lokal [2]
setzenWenn ich versucht habe, den Cluster-Modus zu verwenden, habe ich ihn in
geändert %Vor%damit bekomme ich unter Fehler
Versucht, eine Verbindung mit einer nicht erreichbaren Remote-Adresse herzustellen [akka.tcp: // sparkMaster @ localhost: 7077]. Die Adresse wird jetzt für 5000 ms torgesteuert, alle Nachrichten an diese Adresse werden an tote Briefe geliefert. Grund: Verbindung abgelehnt 15/06/10 15:22:21 INFO client.AppClient $ ClientActor: Verbinden mit Master akka.tcp: // sparkMaster @ localhost: 7077 / Benutzer / Master ..
Könnte mir bitte jemand sagen, wie man die Master-URL einstellt.
Wenn Sie die Bootstrap-Aktion von Ссылка verwenden, wird die Konfiguration für Spark eingerichtet auf YARN. Setzen Sie einfach den Master auf yarn-client oder yarn-cluster . Stellen Sie sicher, dass Sie die Anzahl der Executoren mit Speicher und Kernen definieren. Weitere Informationen über Spark auf YARN in Ссылка
Zusatz in Bezug auf Executor-Einstellungen für die Speicher- und Kerngröße:
Sehen Sie sich die standardmäßigen YARN-Knotenmanagerkonfigurationen für jeden Typ unter Ссылка an , insbesondere yarn.scheduler.maximum-allocation-mb . Sie können die Anzahl der Kerne aus der grundlegenden EC2-Info-URL ermitteln ( Ссылка ). Die maximale Größe des Executor-Speichers muss innerhalb der maximalen Zuweisung weniger Spark Overhead und in Schritten von 256 MB passen. Eine gute Beschreibung dieser Berechnung ist Ссылка . Vergessen Sie nicht, dass etwas mehr als die Hälfte des Executor-Speichers für den RDD-Cache verwendet werden kann.
Tags und Links apache-spark amazon-emr spark-streaming