Ich versuche, pyspark von meinem Mac auszuführen, um auf einem EC2-Funke-Cluster zu rechnen Wenn ich mich beim Cluster anmelde, funktioniert es wie erwartet:
%Vor%Dann mache eine einfache Aufgabe
%Vor%Funktioniert wie erwartet:
%Vor%Aber jetzt, wenn ich das gleiche von der lokalen Maschine versuche,
%Vor%scheint keine Verbindung zum Cluster herzustellen
%Vor%Ich dachte, das Problem liege in der ec2-Sicherheit, aber es hilft auch nicht, nachdem eingehende Regeln sowohl den Master- als auch den Slave-Sicherheitsgruppen hinzugefügt wurden, um alle Ports zu akzeptieren.
Jede Hilfe wird sehr geschätzt!
Andere stellen dieselbe Frage auf der Mailingliste Ссылка
Das Spark-ec2-Skript konfiguriert den Spark-Cluster in EC2 als Standalone, was bedeutet, dass er nicht mit Remote-Submits arbeiten kann. Ich habe mit dem gleichen Fehler gekämpft, den Sie schon seit Tagen beschrieben haben, bevor Sie herausfinden, dass es nicht unterstützt wird. Der Nachrichtenfehler ist leider falsch.
Sie müssen also Ihre Daten kopieren und sich beim Master anmelden, um Ihre Spark-Aufgabe auszuführen.
Nach meiner Erfahrung bedeutet Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory normalerweise, dass Sie versehentlich die Kerne zu hoch gesetzt haben oder den Executer-Speicher zu hoch setzen - d. h. höher als das, was Ihre Knoten tatsächlich haben.
Andere, weniger wahrscheinliche Ursachen könnten sein, dass Sie die URI falsch verstanden haben und sich nicht wirklich mit dem Master verbinden. Und als ich dieses Problem sah, als die /run Partition 100% war.
Noch unwahrscheinlicher ist, dass Ihr Cluster tatsächlich ausgefallen ist und Sie Ihre Funkenarbeiter neu starten müssen.
Tags und Links amazon-web-services apache-spark amazon-ec2