Ich weiß, dass ich SparkConf.set('spark.app.name',...) um appName vor zu setzen, um SparkContext zu erstellen.
Ich möchte jedoch den Namen der Anwendung ändern, wenn sie fortschreitet, d. h. nachdem SparkContext erstellt wurde.
Leider ändert sc.appName nicht, wie der Job von yarn application -list .
Gibt es einen Weg?
Dies ist nicht möglich: Jede Aktualisierung auf sparkConf , einschließlich spark.app.name , wird nur berücksichtigt, bevor die Instanz von SparkConf verwendet wird, um einen SparkContext zu installieren:
Beachten Sie, dass sobald ein SparkConf-Objekt an Spark übergeben wird, es geklont wird und nicht mehr vom Benutzer geändert werden kann. Spark unterstützt nicht die Änderung der Konfiguration zur Laufzeit.
Tags und Links apache-spark pyspark