Ich weiß, dass ich SparkConf.set('spark.app.name',...)
um appName
vor zu setzen, um SparkContext
zu erstellen.
Ich möchte jedoch den Namen der Anwendung ändern, wenn sie fortschreitet, d. h. nachdem SparkContext
erstellt wurde.
Leider ändert sc.appName
nicht, wie der Job von yarn application -list
.
Gibt es einen Weg?
Dies ist nicht möglich: Jede Aktualisierung auf sparkConf
, einschließlich spark.app.name
, wird nur berücksichtigt, bevor die Instanz von SparkConf verwendet wird, um einen SparkContext zu installieren:
Beachten Sie, dass sobald ein SparkConf-Objekt an Spark übergeben wird, es geklont wird und nicht mehr vom Benutzer geändert werden kann. Spark unterstützt nicht die Änderung der Konfiguration zur Laufzeit.
Tags und Links apache-spark pyspark