Kann ich SparkContext.appName im laufenden Betrieb ändern?

9

Ich weiß, dass ich SparkConf.set('spark.app.name',...) um appName vor zu setzen, um SparkContext zu erstellen.

Ich möchte jedoch den Namen der Anwendung ändern, wenn sie fortschreitet, d. h. nachdem SparkContext erstellt wurde.

Leider ändert sc.appName nicht, wie der Job von yarn application -list .

Gibt es einen Weg?

    
sds 10.06.2015, 18:48
quelle

1 Antwort

13

Dies ist nicht möglich: Jede Aktualisierung auf sparkConf , einschließlich spark.app.name , wird nur berücksichtigt, bevor die Instanz von SparkConf verwendet wird, um einen SparkContext zu installieren:

  

Beachten Sie, dass sobald ein SparkConf-Objekt an Spark übergeben wird, es geklont wird und nicht mehr vom Benutzer geändert werden kann. Spark unterstützt nicht die Änderung der Konfiguration zur Laufzeit.

Ссылка

    
Svend 10.06.2015, 18:59
quelle

Tags und Links