Airflow dynamische Aufgaben zur Laufzeit

8

Andere Fragen zu 'dynamischen Aufgaben' scheinen die dynamische Konstruktion einer DAG zum geplanten Zeitpunkt oder zur Entwurfszeit anzugehen. Ich möchte dynamisch Aufgaben zu einer DAG während der Ausführung hinzufügen.

%Vor%

Diese naive Implementierung scheint nicht zu funktionieren - die Dummy-Aufgaben erscheinen niemals in der Benutzeroberfläche.

Wie fügen Sie der DAG während der Ausführung neue Operatoren hinzu? Ist es möglich?

    
Kirk Broadhurst 02.02.2018, 19:29
quelle

1 Antwort

1

In Bezug auf Ihr Codebeispiel rufen Sie niemals Ihre Funktion auf, die Ihre Aufgaben in Ihrer DAG registriert.

Um eine Art dynamischer Aufgaben zu haben, können Sie einen einzelnen Operator haben, der abhängig von einem Zustand etwas anderes tut, oder Sie können eine Handvoll Operatoren haben, die je nach Status mit einem ShortCircuitOperator übersprungen werden können.

    
Antoine Augusti 05.02.2018 15:53
quelle