Airflow ignoriert das Ressourcenpool-Flag beim Verfüllen
2 Antworten
Soweit ich weiß, ist Pool-Überbelegung in Version 1.7.1.3 (neueste stabile Version) ein bekanntes Problem. Darüber hinaus berücksichtigt der Airflow-Backfill-Job-Runner keine Pool-Constraints - nur der Scheduler tut dies, und der Scheduler plant keine Hinterfüllungen. Ich denke, dass sich diese in der nächsten Version ändern sollten - nicht sicher, aber.
Unter der aktuellen Version ist 1.7.1.3 backfilling meiner Erfahrung nach fast immer eine schlechte Idee. Der Scheduler kann am Ende mit dem Backfill-Job kämpfen, der hinterlegte DAG kann in ungerade Zustände geraten und die Dinge im Allgemeinen in einer rauchenden Ruine belassen.
Im Allgemeinen habe ich mehr Erfolg dadurch, dass ich sicherstelle, dass meine Jobs sich gut auf die Worker verteilen und in einer vernünftigen Zeit abschließen und dem Scheduler und der Task start_date vertrauen, um die Aufgabe bis zum Abschluss zu erledigen.
Diese oben tut endet mit einer ziemlich schrecklichen Überzeichnung der Anzahl der DAG-Läufe ... und der Scheduler neigt dazu, zu würgen, wenn er das Konfigurationslimit überschritten hat. Die Lösung: Das Konfigurationslimit für DAG-Läufe wird vorübergehend aufgehoben. Der Scheduler und der Executor werden in der Regel gut zusammenarbeiten, um sicherzustellen, dass Sie nicht zu viele Jobs gleichzeitig ausführen.
Tags und Links airflow