airflow, Seitenzahl 1

Airflow ist eine Workflow-Management-Plattform zum programmatischen Erstellen, Planen und Überwachen von Workflows als gerichtete azyklische Grafiken (DAGs) von Aufgaben.

Antworten

Airflow ignoriert das Ressourcenpool-Flag beim Verfüllen

Befehl: %Vor% Alle Aufgaben werden in eine Warteschlange gestellt und alle beginnen zu laufen. Die maximale Kapazität wird im Wesentlichen ignoriert.

16.12.2016, 03:40

Antwort

Wie man eine fehlgeschlagene Aufgabe in Airflow neu startet

Ich verwende einen LocalExecutor und mein dag hat 3 Aufgaben , wobei Aufgabe (C) von Aufgabe (A) abhängig ist. Aufgabe (B) und Aufgabe (A) können parallel wie folgt ausgeführt werden: A - & gt; C B So war Aufgabe (A) fehlgeschlagen...

07.04.2017, 06:08

Antworten

Wie starte ich den Airflow-Webserver?

Ich verwende den Luftstrom für mein Datenpipeline-Projekt. Ich habe mein Projekt im Luftstrom konfiguriert und starte den Luftstromserver als Backend-Prozess mit dem folgenden Befehl %Vor% Server läuft erfolgreich im Backend. Jetzt möchte ic...

22.08.2016, 07:19

Antworten

Airflow dynamische DAG und Task-IDs

Ich sehe Airflow hauptsächlich für ETL- / Bid-Daten-bezogene Jobs. Ich versuche, es für Business-Workflows zu verwenden, in denen eine Benutzeraktion in Zukunft eine Reihe abhängiger Aufgaben auslöst. Einige dieser Aufgaben müssen möglicherweise...

24.08.2016, 21:34

Antworten

Wie installiere ich den Luftstrom?

Ich mache anscheinend etwas. falsch. Ссылка %Vor% Python --Version Python 2.7.10 Es wird - die Installation schien gut zu funktionieren (mit einigen Warnungen - nichts Ernstes): Luftstrom, Kolben usw. erfolgreich installiert....

05.05.2016, 10:59

Antwort

Airbnb Airflow vs Apache Nifi [geschlossen]

Führen Airflow und Nifi die gleichen Aufgaben für Arbeitsabläufe aus? Was sind die Vorteile für jeden? Ich muss einige JSON-Dateien lesen, weitere benutzerdefinierte Metadaten hinzufügen und sie zur Verarbeitung in eine Kafka-Warteschlange stell...

08.09.2016, 19:46

Antworten

Airflow plant nicht richtig Python

Code: Python-Version 2.7.x und Luftstromversion 1.5.1 mein dag-Skript ist das %Vor% Davon konnte ich sehen, dass ich eine DAG mit 6 Aufgaben erstelle, wobei die erste Aufgabe (Start1) zuerst startet, nach der alle anderen fünf Aufg...

14.10.2015, 13:06

Antwort

So stoppen / beenden Sie Airflow-Aufgaben über die Benutzeroberfläche

Wie kann ich eine laufende Aufgabe auf der Airflow-Benutzeroberfläche stoppen / beenden? Ich verwende LocalExecutor . Auch wenn ich CeleryExecutor verwende, wie kann ich die laufende Aufgabe beenden / beenden?

26.04.2017, 10:33

Antworten

Airbnb Airflow mit allen Systemressourcen

Wir haben Airbnb / Apache Airflow für unseren ETL mit LocalExecutor eingerichtet. Nachdem wir angefangen haben, komplexere DAGs zu erstellen, haben wir festgestellt, dass Airflow unglaubliche Mengen an Systemressourcen verbraucht. Dies ist fü...

23.02.2017, 15:26

Antwort

Airflow dynamische Aufgaben zur Laufzeit

Andere Fragen zu 'dynamischen Aufgaben' scheinen die dynamische Konstruktion einer DAG zum geplanten Zeitpunkt oder zur Entwurfszeit anzugehen. Ich möchte dynamisch Aufgaben zu einer DAG während der Ausführung hinzufügen. %Vor% Diese naive I...

02.02.2018, 19:29