Führen Airflow und Nifi die gleichen Aufgaben für Arbeitsabläufe aus? Was sind die Vorteile für jeden? Ich muss einige JSON-Dateien lesen, weitere benutzerdefinierte Metadaten hinzufügen und sie zur Verarbeitung in eine Kafka-Warteschlange stellen. Ich konnte es in Nifi machen. Ich arbeite immer noch an Airflow. Ich versuche die beste Workflow-Engine für mein Projekt auszuwählen Vielen Dank!
Für einen großartigen Überblick über Airflow und Apache NiFi checkle diesen reddit Beitrag: Ссылка
Für Ihren speziellen Anwendungsfall der Aufnahme von JSON-Dateien, deren Anreicherung und Weiterleitung an Kafka glaube ich, dass NiFi das richtige Werkzeug für den Job ist. Ein paar Prozessoren, die Sie möglicherweise verwenden könnten, sowie die Dokumentation für jeden, sind unten:
GetFile: Ссылка
JoltTransformJSON: Ссылка
PublishKafka (oder PublishKafka_0_10 abhängig von Ihrer Version): Ссылка
Tags und Links python airflow apache-nifi