Druid wird sowohl für die Echtzeit- als auch für die Stapelverarbeitung verwendet. Aber kann es Hadoop völlig ersetzen? Wenn nicht warum? Was ist der Vorteil von Hadoop gegenüber Druiden? Ich habe gelesen, dass Druide zusammen mit Hadoop verwendet wird. Kann die Verwendung von Hadoop vermieden werden?
Wir sprechen hier über zwei leicht verwandte, aber sehr unterschiedliche Technologien.
Druid ist ein Echtzeit-Analysesystem und eignet sich perfekt für Zeitreihen und zeitbasierte Ereignisaggregation.
Hadoop ist HDFS (ein verteiltes Dateisystem) + Map Reduce (ein Paradigma zur Ausführung verteilter Prozesse), die zusammen ein Ökosystem für die verteilte Verarbeitung geschaffen haben und für viele andere Open-Source-Projekte als grundlegende / beeinflussende Technologie dienen.
Du kannst Druiden so einstellen, dass sie Hadoop verwenden; Das heißt, MR-Jobs werden zum Indexieren von Batch-Daten und zum Lesen der indizierten Daten von HDFS (natürlich werden sie lokal auf der lokalen Festplatte zwischengespeichert)
Wenn Sie Hadoop ignorieren möchten, können Sie auch von einem lokalen Computer aus indizieren und laden, natürlich mit dem Nachteil, dass Sie auf einen einzigen Computer beschränkt sind.
Kannst du Hadoop mit Druid vermeiden? Ja, Sie können Daten in Echtzeit in einen Druid-Cluster streamen, statt sie mit Hadoop zu laden. Eine Möglichkeit besteht darin, Daten in Kafka zu streamen, die eingehende Ereignisse verarbeiten und an Storm , die sie dann in Druid Realtime-Knoten verarbeiten und laden kann.
In der Regel wird dieses Setup parallel mit Hadoop verwendet, da gestreamte Echtzeitdaten mit eigenem Gepäck geliefert werden und häufig repariert und wieder aufgefüllt werden müssen. Diese ganze Architektur wurde von einigen als "Lambda" bezeichnet.