Kombinieren Sie Ergebnisse aus Batch-RDD mit Streaming-RDD in Apache Spark

Kontext: Ich verwende Apache Spark, um eine laufende Anzahl verschiedener Ereignistypen aus Protokollen zu aggregieren. Die Protokolle werden sowohl in Cassandra für historische Analysezwecke als auch in Kafka für Echtzeitanalysezwecke gespeichert. Jedes Protokoll hat einen Datums- und Ereignistyp. Aus Gründen der Einfachheit nehmen wir an, ich wollte die Anzahl der Protokolle eines einzelnen Typs für jeden Tag verfolgen.

Wir haben zwei RDDs, eine RDD von Batch-Daten von Cassandra und eine weitere Streaming-RDD von Kafka. Pseudocode:

Frage: Wie kombiniere ich die Ergebnisse von streamRDD mit dem BatchRDD? Nehmen wir an, dass batchRDD die folgenden Daten enthält und dieser Job am 16.10.2014 ausgeführt wurde:

Da die Cassandra-Abfrage nur alle Daten bis zur Startzeit der Stapelabfrage enthielt, müssen wir nach Abschluss der Abfrage von Kafka lesen, wobei wir nur Protokolle nach der Startzeit des Jobs berücksichtigen. Wir nehmen an, dass die Abfrage sehr lange dauert. Das bedeutet, dass ich die historischen Ergebnisse mit den Streaming-Ergebnissen kombinieren muss.

Zur Veranschaulichung:

Dann nehmen wir an, dass wir im ersten Stream-Batch diese Daten erhalten haben:

Dann möchte ich die Batch RDD mit diesem Stream RDD kombinieren, so dass der Stream RDD jetzt den Wert:

Dann nehmen wir an, dass wir im zweiten Stream-Batch diese Daten erhalten haben:

Dann sollte der Stream RDD aktualisiert werden, um den Wert zu haben:

Und so weiter ...

Es ist möglich, streamRDD.transformToPair(...) zu verwenden, um die streamRDD-Daten mit den batchRDD-Daten mit join zu kombinieren, aber wenn wir dies für jeden Stream-Chunk machen, würden wir die Anzahl aus dem batchRDD für jeden Stream-Chunk addieren der Statuswert "doppelt gezählt", wenn er nur dem ersten Stream-Chunk hinzugefügt werden sollte.