Ich baue eine App, die ständig an einen Puffer angehängt wird, während viele Leser unabhängig von diesem Puffer verbrauchen (einmal schreiben, viele lesen / WORM). Zuerst dachte ich an Apache Kafka, aber da ich eine as-a-service-Option bevorzuge, habe ich angefangen, AWS Kinesis Streams + KCL zu untersuchen und es scheint, dass ich diese Aufgabe mit ihnen erledigen kann.
Im Grunde brauche ich zwei Funktionen: Ordnung (die Ereignisse müssen von allen Lesern in der gleichen Reihenfolge gelesen werden) und die Möglichkeit, den Offset im Puffer zu wählen, von wo aus der Leser beginnt, weiter zu verbrauchen.
Jetzt bewerte ich auch Google Cloud Platform. Während ich die Dokumentation lese, scheint es, dass Google Pub / Sub als Äquivalent zu AWS Kinesis Stream vorgeschlagen wird, aber auf einer detaillierteren Ebene scheinen diese Produkte sehr unterschiedlich zu sein:
Wenn ich es richtig verstanden habe, kann PubSub nicht als Kinesis-Äquivalent angesehen werden. Vielleicht zusammen mit Google Dataflow? Ich muss gestehen, dass ich immer noch nicht sehen kann, wie.
Ist PubSub also eine Alternative zu Kinesis? Wenn nicht, würde ein Google Cloud-Produkt meine Anforderungen erfüllen?
Danke!
Eine ziemlich komplizierte Lösung, aber es könnte helfen:
Ich hoffe, das hilft.