amazon-kinesis

Amazon Kinesis ist ein vollständig verwalteter Dienst für die Echtzeitverarbeitung von Streaming-Daten in großem Umfang.
4
Antworten

Verarbeiten von DynamoDB-Streams mithilfe des AWS Java DynamoDB-Stream-Kinesis-Adapters

Ich versuche, DynamoDB-Tabellenänderungen mithilfe von DynamoDB-Streams und des von AWS bereitgestellten Java DynamoDB-Stream-Kinesis-Adapters zu erfassen. Ich arbeite mit den AWS Java SDKs in einer Scala App. Ich habe angefangen, dem AWS-Le...
15.10.2016, 15:23
1
Antwort

Entspricht Kafka / AWS Kinesis Stream auf der Google Cloud Platform

Ich baue eine App, die ständig an einen Puffer angehängt wird, während viele Leser unabhängig von diesem Puffer verbrauchen (einmal schreiben, viele lesen / WORM). Zuerst dachte ich an Apache Kafka, aber da ich eine as-a-service-Option bevorzuge...
11.09.2017, 20:29
1
Antwort

Integration von Apache Camel in Amazon Kinesis Streaming Service

Hat jemand Apache Camel in Amazon Kinesis Streaming Service integriert? Dies steht im Zusammenhang mit Verwenden von Apache Camel mit Amazon AWS , das eine Frage zu anderen Amazon-Diensten enthält, die in Apache Camel integriert sind. Ich...
27.01.2014, 15:41
1
Antwort

Steuern der Anzahl der erzeugten Futures, um Gegendruck zu erzeugen

Ich verwende eine Futures-Rs-Version der Rusoto AWS Kinesis-Bibliothek . Ich muss eine tiefe Pipeline von AWS-Kinesis-Anfragen erzeugen, um einen hohen Durchsatz zu erreichen, da Kinesis eine Grenze von 500 Datensätzen pro HTTP-Anfrage hat. In...
15.01.2018, 16:54
2
Antworten

mehrere Konsumenten pro Kinesis-Shard

Ich habe gelesen, dass Sie mehrere Consumer-Apps pro Kinesis-Stream haben können. Ссылка Allerdings habe ich gehört, dass Sie nur Verbraucher pro Shard haben können. Ist das wahr? Ich finde keine Dokumentation, die dies unterstützt, und...
29.12.2015, 01:34
2
Antworten

Kann ich automatisch Zeilenumbrüche an AWS Firehose-Datensätze anhängen?

Ich versuche, eine Kinesis Analytics-Anwendung mit den folgenden Einstellungen zu konfigurieren: Der Eingabestream ist ein Kinesis-Firehose, der stringulierte JSON-Werte verwendet Das SQL ist ein einfaches Passthrough (es muss später kompl...
29.05.2017, 16:01
0
Antworten

Kinesis Spark Streaming-Langlebigkeitsprobleme

Ich habe Probleme mit der Langlebigkeit der Spark-Kinesis Streaming-Anwendung, die auf dem Standalone-Clustermanager von Spark ausgeführt wird. Das Programm läuft ungefähr 50 Stunden und hört auf, Daten von Kinesis zu empfangen, ohne einen gülti...
18.04.2016, 19:48