Spark-Streaming von einem Actor

9

Ich möchte, dass ein Verbraucher ein Kafka-Thema abonniert und Daten für die weitere Verarbeitung mit Spark Streaming außerhalb des Verbrauchers streamt. Warum ein Schauspieler? Weil ich gelesen habe, dass seine Supervisor-Strategie eine gute Möglichkeit wäre, Kafka-Fehler zu behandeln (z. B. Neustart bei einem Fehler).

Ich habe zwei Optionen gefunden:

  • Das Java KafkaConsumer Klasse: Die Methode poll() gibt Map[String, Object] zurück. Ich möchte, dass DStream genauso zurückgegeben wird wie KafkaUtils.createDirectStream , und ich weiß nicht, wie ich den Stream außerhalb des Actors abrufen kann.
  • Erweitern Sie die Eigenschaft ActorHelper und verwenden Sie actorStream() wie in diesem Beispiel . Diese letztere Option zeigt keine Verbindung zu einem Thema, sondern zu einem Socket.

Könnte mir jemand in die richtige Richtung zeigen?

    
wipman 21.02.2017, 08:44
quelle

1 Antwort

2

Für die Behandlung von Kafka-Fehlern habe ich das Apache Curator-Framework und die folgende Problemumgehung verwendet:

%Vor%

Um Kafka-Themen zu konsumieren, habe ich die com.softwaremill.reactivekafka -Bibliothek benutzt. Zum Beispiel:

%Vor%     
John Mullins 01.03.2017, 20:07
quelle