Ich möchte Nachrichten von einem Thema in Kafka (Broker v 0.10.2.1 ) mit Spark (1.6.2) Streaming empfangen.
Ich verwende den Receiver Ansatz. Der Code ist wie folgt:
Der Zugriff auf Kafka ist kerberisiert . Wenn ich starte
spark-submit --verbose --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=jaas.conf"
%Code%
%Code%
%Code%
%Code%
%Code%
%Code%
--files jaas.conf,privKey.der
--principal <accountName> class von Kafka protokolliert warning Nachrichten für die Eigenschaften, die in --keytab <path to keytab file> hashmap: %Vor%
Ich denke, da diese Eigenschaften nicht akzeptiert werden, kann es sich auf die Stream-Verarbeitung auswirken.
** Wenn ich im Cluster-Modus --master yarn starte, erscheinen diese Warnmeldungen nicht **
Später sehe ich folgende Protokolle alle 5 Sekunden wie konfiguriert:
--jars <comma separated path to all jars>
--class <fully qualified java main class>
<path to jar file containing main class>
VerifiableProperties
Ich sehe jedoch keine aktuelle Nachricht , die auf der Konsole gedruckt wird.
Frage: Warum druckt mein Code keine tatsächlichen Nachrichten?
Meine Hauptabhängigkeiten sind:
%Vor%stream ist ein Objekt von JavaPairReceiverInputDStream. Konvertieren Sie es in Dstream und verwenden Sie foreachRDD, um die Nachrichten zu drucken, die von Kafka konsumiert werden
Tags und Links java apache-spark apache-kafka spark-streaming