Ich habe kein funktionierendes Streaming-Beispiel, aber im Nicht-Streaming-Beispiel könnte diese Benutzeroberfläche auf der Registerkarte Stufen gefunden werden, wenn Sie eine bestimmte Stufe auswählen. Außerdem erzeuge ich den Akkumulator im Allgemeinen wie folgt:
%Vor%Das Äquivalent für Spark-Streaming wäre wahrscheinlich, sc durch ssc.SparkContext
zu ersetzenEs hat für mich funktioniert. Unten ist mein Beispielcode
%Vor%Als ich jedoch versucht habe, sie in einem Decoder zu verwenden, während ich einen Stream für Kafka erstellte, tauchte es nicht in der Benutzeroberfläche auf.
Hier sehen Sie, wie es in der Benutzeroberfläche aussieht (wählen Sie die Registerkarte Stufen von oben und klicken Sie auf eine der Bühnen) Screenshot
Tags und Links apache-spark