Spark accumulator wird nicht in Spark WebUI angezeigt

8

Ich benutze Spark-Streaming. Laut dem Spark Programming Guide (siehe Ссылка ) werden in der WebUI wie folgt: Leider kann ich das nirgendwo finden. Ich registriere die Akkumulatoren so (Java):

%Vor%

Ich verwende Spark 2.0.0.

    
Jack 23.04.2015, 18:00
quelle

2 Antworten

0

Ich habe kein funktionierendes Streaming-Beispiel, aber im Nicht-Streaming-Beispiel könnte diese Benutzeroberfläche auf der Registerkarte Stufen gefunden werden, wenn Sie eine bestimmte Stufe auswählen. Außerdem erzeuge ich den Akkumulator im Allgemeinen wie folgt:

%Vor%

Das Äquivalent für Spark-Streaming wäre wahrscheinlich, sc durch ssc.SparkContext

zu ersetzen     
Assaf Mendelson 10.11.2016 12:02
quelle
0

Es hat für mich funktioniert. Unten ist mein Beispielcode

%Vor%

Als ich jedoch versucht habe, sie in einem Decoder zu verwenden, während ich einen Stream für Kafka erstellte, tauchte es nicht in der Benutzeroberfläche auf.

Hier sehen Sie, wie es in der Benutzeroberfläche aussieht (wählen Sie die Registerkarte Stufen von oben und klicken Sie auf eine der Bühnen) Screenshot

    
NAbbas 02.02.2017 00:43
quelle

Tags und Links