funken streaming fileStream

8

Ich programmiere mit Spark-Streaming, habe aber Probleme mit scala. Ich versuche, die Funktion StreamingContext.fileStream

zu verwenden

Die Definition dieser Funktion ist wie folgt:

%Vor%

Erstellen Sie einen Eingabestream, der ein Hadoop-kompatibles Dateisystem nach neuen Dateien überwacht und diese unter Verwendung der angegebenen Schlüsselwerttypen und des angegebenen Eingabeformats liest. Dateinamen beginnend mit. werden ignoriert. K Schlüsseltyp zum Lesen der HDFS-Datei V Werttyp zum Lesen der HDFS-Datei F Eingabeformat zum Lesen der HDFS-Datei Verzeichnis HDFS-Verzeichnis zum Überwachen auf neue Datei

Ich weiß nicht, wie ich die Art von Schlüssel und Wert übergeben soll. Mein Code im Spark Streaming:

%Vor%

Java-Code zum Schreiben der Hadoop-Datei:

%Vor%

}

    
user2384993 15.05.2013, 09:00
quelle

2 Antworten

5

Wenn du fileStream benutzen willst, musst du alle drei Typen param angeben, wenn du sie anrufst. Sie müssen wissen, was Ihre Key , Value und InputFormat Typen sind, bevor Sie sie aufrufen. Wenn Ihre Typen LongWritable , Text und TextInputFormat wären, würden Sie fileStream wie folgt aufrufen:

%Vor%

Wenn diese 3 Typen zufällig Ihre Typen sind, dann sollten Sie textFileStream stattdessen verwenden, da es keinen Typ params und delegiert auf fileStream benötigt, die diese 3 Typen verwenden, die ich erwähnt habe. Das würde so aussehen:

%Vor%     
cmbaxter 15.05.2013, 12:23
quelle
2
%Vor%     
Vijay Krishna 31.10.2016 19:00
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Wie installiere ich Oracle 11g unter Linux ohne X?