Sequenzdateien in Hadoop

7

Wie werden diese Sequenzdateien generiert? Ich habe hier einen Link über die Sequenzdatei gesehen,

%Vor%

Werden diese mit dem Standard-Java-Serializer geschrieben? und Wie lese ich eine Sequenzdatei?

    
vkris 23.02.2011, 19:38
quelle

2 Antworten

16

Sequenzdateien werden von MapReduce-Tasks generiert und können als gemeinsames Format zum Übertragen von Daten zwischen MapReduce-Jobs verwendet werden.

Sie können sie folgendermaßen lesen:

%Vor%

Sie können Sequenzdateien auch selbst erstellen, indem Sie SequenceFile.Writer verwenden.

Die im Beispiel verwendeten Klassen sind die folgenden:

%Vor%

Und sind in der hadoop-core maven-Abhängigkeit enthalten:

%Vor%     
Lev Khomich 23.02.2011, 19:58
quelle
3

Dank Lev Khomichs Antwort wurde mein Problem gelöst.

Die Lösung ist jedoch seit einiger Zeit veraltet, und die neue API bietet mehr Funktionen und ist außerdem einfach zu verwenden.

Sehen Sie sich den Quellcode von hadoop.io.SequenceFile an und klicken Sie auf hier :

%Vor%

Zusätzliche Informationen, hier ist die Beispielausgabe, die gegen die Datendatei läuft, die von Nutch / Injector generiert wurde:

%Vor%

Danke!

    
B.Mr.W. 13.04.2014 23:58
quelle

Tags und Links