Ich habe versucht, eine Zip-Datei zu entpacken, die im Hadoop-Dateisystem gespeichert ist, & amp; Speichern Sie es im Hadoop-Dateisystem. Ich habe versucht, Befehle zu befolgen, aber keiner von ihnen hat funktioniert.
%Vor% Ich erhalte Fehler wie gzip: stdin has more than one entry--rest ignored , cat: Unable to write to output stream. , Error: Could not find or load main class put am Terminal, wenn ich diese Befehle ausführe. Irgendwelche Hilfe?
Bearbeiten 1 : Ich habe keinen Zugriff auf die Benutzeroberfläche. Also, nur Befehlszeilen sind erlaubt. Unzip / gzip Utils sind auf meinem Hadoop-Rechner installiert. Ich verwende Hadoop 2.4.0 version.
Ich benutze die meisten Male hdfs fuse mounts für diesen
Also könntest du einfach
machen %Vor%Edit 1/30/16: Falls Sie hdfs-ACLs verwenden: In einigen Fällen halten sich fuse mounts nicht an hdfs-ACLs, so dass Sie Dateioperationen ausführen können, die von grundlegenden Unix-Zugriffsberechtigungen erlaubt sind. Siehe Ссылка , Kommentare unten, die ich kürzlich gebeten habe, sie erneut zu öffnen.
hadoop fs -put unterstützt nicht das Lesen der Daten von stdin
Ich habe eine Menge Dinge ausprobiert und würde helfen. Ich finde die ZIP-Eingabeunterstützung von hadoop nicht. Also hat es mir keine andere Wahl gelassen, als die Hadoop-Datei auf lokale fs herunterzuladen, sie zu entpacken und erneut auf hdfs hochzuladen.
Um die Daten durch eine Pipe nach hadoop zu streamen, müssen Sie den Befehl hdfs verwenden.
%Vor%Tags und Links hadoop