Ich bin völlig neu bei hadoop und habe gerade die Installation beendet, die mich zwei Tage gekostet hat ... Ich versuche jetzt mit dem hadoop dfs Befehl, aber ich konnte es einfach nicht verstehen, obwohl ich seit Tagen surfe, konnte ich nicht die Antwort auf das finden, was ich wissen möchte. Alle Beispiele zeigen, was das Ergebnis sein soll, ohne die tatsächliche Struktur zu erklären, also würde ich mich freuen, wenn mir jemand helfen könnte, hadoop hdfs zu verstehen.
Ich habe ein Verzeichnis auf dem HDFS erstellt.
%Vor%OK, ich werde es mit dem Befehl ls überprüfen.
%Vor%OK, kein Problem, alles scheint perfekt .. ABER wo sind eigentlich die HDFS-Daten gespeichert? Ich dachte, es würde in meinem Datanode-Verzeichnis (/ home / hadoop / datastore) gespeichert werden, das in core-site.xml unter hadoop.tmp.dir definiert wurde, aber es ist nicht da.
Dann habe ich versucht, über die WEB-UI zu sehen, und ich habe festgestellt, dass "Eingabe" unter "/ user / hadoop /" (/ user / hadoop / input) erstellt wurde.
Meine Fragen sind
Es tut mir leid, wenn meine Fragen dumm sind .. ein Anfänger, der sich bemüht, Hadoop besser zu verstehen ..
Vielen Dank im Voraus.
Hdfs ist kein posix-Dateisystem und Sie müssen hadoop api verwenden, um dieses Dateisystem zu lesen und anzuzeigen. Das ist der Grund, warum Sie hadoop fs -ls verwenden müssen, wenn Sie die hadoop API verwenden, um Dateien hier zu lesen. Daten in hdfs werden in Blöcken gespeichert und in allen Daten gespeichert. Metadaten zu diesem Dateisystem werden auf Nameode gespeichert. Die Datendateien, die Sie im Verzeichnis "/ home / hadoop / datastore" sehen, sind Blöcke, die auf einzelnen Datenknoten gespeichert sind.
Ich denke, Sie sollten in seinem Tutorial mehr über sein Dateisystem erfahren. Yahoo, YDN-Tutorial zu hdfs