Wo werden meine Dateien (dir) gespeichert, wenn ich den hadoop fs -mkdir benutzt habe?

8

Ich bin völlig neu bei hadoop und habe gerade die Installation beendet, die mich zwei Tage gekostet hat ... Ich versuche jetzt mit dem hadoop dfs Befehl, aber ich konnte es einfach nicht verstehen, obwohl ich seit Tagen surfe, konnte ich nicht die Antwort auf das finden, was ich wissen möchte. Alle Beispiele zeigen, was das Ergebnis sein soll, ohne die tatsächliche Struktur zu erklären, also würde ich mich freuen, wenn mir jemand helfen könnte, hadoop hdfs zu verstehen.

Ich habe ein Verzeichnis auf dem HDFS erstellt.

%Vor%

OK, ich werde es mit dem Befehl ls überprüfen.

%Vor%

OK, kein Problem, alles scheint perfekt .. ABER wo sind eigentlich die HDFS-Daten gespeichert? Ich dachte, es würde in meinem Datanode-Verzeichnis (/ home / hadoop / datastore) gespeichert werden, das in core-site.xml unter hadoop.tmp.dir definiert wurde, aber es ist nicht da.

Dann habe ich versucht, über die WEB-UI zu sehen, und ich habe festgestellt, dass "Eingabe" unter "/ user / hadoop /" (/ user / hadoop / input) erstellt wurde.

Meine Fragen sind

  • (1) Wofür wird das Datanode-Verzeichnis (hadoop.tmp.dir) verwendet, da es nicht alles speichert, was ich über den dfs-Befehl verarbeitet habe?
  • (2) Alles, was mit dem Befehl dfs erstellt wurde, geht an / user / XXX /, wie kann man den Wert ändern?
  • (3) Ich kann nichts sehen, wenn ich versuche, über den normalen Linux-Befehl (ls / user / hadoop) zuzugreifen. Existiert / user / hadoop logisch?

Es tut mir leid, wenn meine Fragen dumm sind .. ein Anfänger, der sich bemüht, Hadoop besser zu verstehen ..

Vielen Dank im Voraus.

    
user1561806 30.07.2012, 03:03
quelle

1 Antwort

11

Hdfs ist kein posix-Dateisystem und Sie müssen hadoop api verwenden, um dieses Dateisystem zu lesen und anzuzeigen. Das ist der Grund, warum Sie hadoop fs -ls verwenden müssen, wenn Sie die hadoop API verwenden, um Dateien hier zu lesen. Daten in hdfs werden in Blöcken gespeichert und in allen Daten gespeichert. Metadaten zu diesem Dateisystem werden auf Nameode gespeichert. Die Datendateien, die Sie im Verzeichnis "/ home / hadoop / datastore" sehen, sind Blöcke, die auf einzelnen Datenknoten gespeichert sind.

Ich denke, Sie sollten in seinem Tutorial mehr über sein Dateisystem erfahren. Yahoo, YDN-Tutorial zu hdfs

    
Animesh Raj Jha 30.07.2012 04:06
quelle

Tags und Links