Ich versuche, Hadoop zu lernen, indem ich einem Tutorial folge und versuche, einen pseudo-verteilten Modus auf meinem Rechner durchzuführen.
Mein core-site.xml ist:
Meine hdfs-site.xml -Datei ist:
Meine mapred-site.xml -Datei ist:
Wenn ich den Befehl ausführe, lief es erfolgreich, aber was es eigentlich macht:
%Vor%Kann mir bitte jemand sagen, was es intern macht?
Ich bin durch diese Beiträge gegangen, aber es gibt keine richtige Erklärung.
Was genau ist die Formatierung von Hadoop-Namen?
hadoop namenode formatiert nicht
Wie kann ich dies praktisch auf meinem Computer überprüfen, damit ich die Unterschiede vor und nach dem Ausführen des Befehls sehen kann. Ich bin neu in Hadoop, also kann das eine triviale Frage sein.
Hadoop-Name-Format
Das Hadoop-Namenknotenverzeichnis enthält die Dateien fsimage und edit, die hält die grundlegenden Informationen über Hadoop-Dateisystem wie wo ist Daten verfügbar, welcher Benutzer solche Dateien erstellt hat
Wenn Sie den namenode formatieren, werden die obigen Informationen gelöscht
aus dem namenode-Verzeichnis, das in der hdfs-site.xml als dfs.namenode.name.dir
Aber Sie haben immer noch die Daten auf dem Hadoop, aber nicht NodeNode Metadaten
hadoop namenode -format Dieser Befehl löscht alle Dateien in Ihren hdfs.
tmp enthält zwei Ordner datanode, nomenode im lokalen Dateisystem. Wenn Sie den Namenknoten formatieren, werden diese beiden Ordner leer.
Hinweis: Wenn Sie Ihren namenode formatieren möchten, stoppen Sie zuerst alle hadoop-Dienste, löschen Sie dann den Ordner tmp (enthält namenode und datanode) in Ihrem lokalen Dateisystem und starten Sie den hadoop-Dienst, damit er wirksam wird.
Grund für Hadoop nameode-format:
Hadoop NameNode ist der zentrale Ort eines HDFS-Dateisystems, das die Verzeichnisstruktur aller Dateien im Dateisystem verwaltet und verfolgt, wo die Dateidaten im gesamten Cluster gespeichert sind. Kurz gesagt, es speichert die Metadaten in Bezug auf Daten. Wenn wir namenode formatieren, formatiert es die Metadaten, die mit Datenknoten zusammenhängen. Dadurch gehen alle Informationen über die Daten verloren und sie können für neue Daten wiederverwendet werden.
Nach wird der NameNode standardmäßig auf "/ tmp / hadoop-myuser / dfs / name"
gesetztBeim Formatieren des Namenscodes wurde dieser Speicherort gelöscht.
Um den Namenknotenstandort zu ändern fügen Sie die folgenden Eigenschaften hinzu Bei hdfs-site.xml
%Vor%Ich hoffe, das wird dir helfen ..: -)
Nameode enthält Metadaten zum Hadoop-Dateisystem.
Dieser Befehl (hadoop-1.2.1 $ bin / hadoop namenode -format) formatiert das gesamte Hadoop-Dateisystem (HDFS). Wenn Sie diesen Befehl auf einem vorhandenen Dateisystem ausführen, verlieren Sie alle Ihre Daten.
Beim Formatieren eines Namenscodes wird der Datanode nicht formatiert.
Es wird nur den Inhalt Ihres Namens (der Details des Datenknotens enthält) formatiert. Dein Name wird nicht mehr wissen, wo deine Daten sind. Auch nameoden -format weist dem namenode eine neue Namespace-ID zu
Sie müssen Ihre NamespaceID in Ihrem Datenknoten ändern, damit Ihr Datenknoten funktioniert. Dies wird unter dfs / data / current / VERSION
seinEs ist jetzt ein JIRA geöffnet, der darauf hinweist, Datanode auch beim Formatieren von Nameode zu formatieren. HDFS-107
Schritte
starte alle Dienste mit "start-all.sh"
Überprüfen Sie, ob die Dienste ausgeführt werden oder nicht "JPS" verwenden
Hinweis: Wenn Sie hadoop2.3.0 verwenden, müssen folgende Dienste ausgeführt werden:
Verschieben Sie einige Dateien von local nach HDFS mit hdfs -put /
Überprüfen Sie jetzt an der Position "/ tmp / hadoop-myuser / dfs / name" Sie finden diese Datei möglicherweise in einige BLOCKS aufgeteilt, die jeweils 64 MB umfassen.
Starten Sie dann die Formatierung mit **hadoop namenode -format**
Jetzt ist die Datei nicht physisch an diesem Ort verfügbar.
Weitere Informationen klicken Sie hier
Tags und Links hadoop