Ich weiß nicht, was hier vor sich geht, aber ich versuche, eine einfache Datei von einem Verzeichnis in meinem lokalen Dateisystem in das für hdfs angegebene Verzeichnis zu kopieren.
In meiner hdfs-site.xml habe ich angegeben, dass das Verzeichnis für hdfs / home / vaibhav / Hadoop / dataNodeHadoopData die folgenden Eigenschaften verwendet -
%Vor%Ich verwende den folgenden Befehl -
%Vor%um die Datei u.data von ihrem lokalen Dateisystem in das Verzeichnis zu kopieren, das ich als Hdfs-Verzeichnis angegeben habe. Aber wenn ich das tue, passiert nichts - kein Fehler, nichts. Und keine Datei wird in die hdsf kopiert. Mache ich etwas falsch? Irgendwelche Erlaubnisprobleme konnten dort sein?
Vorschläge benötigt.
Ich verwende einen pseudoverteilten Einzelknotenmodus.
Außerdem möchte ich in einem verwandten Hinweis fragen, dass ich in meinem map reduce-Programm die Konfiguration so eingestellt habe, dass sie auf den inputFilePath als /home/vaibhav/ml-100k/u.data zeigt. Würde es nicht automatisch die Datei von einem bestimmten Ort in hdfs kopieren?
Ich glaube, dfs.data.dir und dfs.name.dir müssen auf zwei verschiedene und bestehende Verzeichnisse verweisen. Stellen Sie außerdem sicher, dass Sie den Namenknoten FS nach dem Ändern der Verzeichnisse in der Konfiguration formatiert haben.
Beim Kopieren in HDFS geben Sie das Ziel falsch an. Die richtige Syntax zum Kopieren einer lokalen Datei in HDFS lautet:
%Vor%Beispiel:
%Vor% Dies würde eine Datei my.data im Home-Verzeichnis Ihres Benutzers in HDFS erstellen.
Bevor Sie Dateien in HDFS kopieren, stellen Sie sicher, dass Sie den Verzeichnisinhalt und die Verzeichniserstellung zuerst verwalten.