hdfs

Hadoop Distributed File System (HDFS) ist das primäre Speichersystem, das von Hadoop-Anwendungen verwendet wird. HDFS erstellt mehrere Replikate von Datenblöcken und verteilt sie auf Rechenknoten in einem Cluster, um zuverlässige, extrem schnelle Berechnungen zu ermöglichen.
1
Antwort

Warum die Hive_Staging-Datei in AWS EMR fehlt

Problem - Ich führe 1 Abfrage in AWS EMR aus. Es schlägt fehl, indem eine Ausnahme ausgelöst wird - %Vor% Ich habe im Folgenden alle diesbezüglichen Informationen zu diesem Problem erwähnt. Bitte überprüfen Sie. Abfrage - %Vor%...
17.09.2016, 12:47
1
Antwort

URI konnte nicht mit dem Schlüssel dfs.encryption.key.provider.uri gefunden werden, um einen Schlüsselprovider in HDFS-Verschlüsselung für CDH 5.4 zu erstellen

CDH-Version: CDH5.4.5 Problem: Wenn die HDFS-Verschlüsselung mithilfe von in Hadoop CDH 5.4 verfügbarem KMS aktiviert ist, wird beim Ablegen der Datei in die Verschlüsselungszone ein Fehler angezeigt. Schritte: Schritte zur Verschlüssel...
09.09.2015, 10:07
3
Antworten

Hadoop fs sucht nach Blockgröße?

Wie sieht in Hadoop fs die Blockgröße für eine bestimmte Datei aus? Ich war hauptsächlich an einer Befehlszeile interessiert, etwa so: %Vor% Aber es sieht so aus, als ob das nicht existiert. Gibt es eine Java-Lösung?     
07.12.2011, 06:17
7
Antworten

hdfs - ls: Bei lokaler Ausnahme fehlgeschlagen: com.google.protobuf.InvalidProtocolBufferException:

Ich versuche das unten zu verwenden, um meine Wege in hdfs aufzulisten ... %Vor% Hier ist meine / etc / hosts Datei %Vor% Hallo, verwende ich hdfs: //, um meine Verzeichnisse aufzulisten? Ich benutze Couldera 4.3 auf ubuntu 12.04    ...
04.05.2013, 09:57
5
Antworten

Kleine Dateien und HDFS-Blöcke

Speichert ein Block in Hadoop Distributed File System mehrere kleine Dateien oder speichert ein Block nur eine Datei?     
19.12.2011, 14:42
1
Antwort

Namespacebild und Bearbeitungsprotokoll

Aus dem Buch " Hadoop The Definitive Guide " wird unter dem Thema Nameodes und Datanodes Folgendes erwähnt:    Der namenode verwaltet den Dateisystem-Namespace. Es behält die   Dateisystembaum und die Metadaten für alle Dateien und Verzeich...
15.11.2014, 06:16