hdfs

Fragen
Hadoop Distributed File System (HDFS) ist das primäre Speichersystem, das von Hadoop-Anwendungen verwendet wird. HDFS erstellt mehrere Replikate von Datenblöcken und verteilt sie auf Rechenknoten in einem Cluster, um zuverlässige, extrem schnelle Berechnungen zu ermöglichen.
5
Antworten

Gibt es ein verteiltes Dateisystem, das unter Windows außer Hadoop läuft? [geschlossen]

Ich suche verzweifelt nach einem DFS, das Windows unterstützt. Das einzige solche DFS ist Hadoop HDFS, aber es ist sehr schwierig, es mit einer großen Anzahl von Windows-Rechnern zu betreiben, weil es Cygwin + SSH benötigt. Fast alle DFS-Syst...
25.06.2010, 11:48
2
Antworten

Welcher Unterschied besteht zwischen dem Ausführen eines Map-Reduce-Jobs mit dem Befehl hadoop und java?

Finden Sie viele Optionen zum Ausführen eines Map-Reduce-Programms. Kann irgendjemand Unterschiede zwischen Thesen unter Befehlen erklären? Und welche Auswirkungen hat Map-reduce auf den Job? %Vor% In diesem Befehl welcher der beste oder der...
07.08.2014, 10:28
0
Antworten

Verbindung durch Peer zurückgesetzt, während Apache Spark Job ausgeführt wird

Wir haben zwei HDP-Cluster-Setups, nennen wir sie A und B. CLUSTER A NODES : Es enthält insgesamt 20 Warenautomaten. Es gibt 20 Datenknoten. Wenn namenode HA konfiguriert ist, gibt es einen aktiven und einen Standby-namen. CLUSTE...
18.05.2017, 22:16
5
Antworten

Der Knoten / hbase befindet sich nicht in ZooKeeper

Ich bin ein Neuling in Hadoop, der versucht, Hbase im pseudo-verteilten Modus, Version hbase-0.98.10.1-hadoop1-bin, mit Hadoop 2.5.2 zu installieren. Ich kann keine Tabelle hinzufügen. Der folgende Fehler wird fortgesetzt, wenn ich versuche,...
19.02.2015, 11:33
2
Antworten

Split-Größe vs Blockgröße in Hadoop

Was ist die Beziehung zwischen Split-Größe und Blockgröße in Hadoop? Wie ich in dies gelesen habe, muss die Split-Größe n-mal sein Blockgröße (n ist eine ganze Zahl und n & gt; 0), ist das korrekt? Gibt es ein Muss in der Beziehung zwischen Sp...
30.05.2015, 17:33
4
Antworten

Problem beim Kopieren lokaler Daten in HDFS auf einem Hadoop-Cluster mit Amazon EC2 / S3

Ich habe einen Hadoop-Cluster mit 5 Knoten auf Amazon EC2 eingerichtet. Jetzt, wenn ich mich am Master-Knoten anmelde und den folgenden Befehl abschicke %Vor% Es wirft die folgenden Fehler (nicht zur gleichen Zeit). Der erste Fehler wird gew...
09.06.2010, 20:44
5
Antworten

Wie wählt hdfs einen zu speichernden Datenknoten aus?

Wie zeigt der Titel an, wenn ein Client anfordert, eine Datei in die hdfs zu schreiben, wie wählt der HDFS- oder Name-Knoten aus, welcher Datenknoten die Datei speichert?  Versuchen die hdfs, alle Blöcke dieser Datei im selben Knoten oder einem...
29.10.2012, 20:59
2
Antworten

Lösche den Ordner hdfs von Java

In einer Java-App, die auf einem Randknoten läuft, muss ich einen hdfs-Ordner löschen, falls er existiert. Ich muss das tun, bevor ich einen Mapreduce-Job (mit Spark) starte, der im Ordner ausgegeben wird. Ich fand, ich könnte die Methode ver...
27.02.2015, 14:39
8
Antworten

Es werden 0 Datenknoten ausgeführt, und bei dieser Operation werden keine Knoten ausgeschlossen

Ich habe einen Hadoop Cluster mit mehreren Knoten eingerichtet. Der Namennode NameNode und Seconaday läuft auf demselben Rechner und der Cluster hat nur einen Datanode. Alle Knoten sind auf Amazon EC2-Maschinen konfiguriert. Nachfolgend finde...
24.10.2014, 09:47
4
Antworten

Hdfs setzen VS webhdfs

___ answer44910262 ___ Der Unterschied zwischen HDFS-Zugriff und WebHDFS ist die Skalierbarkeit aufgrund des HDFS-Designs und die Tatsache, dass ein HDFS-Client eine Datei in Splits zerlegt, die auf verschiedenen Knoten liegen. Wenn ein HDFS-Clien...
23.07.2015, 07:29