hdfs

Fragen
Hadoop Distributed File System (HDFS) ist das primäre Speichersystem, das von Hadoop-Anwendungen verwendet wird. HDFS erstellt mehrere Replikate von Datenblöcken und verteilt sie auf Rechenknoten in einem Cluster, um zuverlässige, extrem schnelle Berechnungen zu ermöglichen.
3
Antworten

Programmgesteuertes Lesen der Ausgabe von Hadoop Mapreduce Program

Dies mag eine grundlegende Frage sein, aber ich konnte keine Antwort auf Google finden. Ich habe einen Map-Reduce-Job, der mehrere Ausgabedateien in seinem Ausgabeverzeichnis erstellt. Meine Java-Anwendung führt diesen Job auf einem Remote-Hado...
12.04.2011, 11:01
2
Antworten

kopiert das Verzeichnis vom lokalen System in den hdfs Java Code

Ich habe ein Problem mit dem Versuch, ein Verzeichnis von meinem lokalen System in HDFS mit Java-Code zu kopieren. Ich bin in der Lage, einzelne Dateien zu verschieben, kann aber keine Möglichkeit finden, ein ganzes Verzeichnis mit Unterordnern...
08.10.2012, 14:38
1
Antwort

Liest eine Textdatei von HDFS zeilenweise in Mapper

Ist der folgende Code für Mapper, Lesen einer Textdatei von HDFS richtig? Und wenn es ist: Was passiert, wenn zwei Mapper in verschiedenen Knoten versuchen, die Datei fast gleichzeitig zu öffnen? Muss InputStreamReader nicht geschlossen...
28.01.2013, 23:33
4
Antworten

HDFS Verringerter Replikationsfaktor

Ich habe den Replikationsfaktor von 3 auf 1 reduziert, sehe aber keine Aktivität aus dem Namenode oder zwischen den Daten, um übermäßig replizierte HDFS-Dateiblöcke zu entfernen. Gibt es eine Möglichkeit, den Replikationsauftrag zu überwachen od...
23.07.2013, 00:18
1
Antwort

Hive erzwingt Schema während der Lesezeit?

Was ist der Unterschied und die Bedeutung dieser beiden Aussagen, auf die ich in einem Vortrag stieß: %Vor% und %Vor%     
01.08.2012, 17:13
2
Antworten

Unterschied zwischen PIG local und mapreduce mode

Was ist der Unterschied zwischen PIG-Scripts lokal und auf mapreduce?  Ich verstehe mapreduce Modus, wenn Sie es auf einem Cluster ausführen, auf dem hdfs installiert ist. Bedeutet dies, dass der lokale Modus kein HDFS benötigt und somit auch Ma...
26.07.2012, 12:33
1
Antwort

Verschieben von Daten in hdfs mit dem copyFromLocal-Schalter

Ich weiß nicht, was hier vor sich geht, aber ich versuche, eine einfache Datei von einem Verzeichnis in meinem lokalen Dateisystem in das für hdfs angegebene Verzeichnis zu kopieren. In meiner hdfs-site.xml habe ich angegeben, dass das Verzei...
05.02.2013, 09:57
1
Antwort

Hadoop 2.0-Name Knoten, sekundärer Knoten und Prüfpunktknoten für hohe Verfügbarkeit

Nach dem Lesen der Apache Hadoop-Dokumentation gibt es eine kleine Verwirrung beim Verständnis der Verantwortlichkeiten des sekundären Knotens & amp; Kontrollpunkt Knoten Ich bin klar in Nameode Rolle und Verantwortlichkeiten:    Der...
17.08.2015, 13:12
1
Antwort

Hadoop: Das FSCK-Ergebnis zeigt fehlende Replikate an

Könnte mir jemand sagen, wie man fehlende Repliken repariert? ================================================== ============================= Gesamtgröße: 3447348383 B Gesamtdurchlauf: 120 Gesamtanzahl der Dateien: 98 Gesamtblöck...
18.04.2013, 06:36
2
Antworten

Direktzugriffsleistung in HBase und Blockgröße in HDFS

HBase kann HDFS als verteiltes Back-End-Dateisystem verwenden. Ihre Standardblockgröße ist jedoch ziemlich unterschiedlich. HBase verwendet 64 KB als Standardblockgröße, während HDFS mindestens 64 MB als Standardblockgröße verwendet, die mindest...
18.09.2012, 07:55