hadoop, Seitenzahl 5

Hadoop ist ein Apache-Open-Source-Projekt, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Das Projekt selbst enthält eine Vielzahl anderer ergänzender Ergänzungen.

Antworten

Wie hbase-Daten über hdfs importiert / exportiert werden (Hadoop-Befehle)

Ich habe meine gecrawlten Daten in Hbase gespeichert, deren Dateisystem hdfs ist. Dann kopierte ich meine Daten (eine Tabelle von hbase) von hdfs direkt in ein lokales Verzeichnis mit dem Befehl %Vor% Danach habe ich diese Daten mit dem Befe...

18.09.2014, 09:35

Antworten

Wie wählt hdfs einen zu speichernden Datenknoten aus?

Wie zeigt der Titel an, wenn ein Client anfordert, eine Datei in die hdfs zu schreiben, wie wählt der HDFS- oder Name-Knoten aus, welcher Datenknoten die Datei speichert? Versuchen die hdfs, alle Blöcke dieser Datei im selben Knoten oder einem...

29.10.2012, 20:59

Antworten

Ruft die ID des Aufgabenversuchs für die aktuell ausgeführte Hadoop-Aufgabe ab

Die Task-Side-Effect-Dateien im Abschnitt Im Hadoop-Lernprogramm wird erwähnt, dass die "versuchsweise" der Aufgabe als eindeutiger Name verwendet wird. Wie bekomme ich diese Versuchs-ID in meinem Mapper oder Reducer?

29.09.2009, 20:15

Antworten

Problem mit -libjars in hadoop

Ich versuche, einen MapReduce-Job auf Hadoop auszuführen, sehe aber einen Fehler und bin mir nicht sicher, was falsch läuft. Ich muss Bibliotheksgläser pastieren, die von meinem Mapper benötigt werden. Ich erledigte folgendes am Terminal:...

31.07.2011, 14:43

Antworten

Lösche den Ordner hdfs von Java

In einer Java-App, die auf einem Randknoten läuft, muss ich einen hdfs-Ordner löschen, falls er existiert. Ich muss das tun, bevor ich einen Mapreduce-Job (mit Spark) starte, der im Ordner ausgegeben wird. Ich fand, ich könnte die Methode ver...

27.02.2015, 14:39

Antwort

So erhalten Sie die Dateigröße

Ich führe einen Hadoop-Job aus, ich habe das FileSystem-Objekt und das Path-Objekt und ich möchte wissen, wie groß die Datei (Pfad) ist. irgendeine Idee?

17.11.2011, 12:34

Antworten

Probleme mit Hadoop unterscheiden sich von HDFS zu Amazon S3

Ich versuche, Daten von HDFS mit distcp nach S3 zu verschieben. Der distcp Job scheint erfolgreich zu sein, aber in S3 werden die Dateien nicht korrekt erstellt. Es gibt zwei Probleme: Die Dateinamen und Pfade werden nicht repliziert....

10.05.2012, 06:26

Antworten

MapReduce Job zeigt meine Druckanweisungen nicht auf dem Terminal an

Ich versuche gerade herauszufinden, wann Sie einen MapReduce-Job ausführen, indem Sie an bestimmten Stellen des Codes einige system.out.println () -Modelle erstellen, aber wissen, dass diese print-Anweisung auf meinem Terminal gedruckt wird, wen...

11.07.2011, 03:09

Antworten

Es werden 0 Datenknoten ausgeführt, und bei dieser Operation werden keine Knoten ausgeschlossen

Ich habe einen Hadoop Cluster mit mehreren Knoten eingerichtet. Der Namennode NameNode und Seconaday läuft auf demselben Rechner und der Cluster hat nur einen Datanode. Alle Knoten sind auf Amazon EC2-Maschinen konfiguriert. Nachfolgend finde...

24.10.2014, 09:47

Antworten

Hdfs setzen VS webhdfs

___ answer44910262 ___ Der Unterschied zwischen HDFS-Zugriff und WebHDFS ist die Skalierbarkeit aufgrund des HDFS-Designs und die Tatsache, dass ein HDFS-Client eine Datei in Splits zerlegt, die auf verschiedenen Knoten liegen. Wenn ein HDFS-Clien...

23.07.2015, 07:29