hadoop2, Seitenzahl 1

8

Antworten

Es werden 0 Datenknoten ausgeführt, und bei dieser Operation werden keine Knoten ausgeschlossen

Ich habe einen Hadoop Cluster mit mehreren Knoten eingerichtet. Der Namennode NameNode und Seconaday läuft auf demselben Rechner und der Cluster hat nur einen Datanode. Alle Knoten sind auf Amazon EC2-Maschinen konfiguriert. Nachfolgend finde...

24.10.2014, 09:47

1

Antwort

pom.xml für Hadoop 2.6.0

Ich versuche eine App zu implementieren = & gt; Finden Sie die maximale Temperatur aus Wetterdaten (zB aus Tom Whites Buch Hadoop: Definitive Guide (3. Ausgabe)) mit Hadoop. Ich habe Hadoop 2.6.0 heruntergeladen und installiert Ich benutze Maven...

09.12.2014, 16:14

1

Antwort

Hadoop 2.0-Name Knoten, sekundärer Knoten und Prüfpunktknoten für hohe Verfügbarkeit

Nach dem Lesen der Apache Hadoop-Dokumentation gibt es eine kleine Verwirrung beim Verständnis der Verantwortlichkeiten des sekundären Knotens & amp; Kontrollpunkt Knoten Ich bin klar in Nameode Rolle und Verantwortlichkeiten: Der...

17.08.2015, 13:12

1

Antwort

Kann Hadoop nicht mit Cloudera Manager installieren

Ich versuche, den Hadoop-Cluster in einer einzigen VM einzurichten (der Einfachheit halber) mit cloudera Manager 5.9. Die folgenden sind die Details meiner Umgebung: %Vor% Ich habe den Cloudera Manager installiert und gemäß den Anweisungen v...

17.12.2016, 17:23

1

Antwort

hadoop Protokollnachricht war zu groß. Kann bösartig sein. Verwenden Sie CodedInputStream.setSizeLimit (), um das Größenlimit zu erhöhen

Ich sehe das in den Logs der Daten. Dies geschieht wahrscheinlich, weil ich 5 Millionen Dateien in hdfs kopiere: %Vor% Ich benutze nur hadoop fs -put .... um die Dateien in hdfs zu kopieren. Kürzlich fing ich an, diese Art von Nachrichten au...

30.06.2015, 14:03

1

Antwort

Festlegen der maximalen Anzahl der gleichzeitig ausgeführten Aufgaben pro Knoten in Hadoop 2.4.0 auf Elastic MapReduce

Nach Ссылка , Die Formel zum Bestimmen der Anzahl der gleichzeitig ausgeführten Aufgaben pro Knoten lautet: %Vor% Beim Einstellen dieser Parameter auf (für einen Cluster von c3.2xlarges): garn.nodemanager.resource.memory-mb = 14336 ma...

07.08.2014, 22:18

0

Antworten

Spark Indefinite Waiting with "Auffordern, Kartenausgabeorte für Shuffle zu senden"

Meine Jobs hängen oft mit dieser Art von Nachricht: %Vor% Wäre großartig, wenn jemand erklären könnte, was Spark macht, wenn es diese Nachricht ausspuckt. Was bedeutet diese Nachricht? Was könnte der Benutzer falsch machen, um dies zu verurs...

01.09.2014, 07:41

1

Antwort

Garn achtet nicht auf Garn.nodemanager.resource.cpu-vcores

Ich verwende Hadoop-2.4.0 und meine Systemkonfigurationen sind 24 Kerne, 96 GB RAM. Ich verwende folgende Konfigs %Vor% Capacity Scheduler konfiguriert %Vor% Mit obigen Konfigurationen erwarte ich, dass Garn nicht mehr als 10 Mappe...

29.08.2014, 07:42

1

Antwort

Namespacebild und Bearbeitungsprotokoll

Aus dem Buch " Hadoop The Definitive Guide " wird unter dem Thema Nameodes und Datanodes Folgendes erwähnt: Der namenode verwaltet den Dateisystem-Namespace. Es behält die Dateisystembaum und die Metadaten für alle Dateien und Verzeich...

15.11.2014, 06:16

3

Antworten

Die Hauptklasse com.sun.tools.javac.Main hadoop mapreduce konnte nicht gefunden oder geladen werden

Ich versuche MapReduce zu lernen, aber ich bin jetzt ein wenig verloren. Ссылка Besonders diese Anleitung: %Vor% Wenn ich in meinem Terminal hadoop eintippe, kann ich die "Hilfe" sehen, die Argumente liefert, also glaube ich, dass...

25.03.2015, 16:13