hadoop, Seitenzahl 14

Hadoop ist ein Apache-Open-Source-Projekt, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Das Projekt selbst enthält eine Vielzahl anderer ergänzender Ergänzungen.

Antworten

Spark-Job, der auf dem Yarn-Cluster ausgeführt wird java.io.FileNotFoundException: Die Datei wird nicht beendet, obwohl die Datei auf dem Master-Knoten beendet wird

Ich bin ziemlich neu in Spark. Ich habe versucht zu suchen, aber ich konnte keine richtige Lösung finden. Ich habe Hadoop 2.7.2 auf zwei Boxen installiert (ein Master-Knoten und der andere Arbeiter-Knoten) Ich habe den Cluster eingerichtet, inde...

20.04.2016, 19:37

Antwort

Ein MapReduce-Job kann nicht auf hadoop 2.4.0 ausgeführt werden

Ich bin neu bei hadoop und hier ist mein Problem. Ich habe Hadoop 2.4.0 mit jdk1.7.60 auf Cluster von 3 Maschinen konfiguriert. Ich kann alle Befehle von hadoop ausführen. Jetzt habe ich Wordcount Beispiel geändert und JAR-Datei erstellt. Ich ha...

30.06.2014, 00:13

Antwort

Hadoop, Hive, Schwein, HBase, Cassandra - wann soll was verwendet werden? [geschlossen]

Zunächst bin ich relativ neu in Big Data und der Hadoop-Welt und habe gerade angefangen, ein wenig mit der Hortonworks Sandbox (Pig and Hive) zu experimentieren. Ich habe mich gefragt, in welchen Fällen ich die oben genannten Werkzeuge von Hadoo...

29.01.2014, 18:02

Antworten

Hive fügt Werte in eine Array-Spalte mit komplexem Typ ein

Ich kann keine Daten an Tabellen anhängen, die eine Array-Spalte enthalten, indem Sie in Anweisungen einfügen; der Datentyp ist Array & lt; varchar (200) & gt; Mit jodbc kann ich keine Werte in eine Array-Spalte einfügen, z. B .: %Vor% er...

25.05.2015, 22:04

Antworten

Unterschiede zwischen Hadoop-common, Hadoop-core und Hadoop-client?

Ich bin neuer als Hadoop und möchte wissen, welche Unterschiede zwischen Hadoop-häufig , Hadoop-Kern und bestehen Hadoop-Client ? Woher weiß ich übrigens für eine bestimmte Klasse, welches Artefakt es in Maven enthält? Zum Beispiel, w...

04.03.2015, 13:47

Antworten

Nutch in Windows: Fehler beim Festlegen der Berechtigungen für den Pfad

Ich versuche, Solr mit Nutch auf einer Windows-Maschine zu verwenden, und ich bekomme den folgenden Fehler: %Vor% Aus vielen Threads habe ich gelernt, dass hadoop, das von nutch benutzt wird, eine chmod-Magie benutzt, die auf Unix-Maschinen...

03.03.2013, 16:53

Antworten

Hadoop und Map-Reduce auf Multicore-Rechnern

Ich habe viel über Hadoop und Map-Reduce gelesen, die auf Maschinenclustern laufen. Weiß jemand, ob die Apache-Distribution auf einem SMP mit mehreren Kernen ausgeführt werden kann? Insbesondere können mehrere Map-Reduce-Prozesse auf derselben M...

29.09.2012, 23:41

Antwort

Java Daemons gestartet mit multiple -Xmx Option (hadoop)

Auf Hadoop-Clustern, die ich verwende, aber keine Administratorrechte haben, sehe ich, dass die Hadoop-Daemons für JobTracker, TaskTracker und DataNode mit den zweimal angegebenen -Xmx-Optionen gestartet werden. Etwas wie %Vor% In diesem Fal...

28.02.2014, 12:30

Antworten

wie wird mapred.reduce.parallel.copies eingestellt?

Nach dem Lesen Ссылка möchten wir experimentieren mit mapred.reduce.parallel.copies. In dem Blog wird erwähnt, dass "die Logs sehr sorgfältig geprüft werden". Woher wissen wir, dass wir den Sweet Spot erreicht haben? Was sollten wir suchen?...

27.12.2011, 08:43

Antworten

Erweiterte Abfragen in HBase

Angesichts des folgenden HBase-Schemaszenarios ( aus den offiziellen FAQ ) ... Wie würden Sie eine Hbase-Tabelle entwerfen? für viele-zu-viele-Verbindungen zwischen zwei Entitäten, zum Beispiel Student und Kurs? Ich würde zwei...

16.09.2009, 23:50