mapreduce

MapReduce ist ein Algorithmus zur Verarbeitung großer Datasets zu bestimmten Arten von verteilbaren Problemen unter Verwendung einer großen Anzahl von Knoten
3
Antworten

Implementierung von PageRank mit MapReduce

Ich versuche, ein Problem mit der Theorie der Implementierung des PageRank mit MapReduce zu lösen. Ich habe das folgende einfache Szenario mit drei Knoten: A B C. Die Adjazenzmatrix ist hier: %Vor% Der PageRank für B ist zum Beispiel g...
17.02.2011, 13:03
3
Antworten

Mapreduce für Dummies

Ok, ich versuche Hadoop und mapreduce zu lernen. Ich möchte wirklich mit mapreduce anfangen und was ich finde, sind viele, viele vereinfachte Beispiele von Mappern und Reducern, etc. Ich habe jedoch gesehen, dass etwas fehlt. Ein Beispiel, das z...
12.01.2012, 17:23
5
Antworten

Ist MapReduce richtig für mich?

Ich arbeite an einem Projekt, das sich mit der Analyse einer sehr großen Datenmenge beschäftigt, also habe ich MapReduce erst kürzlich entdeckt, und bevor ich weiter darüber nachdenke, möchte ich sicherstellen, dass meine Erwartungen stimmen....
13.01.2010, 19:49
2
Antworten

Warum wird MapReduce in CouchDB "inkrementell" genannt?

Ich lese das O'Reilly CouchDB Buch. Ich bin verwirrt über den reduce / re-reduce / incremental-MapReduce Teil auf Seite 64. Zu viel ist im O'Reilly Buch mit dem Satz rhetorisch    Wenn Sie daran interessiert sind, die Funktionalität der inkre...
28.06.2012, 00:42
1
Antwort

Hive erzwingt Schema während der Lesezeit?

Was ist der Unterschied und die Bedeutung dieser beiden Aussagen, auf die ich in einem Vortrag stieß: %Vor% und %Vor%     
01.08.2012, 17:13
5
Antworten

Anzahl der Reduzierungen für 1 Aufgabe in MapReduce

Wie viele Reduzierer werden in einem typischen MapReduce-Setup (wie Hadoop) für eine Aufgabe verwendet, z. B. Wörter zählen? Mein Verständnis dieses MapReduce von Google bedeutet, dass nur 1 Reducer beteiligt ist. Ist das richtig? Zum Beispie...
02.06.2011, 16:26
2
Antworten

Unterschied zwischen PIG local und mapreduce mode

Was ist der Unterschied zwischen PIG-Scripts lokal und auf mapreduce?  Ich verstehe mapreduce Modus, wenn Sie es auf einem Cluster ausführen, auf dem hdfs installiert ist. Bedeutet dies, dass der lokale Modus kein HDFS benötigt und somit auch Ma...
26.07.2012, 12:33
2
Antworten

Hadoop: Auftrag wird in kleineren Datenmengen ausgeführt, schlägt jedoch mit großen Datenmengen fehl

Ich habe eine folgende Situation Ich habe 3 Maschinencluster mit folgender Konfiguration. Master %Vor% Slave 01 %Vor% Slave 02 %Vor% hadoop / conf / core-site.xml %Vor% hadoop / conf / mapred-site.xml %Vor%...
22.07.2012, 16:40
3
Antworten

Hauptklasse konnte nicht gefunden oder geladen werden, wenn versucht wird, nomenode zu formatieren; Hadoop-Installation unter MAC OS X 10.9.2

Ich versuche, ein Entwicklungs-Einzelknoten-Cluster-Setup auf meinem MAC OS X 10.9.2 mit hadoop zu bekommen. Ich habe verschiedene Online-Tutorials ausprobiert, wobei das neueste dieses ist >. Um zusammenzufassen, was ich getan habe: %Vor%...
11.04.2014, 16:28
3
Antworten

Java 8 Gruppierung von Eins-zu-Viele

Ich möchte lernen, wie man die Java-8-Syntax mit Streams benutzt und ein bisschen hängen bleibt. Das Gruppieren ist einfach, wenn Sie für jeden Wert einen Schlüssel haben. Aber was, wenn ich eine Liste von Schlüsseln für jeden Wert habe und s...
02.05.2014, 07:34