mapreduce

Fragen
MapReduce ist ein Algorithmus zur Verarbeitung großer Datasets zu bestimmten Arten von verteilbaren Problemen unter Verwendung einer großen Anzahl von Knoten
2
Antworten

Wie sortiere ich die Wortzahl in hadoop nach Wert? [Duplikat]

hi Ich wollte lernen, wie man die Wortzählung nach Wert in hadoop sortiert. Ich kenne Hadoop-Takes von Sortierschlüsseln, aber nicht nach Werten. ich weiß, um die Werte zu sortieren, müssen wir einen Partitionierer, einen Gruppierungskompar...
23.08.2013, 13:16
4
Antworten

Ermitteln von verbundenen Komponenten mithilfe von Hadoop / MapReduce

Ich muss verbundene Komponenten für einen großen Datensatz finden. (Graph ist ungerichtet) Eine offensichtliche Wahl ist MapReduce. Aber ich bin ein Neuling für MapReduce und habe keine Zeit, es aufzunehmen und selbst zu programmieren. Ich...
20.05.2012, 21:30
2
Antworten

akka: Muster zum Kombinieren von Nachrichten von mehreren Kindern

Hier ist das Muster, auf das ich gestoßen bin: Ein Schauspieler A hat mehrere Kinder C1 , ..., Cn . Nach Erhalt einer Nachricht sendet A die Nachricht an jedes ihrer untergeordneten Elemente, die jeweils eine Berechnung für die Nach...
11.06.2015, 21:38
1
Antwort

Wann sollte die Map Reduce over Aggregation Pipeline in MongoDB verwendet werden?

Beim Betrachten der Dokumentation für Map-Reduction habe ich folgendes gefunden:    HINWEIS:       Für die meisten Aggregationsoperationen bietet die Aggregationspipeline   bessere Leistung und kohärentere Schnittstelle. Map-Reduce   Opera...
22.05.2015, 08:19
1
Antwort

Wie kann ich das hadoop-Ergebnis im CSV-Format ausgeben?

Ich muss mein Hadoop-Ergebnis im .csv-Format ausgeben. Wie werde ich das tun? Mein Code: Ссылка sollte ich einfach csvoutputFormat in meinen Code aufnehmen. Ich verwende mapreduce API myjob.sh %Vor% LÖSUNG ys ich fehlte & gt; in...
02.05.2013, 03:29
4
Antworten

Hadoop MapReduce: Können zwei Mapper und Reducer in einer Hadoop-Jobklasse definiert werden?

Ich habe zwei getrennte Java-Klassen, um zwei verschiedene mapreduce-Jobs zu erledigen. Ich kann sie unabhängig ausführen. Die Eingabedateien, mit denen sie arbeiten, sind für beide Jobs identisch. Meine Frage ist also, ob es möglich ist, zwei M...
20.06.2012, 15:23
1
Antwort

wie man Tabellen in HBase verbindet

Ich muss Tabellen in Hbase verbinden. Ich habe HIVE und HBase integriert und das funktioniert gut. Ich kann mit HIVE abfragen. Aber kann mir jemand helfen, Tabellen in HBase zu verbinden, ohne HIVE zu benutzen? Ich denke, mit mapreduce kön...
04.07.2012, 10:32
8
Antworten

Hadoop Streaming - Dateifehler konnte nicht gefunden werden

Ich versuche einen hadoop-streaming-Python-Job auszuführen. %Vor% Ich habe sichergestellt, dass mapper.py über alle Berechtigungen verfügt. Es ist falsch zu sagen %Vor% Ich habe versucht, mapper.py in hdfs zu kopieren und den gleichen Li...
02.12.2010, 20:56
2
Antworten

Rückgabe eindeutiger Werte durch den Schlüssel in CouchDB

Gibt es in CouchDB eine Möglichkeit, Folgendes zu tun? Eine Möglichkeit, eindeutige, eindeutige Werte mit einem bestimmten Schlüssel zurückzugeben? %Vor% Zum Beispiel: Ссылка "key1" würde ['somevalue'] zurückgeben Ссылка "key2" wür...
28.03.2011, 08:58
5
Antworten

Hadoop: java.lang.IncompatibleClassChangeError: Gefundene Schnittstelle org.apache.hadoop.mapreduce.JobContext, aber Klasse wurde erwartet

Meine MapReduce-Jobs werden in Eclipse ordnungsgemäß ausgeführt, wobei alle möglichen Hadoop- und Hive-Dateien im Eclipse-Projekt als Abhängigkeiten enthalten sind. (Dies sind die Jars, die mit einem einzelnen Knoten, lokale Hadoop-Installation,...
25.03.2014, 09:30