mapreduce, Seitenzahl 6

2

Antworten

Hadoop - Schreiben in HBase direkt vom Mapper

Ich habe einen Haddop-Job, dessen Ausgabe in HBase geschrieben werden sollte. Ich brauche keinen Reduzierer, die Art von Zeile, die ich einfügen möchte, wird im Mapper festgelegt. Wie kann ich TableOutputFormat verwenden, um dies zu erreichen...

16.06.2012, 08:17

3

Antworten

wie verhindert werden kann, dass der Hadoop-Job in einer beschädigten Eingabedatei fehlschlägt

Ich führe einen Hadoop-Job für viele Eingabedateien durch. Wenn jedoch eine der Dateien beschädigt ist, schlägt der gesamte Job fehl. Wie kann ich den Job machen, um die beschädigte Datei zu ignorieren? schreiben Sie vielleicht für mich ein Z...

17.02.2013, 10:41

2

Antworten

Speicherlimit mit appengine-mapreduce

Ich arbeite an der appengine-mapreduce-Funktion und habe die Demo für meinen Zweck modifiziert. Grundsätzlich habe ich eine Million Zeilen im folgenden Format: userid, time1, time2. Mein Zweck ist es, den Unterschied zwischen time1 und time2 für...

12.02.2012, 17:40

4

Antworten

ein Problem mit Map Reduce lösen

Ich möchte in Ruby meine Implementierung der Funktionen map und reduce für ein System wie hadoop simulieren, um zu bestätigen, dass die Idee zumindest funktioniert. Ich habe das folgende Problem. Ich habe zwei Listen von Elementen: %V...

10.04.2011, 15:01

1

Antwort

Ein MapReduce-Job kann nicht auf hadoop 2.4.0 ausgeführt werden

Ich bin neu bei hadoop und hier ist mein Problem. Ich habe Hadoop 2.4.0 mit jdk1.7.60 auf Cluster von 3 Maschinen konfiguriert. Ich kann alle Befehle von hadoop ausführen. Jetzt habe ich Wordcount Beispiel geändert und JAR-Datei erstellt. Ich ha...

30.06.2014, 00:13

2

Antworten

Hadoop Streaming: Mapper "umschließt" eine binäre ausführbare Datei

Ich habe eine Pipeline, die ich derzeit auf einem großen Universitätscomputercluster betreibe. Zu Veröffentlichungszwecken möchte ich es in mapreduce-Format konvertieren, so dass es von jedem bei der Verwendung eines Hadoop-Clusters wie Amazon W...

06.11.2010, 15:45

2

Antworten

Gibt es MapReduce-Implementierungen auf GPUs (CUDA)?

Bisher ist mir der Mars bekannt , aber was ist mit Alternativen? >

14.06.2011, 07:01

1

Antwort

Ist es möglich, Hadoop im pseudo-verteilten Betrieb ohne HDFS auszuführen?

Ich untersuche die Optionen für die Ausführung einer hadoop-Anwendung auf einem lokalen System. Wie bei vielen Anwendungen sollten die ersten Releases in der Lage sein, auf einem einzigen Knoten zu laufen, solange wir alle verfügbaren CPU-Ker...

23.08.2010, 08:59

2

Antworten

mapreduce Zählbeispiel

Meine Frage bezieht sich auf mapreduce programming in java . Angenommen, ich habe das WordCount.java Beispiel, ein Standard mapreduce program . Ich möchte, dass die Kartenfunktion einige Informationen sammelt und zu den Reduzierungsfunkti...

28.05.2011, 20:40

3

Antworten

Hadoop-Konfiguration: mapred. * vs mapreduce. *

Ich habe festgestellt, dass es zwei Gruppen von Hadoop-Konfigurationsparametern gibt: einen mit mapred. * und den anderen mit mapreduce. . Ich vermute, dass dies an der alten API gegenüber der neuen API liegen könnte, aber wenn ich mich nicht ir...

11.06.2012, 19:52