mapreduce, Seitenzahl 1

1

Antwort

Elastische Sturmtopologie / Storm-Hadoop koexistierend

Wir evaluieren Storm für einen Einsatz, aber ich bin etwas besorgt. Wir führen derzeit Hadoop MapReduce aus und möchten einige unserer Prozesse von MapReduce auf Storm-Prozesse umstellen. Beachten Sie, dass dies einige, aber nicht alle sind. Wir...

03.01.2013, 04:01

4

Antworten

Was ist der beste Weg, um einzigartige Besucher mit Hadoop zu zählen?

hey alle, wir fangen gerade erst mit hadoop an und sind gespannt, was der beste Weg in mapreduce wäre, einzigartige Besucher zu zählen, wenn deine Logfiles so aussehen ... %Vor% und für jede Site wollten Sie die einzigartigen Besucher für je...

21.05.2010, 20:37

2

Antworten

Welcher Unterschied besteht zwischen dem Ausführen eines Map-Reduce-Jobs mit dem Befehl hadoop und java?

Finden Sie viele Optionen zum Ausführen eines Map-Reduce-Programms. Kann irgendjemand Unterschiede zwischen Thesen unter Befehlen erklären? Und welche Auswirkungen hat Map-reduce auf den Job? %Vor% In diesem Befehl welcher der beste oder der...

07.08.2014, 10:28

3

Antworten

Hadoop: Wie funktioniert OutputCollector während MapReduce?

Ich möchte wissen, ob die 'instance'-Ausgabe des OutputCollectors in der Map-Funktion verwendet wird: output.collect (Schlüssel, Wert) diese -output- die Schlüsselwertpaare irgendwo speichern? Selbst wenn es an die Reducer-Funktion gesendet wird...

12.06.2012, 12:46

1

Antwort

Kreuzprodukt in MapReduce

Ich möchte die kostspielige Operation des Cross-Produkts über zwei Datensätze in Hadoop mit Java MapReduce durchführen. Zum Beispiel habe ich Datensätze aus Datensatz A und Datensatz B. Ich möchte, dass jeder Datensatz in Datensatz A mit jede...

28.04.2012, 17:41

3

Antworten

Speichern von Garbage Collection-Protokollen in $ {yarn.nodemanager.log-dirs} / application _ $ {appid} / container _ $ {contid} für Mapper und Reducer auf Hadoop Yarn

Ich versuche, Garbage Collection-Messwerte für meine Mapper und Reducer zu protokollieren. Ich kann die Protokolle jedoch nicht in den Pfad einfügen: ${yarn.nodemanager.log-dirs}/application_${appid}/container_${contid} Hier ist, was mein...

01.09.2016, 18:15

4

Antworten

Sortierte Wortzählung mit Hadoop MapReduce

Ich bin sehr neu in MapReduce und habe ein Hadoop-Wortzählbeispiel abgeschlossen. In diesem Beispiel wird eine unsortierte Datei (mit Schlüssel / Wert-Paaren) der Wortanzahl erstellt. Also ist es möglich, es nach der Anzahl der Wortvorkommen...

31.03.2010, 05:54

1

Antwort

Projektidee mit Hadoop MapReduce [geschlossen]

Ich habe Hadoop vor ein paar Monaten gelernt und es geschafft, ein sehr einleitendes Programmierprojekt zu machen. Ich möchte mit Hadoop ein kleines bis mittelgroßes Projekt oder eine Reihe kleiner Programmieraufgaben machen. Ich habe viele Idee...

02.03.2010, 18:42

2

Antworten

Split-Größe vs Blockgröße in Hadoop

Was ist die Beziehung zwischen Split-Größe und Blockgröße in Hadoop? Wie ich in dies gelesen habe, muss die Split-Größe n-mal sein Blockgröße (n ist eine ganze Zahl und n & gt; 0), ist das korrekt? Gibt es ein Muss in der Beziehung zwischen Sp...

30.05.2015, 17:33

3

Antworten

Wie behebe ich den Fehler "Illegale Partition" in hadoop?

Ich habe einen benutzerdefinierten Partitionierer geschrieben. Wenn die Anzahl der Reduzierungsaufgaben größer als 1 ist, schlägt der Job fehl. Dies ist die Ausnahme, die ich bekomme: %Vor% Der Code, den ich geschrieben habe, ist %Vor% D...

22.02.2013, 19:14