hadoop-streaming

Ich habe eine folgende Situation Ich habe 3 Maschinencluster mit folgender Konfiguration. Master %Vor% Slave 01 %Vor% Slave 02 %Vor% hadoop / conf / core-site.xml %Vor% hadoop / conf / mapred-site.xml %Vor%...

Ich habe eine sequentielle Datei, die die Ausgabe des hadoop map-reduce-Jobs ist. In dieser Datei werden Daten in Schlüsselwertpaare geschrieben, und der Wert selbst ist eine Map. Ich möchte den Wert als ein MAP-Objekt lesen, damit ich es weiter...

Ich analysiere Zugriffsprotokolle, die von Apache, Nginx, Darwin (Video-Streaming-Server) generiert wurden, und aggregiere Statistiken für jede gelieferte Datei nach Datum / Referrer / Useragent. Jede Stunde werden Tonnen von Protokollen gene...

Nach Ссылка , Die Formel zum Bestimmen der Anzahl der gleichzeitig ausgeführten Aufgaben pro Knoten lautet: %Vor% Beim Einstellen dieser Parameter auf (für einen Cluster von c3.2xlarges): garn.nodemanager.resource.memory-mb = 14336 ma...