MapReduce ist ein Algorithmus zur Verarbeitung großer Datasets zu bestimmten Arten von verteilbaren Problemen unter Verwendung einer großen Anzahl von Knoten
Das ist meine Datei:
Col1, Col2, Col3, Col4, Col5
Ich brauche nur Col2 und Col3 .
Momentan mache ich das:
%Vor%
Gibt es eine Möglichkeit, nur Col2 und Col3 direkt zu laden, anstatt die gesamten input und dann gener...
Ich verwende Hadoop 2.0.5 (Alpha), um relativ große Jobs auszuführen, und habe folgende Fehler festgestellt:
Behälter
[pid = 15023, containerID = container_1378641992707_0002_01_000029] ist
über die Grenzen des virtuellen Speichers hin...
Gibt es eine effiziente Möglichkeit, mehrere Zeilen in HBase zu löschen, oder riecht mein Anwendungsfall nicht nach HBase?
Es gibt eine Tabelle, die "Diagramm" sagt, die Elemente enthält, die sich in Diagrammen befinden. Zeilenschlüssel haben...
Gibt es aktive "dokumentbasierte" Datenbankprojekte mit .NET oder Mono? Ähnlich wie CouchDB, SimpleDB, LotusNotes, etc ... Open Source bevorzugen.
Ich denke, die JScript.NET-Technologie könnte für die Map- und Reduce-Funktionen über gespeiche...
Ich möchte versuchen, Speicher in YARN zu setzen, also werde ich versuchen, einige Parameter auf yarn-site.xml und mapred-site.xml zu konfigurieren. Übrigens benutze ich hadoop 2.6.0. Aber ich erhalte einen Fehler, wenn ich einen mapreduce Job m...
In spark-env.sh ist es möglich, die folgenden Umgebungsvariablen zu konfigurieren:
%Vor%
Wenn ich einen eigenständigen Cluster damit starte:
%Vor%
Ich kann auf der Webseite von Spark Master UI sehen, dass alle Arbeiter mit nur 3 GB RAM b...
Nehmen wir an, ich habe eine Sammlung mit Dokumenten, die so aussehen (nur vereinfachtes Beispiel, aber es sollte das Schema zeigen):
%Vor%
Jetzt muss ich einige Statistiken über diese Sammlung sammeln. Zum Beispiel:
%Vor%
sammelt die Ge...
Ich habe mit MapReduce mit CouchDB herumgespielt. Einige der Beispiele zeigen eine möglicherweise schwere Logik innerhalb der Kartenreduzierungsfunktionen. In einem bestimmten Fall haben sie für Schleifen in der Karte ausgeführt.
Wird die Kar...
Ich habe Cloudera VM Version 5.8 auf meinem Rechner installiert. Wenn ich Word Count MapReduce-Job ausführe, wird unterhalb der Ausnahme ausgelöst.
%Vor%
Aber der Job wird erfolgreich abgeschlossen. Könnte jemand bitte mir helfen, dies zu lö...
Ich führe eine Aufgabe im pseudo-verteilten Modus auf meinem 4-Kern-Laptop aus. Wie kann ich sicherstellen, dass alle Kerne effektiv genutzt werden?
Momentan zeigt mein Job-Tracker an, dass jeweils nur ein Job ausgeführt wird. Bedeutet das, dass...