hadoop, Seitenzahl 7

Hadoop ist ein Apache-Open-Source-Projekt, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Das Projekt selbst enthält eine Vielzahl anderer ergänzender Ergänzungen.

Antworten

MapReduce mit MongoDB wirklich, wirklich langsam (30 Stunden vs 20 Minuten in MySQL für eine gleichwertige Datenbank)

Ich mache jetzt einige Daten analysieren Tests und in der ersten, wirklich einfach habe ich sehr seltsame Ergebnisse. Die Idee ist folgende: aus einem Internet-Zugangsprotokoll (eine Sammlung mit einem Dokument für jeden Zugriff, für die Test...

27.08.2012, 09:13

Antworten

Wie führe ich Hbase Java Beispiel?

Ich habe Probleme mit dem Ausführen eines einfachen Hbase-Beispiels. Ich habe create auf HbaseTest.java, die eine Tabelle erstellen und einige Datensätze einfügen. Unter Unix kann ich die Java-Klasse kompilieren. durch. $ javac -classpath...

05.12.2012, 17:23

Antworten

Mapreduce für Dummies

Ok, ich versuche Hadoop und mapreduce zu lernen. Ich möchte wirklich mit mapreduce anfangen und was ich finde, sind viele, viele vereinfachte Beispiele von Mappern und Reducern, etc. Ich habe jedoch gesehen, dass etwas fehlt. Ein Beispiel, das z...

12.01.2012, 17:23

Antworten

Spark 1.6 - Fehler beim Suchen des Winutils-Binary im binären Hadoop-Pfad

Ich weiß, dass es einen sehr ähnlichen Beitrag zu diesem gibt ( Fehler beim Suchen der Winutils-Binärdatei im binären Hadoop-Pfad ), jedoch habe ich jeden vorgeschlagenen Schritt versucht, und es wird immer noch derselbe Fehler angezeigt. Ich...

09.01.2016, 19:11

Antwort

Liest eine Textdatei von HDFS zeilenweise in Mapper

Ist der folgende Code für Mapper, Lesen einer Textdatei von HDFS richtig? Und wenn es ist: Was passiert, wenn zwei Mapper in verschiedenen Knoten versuchen, die Datei fast gleichzeitig zu öffnen? Muss InputStreamReader nicht geschlossen...

28.01.2013, 23:33

Antwort

Wie wähle ich Daten aus einer Struktur mit einer bestimmten Partition aus?

jeder. Hier sind die Interaktionen mit dem Bienenstock: %Vor% Meine Frage ist, warum die erste Auswahl die Daten nicht bekommen kann?

28.07.2012, 10:17

Antworten

Hadoop: Erfordert das root-Passwort nach Eingabe von "start-all.sh"

Ich habe Hadoop und SSH auf meinem Laptop installiert. "ssh localhost" funktioniert gut. Nach dem Formatieren von HDFS habe ich versucht, Hadoop zu starten. %Vor% Es erfordert ein Passwort. Meine Rolle ist "munichong". Aber das Passwort von...

04.03.2013, 05:20

Antwort

Hadoop-Job, der Eingabedateien aus mehreren Verzeichnissen übernimmt

Ich habe eine Situation, in der ich mehrere (mehr als 100 von 2-3 MB) Dateien im komprimierten gz-Format in mehreren Verzeichnissen habe. Zum Beispiel A1 / B1 / C1 / Teil-0000.gz A2 / B2 / C2 / Teil-0000.gz A1 / B1 / C1 / Teil-0001.gz I...

04.01.2011, 11:48

Antworten

Hadoop-DFS-Berechtigungsproblem beim Ausführen eines Jobs

Ich erhalte den folgenden Berechtigungsfehler und bin mir nicht sicher, warum Hadoop versucht, in diesen speziellen Ordner zu schreiben: %Vor% Irgendeine Idee, warum es versucht, in die Wurzel meiner hdfs zu schreiben? Update: Nachdem i...

08.09.2011, 17:12

Antwort

Aggregierte Ressourcenzuordnung für einen Job in YARN

Ich bin neu in Hadoop. Wenn ich einen Job ausführe, sehe ich die gesamte Ressourcenzuweisung für diesen Job als 251248654 MB-Sekunden, 24462 Vcore-Sekunden. Wenn ich jedoch Details über den Cluster finde, zeigt es, dass es 888 Vcores-Gesamt und...

23.11.2015, 08:52