hadoop, Seitenzahl 16

Hadoop ist ein Apache-Open-Source-Projekt, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Das Projekt selbst enthält eine Vielzahl anderer ergänzender Ergänzungen.

Antwort

So stoppen / beenden Sie Airflow-Aufgaben über die Benutzeroberfläche

Wie kann ich eine laufende Aufgabe auf der Airflow-Benutzeroberfläche stoppen / beenden? Ich verwende LocalExecutor . Auch wenn ich CeleryExecutor verwende, wie kann ich die laufende Aufgabe beenden / beenden?

26.04.2017, 10:33

Antworten

Spark scheitert bei großen Shuffle-Jobs mit java.io.IOException: Dateisystem geschlossen

Ich finde oft, dass Funken bei großen Jobs mit einer ziemlich sinnlosen Ausnahme versagen. Die Worker-Protokolle sehen normal aus, keine Fehler, aber sie erhalten den Status "KILLED". Dies ist sehr häufig bei großen Shuffles, so Operationen wie...

04.06.2014, 13:34

Antwort

Spark erzwingt log4j

Ich habe ein triviales Funkenprojekt in Scala und möchte Logback verwenden, aber Spark / Hadoop scheint Log4j auf mich zu zwingen. Das scheint nicht mit meinem Verständnis des Zwecks von slf4j übereinzustimmen; ist es ist kein Versehen in F...

01.08.2015, 20:59

Antworten

mapreduce Zählbeispiel

Meine Frage bezieht sich auf mapreduce programming in java . Angenommen, ich habe das WordCount.java Beispiel, ein Standard mapreduce program . Ich möchte, dass die Kartenfunktion einige Informationen sammelt und zu den Reduzierungsfunkti...

28.05.2011, 20:40

Antworten

Laufende Karte: Reduziert den Auftrag für bestimmte Dateien / Blöcke in HDFS

Zuallererst, ich bin neu in hadoop:) Ich habe einen großen Datensatz von gezippten Dateien (TBs von Dokumenten in gezippten Dateien in der Größe von jeweils 100-500mb). Im Grunde brauche ich eine Art Filterung meiner Eingabe für meine Map-...

21.06.2013, 10:53

Antworten

So führen Sie die HBase-Shell für einen fernen Cluster aus

Ich betreibe HBase im pseudo-verteilten Modus auf meiner Workstation. Wir haben auch HBase auf einem Cluster ausgeführt. Mit der HBase-Shell möchte ich von meiner Workstation aus auf die HBase-Instanz zugreifen, die auf dem Cluster ausgeführt wi...

18.04.2012, 23:16

Antworten

Hadoop-Konfiguration: mapred. * vs mapreduce. *

Ich habe festgestellt, dass es zwei Gruppen von Hadoop-Konfigurationsparametern gibt: einen mit mapred. * und den anderen mit mapreduce. . Ich vermute, dass dies an der alten API gegenüber der neuen API liegen könnte, aber wenn ich mich nicht ir...

11.06.2012, 19:52

Antworten

Verwendung von S3 (Frankfurt) mit Spark

Jeder benutzt s3 auf Frankfurt mit hadoop / spark 1.6.0? Ich versuche das Ergebnis eines Jobs in s3 zu speichern, meine Abhängigkeiten werden wie folgt deklariert: %Vor% Ich habe folgende Konfiguration vorgenommen: %Vor% Wenn ich sav...

15.04.2016, 12:23

Antworten

Wie entpacken Sie die Datei in hadoop?

Ich habe versucht, eine Zip-Datei zu entpacken, die im Hadoop-Dateisystem gespeichert ist, & amp; Speichern Sie es im Hadoop-Dateisystem. Ich habe versucht, Befehle zu befolgen, aber keiner von ihnen hat funktioniert. %Vor% Ich erhalte Fehle...

17.03.2015, 06:58

Antworten

hadoop map reduziere die nutzung für immer zum abschluss

Ich bin neu in der Welt der Karte zu reduzieren, ich habe einen Job ausgeführt und es scheint ewig dauern, um abzuschließen, da es eine relativ kleine Aufgabe ist, ich vermute, etwas ist nicht nach Plan gegangen. Ich benutze Hadoop-Version 2.6,...

02.07.2015, 23:48