hadoop, Seitenzahl 2

Hadoop ist ein Apache-Open-Source-Projekt, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Das Projekt selbst enthält eine Vielzahl anderer ergänzender Ergänzungen.

Antwort

Zugriff auf den Hive-Metastore mithilfe von jdbc mit Kerberos-Keytab

Ich versuche, mich mit einem Hive-Metasor zu verbinden, der für die Verwendung von Kerberos zur Authentifizierung konfiguriert wurde. Dies funktioniert für mich, wenn ich nicht versuche, eine Keytab-Datei zu verwenden, d. H. Wenn das Programm mi...

27.01.2014, 07:42

Antwort

Kreuzprodukt in MapReduce

Ich möchte die kostspielige Operation des Cross-Produkts über zwei Datensätze in Hadoop mit Java MapReduce durchführen. Zum Beispiel habe ich Datensätze aus Datensatz A und Datensatz B. Ich möchte, dass jeder Datensatz in Datensatz A mit jede...

28.04.2012, 17:41

Antworten

Hadoop 2.6 Herstellen einer Verbindung mit ResourceManager unter /0.0.0.0:8032

Ich versuche, das folgende Spark-Beispiel unter Hadoop 2.6 auszuführen, aber ich erhalte den folgenden Fehler: INFO RMProxy: Verbindung zum ResourceManager unter /0.0.0.0:8032 und der Client tritt in eine Schleife ein, um eine Verbindung her...

06.12.2015, 13:32

Antworten

Speichern von Garbage Collection-Protokollen in $ {yarn.nodemanager.log-dirs} / application _ $ {appid} / container _ $ {contid} für Mapper und Reducer auf Hadoop Yarn

Ich versuche, Garbage Collection-Messwerte für meine Mapper und Reducer zu protokollieren. Ich kann die Protokolle jedoch nicht in den Pfad einfügen: ${yarn.nodemanager.log-dirs}/application_${appid}/container_${contid} Hier ist, was mein...

01.09.2016, 18:15

Antwort

HIVE-Insert überschreibt das Verzeichnis mit dem JSON-Format

Wie kann ich überschreiben Verzeichnis mit JSON-Schema einfügen? Es gibt rohen Bienenstock avro Tisch; (Das hat eigentlich viele Felder) %Vor% dann möchte ich Abfrage Ergebnis in ein Verzeichnis in hdfs von jsonserde speichern. Ich hab...

22.04.2016, 13:31

Antwort

Schreibe Datenrahmen nach Phoenix

Ich versuche, Dataframe in Phoenix-Tabelle zu schreiben, aber ich bekomme eine Ausnahme. Hier ist mein Code: %Vor% und die Ausnahme ist: %Vor% Ich habe phoenix-spark und phoenix-core jars zu meiner pom.xml hinzugefügt

20.03.2017, 06:37

Antwort

Führen Sie einen Hadoop-Job ohne Ausgabedatei aus

Ist es möglich, einen Hadoop-Job ohne Angabe der Ausgabedatei auszuführen? Wenn ich versuche, einen Hadoop-Job auszuführen, wird keine für die Ausgabedatei angegebene Ausnahme ausgelöst. Kann jemand bitte irgendein Verfahren dazu mit Java geben....

03.10.2012, 11:40

Antwort

Hadoop: Bindung mehrerer IP-Adressen an einen Cluster-NameNode

Ich habe einen Hadoop-Cluster mit vier Knoten auf Softlayer. Der Master (NameNode) hat eine öffentliche IP-Adresse für den externen Zugriff und eine private IP-Adresse für den Clusterzugriff. Die Slave-Knoten (Datenknoten) haben eine private IP-...

05.08.2014, 09:17

Antworten

Der Start des Apache Spark YARN-Modus dauert zu lange (10+ Sekunden)

Ich führe eine Spark-Anwendung mit dem YARN-Client- oder YARN-Cluster-Modus aus. Aber es scheint zu lange zu brauchen, um zu starten. Es dauert 10+ Sekunden, um den Funkenkontext zu initialisieren. Ist das normal? Oder kann es optimiert...

07.05.2015, 01:07

Antworten

Sortierte Wortzählung mit Hadoop MapReduce

Ich bin sehr neu in MapReduce und habe ein Hadoop-Wortzählbeispiel abgeschlossen. In diesem Beispiel wird eine unsortierte Datei (mit Schlüssel / Wert-Paaren) der Wortanzahl erstellt. Also ist es möglich, es nach der Anzahl der Wortvorkommen...

31.03.2010, 05:54