hadoop, Seitenzahl 3

Hadoop ist ein Apache-Open-Source-Projekt, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Das Projekt selbst enthält eine Vielzahl anderer ergänzender Ergänzungen.

Antwort

Projektidee mit Hadoop MapReduce [geschlossen]

Ich habe Hadoop vor ein paar Monaten gelernt und es geschafft, ein sehr einleitendes Programmierprojekt zu machen. Ich möchte mit Hadoop ein kleines bis mittelgroßes Projekt oder eine Reihe kleiner Programmieraufgaben machen. Ich habe viele Idee...

02.03.2010, 18:42

Antwort

Kann keine Funke-Anwendung mit einer Java-Klasse im Cluster aufrufen

Unten ist die Struktur meines Projekts: Funkenanwendung : scala1.scala // Ich rufe die Java-Klasse von dieser Klasse auf. java.java // Dies wird eine weitere Funkenanwendung an die Garngruppe senden. Die spark-Anwendung, di...

05.05.2017, 06:57

Antworten

Der Knoten / hbase befindet sich nicht in ZooKeeper

Ich bin ein Neuling in Hadoop, der versucht, Hbase im pseudo-verteilten Modus, Version hbase-0.98.10.1-hadoop1-bin, mit Hadoop 2.5.2 zu installieren. Ich kann keine Tabelle hinzufügen. Der folgende Fehler wird fortgesetzt, wenn ich versuche,...

19.02.2015, 11:33

Antwort

Fehler beim Verbinden von Hortonworks Hive ODBC in Excel 2013

Ich versuche, Hortonworks Hive über ODBC-Treiber in Excel 2013 abzufragen. Ich habe den Treiber hier heruntergeladen (32-Bit): Ссылка Hortonworks 2.5 Hive 2.5.0.0-1245 Dann füge ich die Konfiguration in ODBC Data Source Administrat...

06.02.2017, 20:57

Antwort

UnbefriedigterLinkError (NativeIO $ Windows.access0) beim Übermitteln von mapreduce-Auftrag an hadoop 2.2 von Windows an ubuntu

Ich sende meine mapreduce-Jobs von einer Java-Anwendung, die unter Windows läuft, an den Hadoop-2.2-Cluster, der auf ubuntu läuft. In Hadoop 1.x funktionierte das wie erwartet, aber auf Hadoop 2.2 erhalte ich einen seltsamen Fehler: java.lan...

14.12.2013, 13:55

Antwort

Wie Sie den Hadoop-Client in einem sicheren (Kerberos-) Cluster an die Benutzer-korrekten Anmeldeinformationen übergeben

Ich habe ein Hadoop (CDH412) Cluster-Setup, das für die Authentifizierung und Autorisierung mit Kerberos aktiviert wurde. Ich habe alles gut (Hdfs, Mapred, Tierpfleger, HBase, Bienenstock, etc.). Ich habe jedoch ein Problem mit dem Zugriff auf h...

18.01.2013, 13:18

Antwort

Spark SQL konnte das Schreiben von Parquet-Daten mit einer großen Anzahl von Shards nicht abschließen

Ich versuche, Apache Spark SQL zu verwenden, um JSL-Protokolldaten in S3 in Parquet-Dateien auch auf S3 zu setzen. Mein Code ist im Grunde: %Vor% Dieser Code funktioniert, wenn ich bis zu 2000 Partitionen habe und für 5000 oder mehr fehlschl...

10.10.2014, 02:46

Antworten

Zugreifen auf Dateien im verteilten Hadoop-Cache

Ich möchte den verteilten Cache verwenden, damit meine Mapper auf Daten zugreifen können. In main verwende ich den Befehl %Vor% where / user / peter / cacheFile / testCache1 ist eine Datei, die in hdfs existiert Dann sieht meine Setup-Fun...

06.12.2012, 15:10

Antworten

Split-Größe vs Blockgröße in Hadoop

Was ist die Beziehung zwischen Split-Größe und Blockgröße in Hadoop? Wie ich in dies gelesen habe, muss die Split-Größe n-mal sein Blockgröße (n ist eine ganze Zahl und n & gt; 0), ist das korrekt? Gibt es ein Muss in der Beziehung zwischen Sp...

30.05.2015, 17:33

Antworten

Können Brute-Force-Algorithmen skalieren?

Ich habe ein mathematisches Problem, das ich durch Versuch und Irrtum löse (ich denke, das nennt man Brute Force), und das Programm funktioniert gut, wenn es ein paar Optionen gibt, aber wenn ich weitere Variablen / Daten hinzufüge, dauert es lä...

01.09.2011, 02:32