amazon-emr, Seitenzahl 1

Amazon Elastic MapReduce (Amazon EMR) ist ein Webdienst, mit dem Unternehmen, Forscher, Datenanalysten und Entwickler große Mengen an Daten einfach und kostengünstig verarbeiten können. Es verwendet ein gehostetes Hadoop-Framework, das auf der Web-Scale-Infrastruktur von Amazon Elastic Compute Cloud (Amazon EC2) und Amazon Simple Storage Service (Amazon S3) ausgeführt wird.

Antworten

Der EMR-Jobflow kann nicht mit temporären Anmeldeinformationen aus EC2-IAM-Rollen gestartet werden

Ich habe eine Instanz, der eine EC2-IAM-Rolle zugewiesen wurde. Ich kann keinen EMR-Jobflow von dieser Instanz mithilfe der temporären Anmeldeinformationen erstellen, die eine von der Rolle zugewiesene Instanz bereitstellt. Ich erhalte die folge...

17.08.2014, 20:21

Antworten

Spark + EMR verwendet die Amazon-Einstellung "maximizeResourceAllocation" nicht alle Cores / Vcores

Ich führe einen EMR-Cluster (Version emr-4.2.0) für Spark mit dem Amazon-spezifischen maximizeResourceAllocation -Flag wie dokumentiert hier . Diesen Dokumenten zufolge "berechnet diese Option die maximalen Rechen- und Speicherressourcen, die...

30.11.2015, 16:51

Antworten

Elastic Map Reduzieren Sie externe Jars

So ist es einfach genug, externe Gläser zu handhaben, wenn Sie Hadoop direkt verwenden. Sie haben die Option -libjars, die dies für Sie tun wird. Die Frage ist, wie Sie das mit EMR tun. Es muss einen einfachen Weg geben, es zu tun. Ich dachte -c...

14.06.2011, 00:03

Antwort

So finden Sie die Funkenmaster-URL auf Amazon EMR

Ich bin neu zu funken und versuchen, Funke auf Amazon-Cluster mit Version 1.3.1 zu installieren. wenn ich es tue %Vor% es funktioniert für mich, aber ich kam zu wissen, dass dies für Testzwecke ist, kann ich lokal [2] setzen Wenn ich vers...

10.06.2015, 15:28

Antworten

Hbase über Thrift-Verbindungstimeout bei Amazon EMR

Ich schreibe auf HBase mit TThreadPoolServer Thrift-Server, ich habe die folgenden HBase-Einstellungen für max Worker-Threads: hbase-site.xml %Vor% Dies ist das Skript, das ich für gleichzeitige Schreibvorgänge verwende: test.py %...

28.09.2016, 01:05