emr, Seitenzahl 1

2

Antworten

AWS EMR Spark Python-Protokollierung

Ich führe einen sehr einfachen Spark-Job in AWS EMR aus und kann anscheinend keine Protokollausgabe von meinem Skript erhalten. Ich habe versucht, mit stderr zu drucken: %Vor% Und verwenden Sie den Funkenschreiber wie gezeigt hier : %V...

06.03.2017, 01:05

2

Antworten

Amazon Elastic Map Reduce - Erstellen eines Jobablaufs

Ich bin sehr neu bei Amazon Diensten. Ich habe Probleme bei der Schaffung von Arbeitsabläufen. Jedes Mal, wenn ich einen Jobfluss erstelle, schlägt er fehl oder wird heruntergefahren. Input-, Output- oder Mapper-Funktionen Upload-Techniken sind...

22.01.2013, 11:57

3

Antworten

Spark + EMR verwendet die Amazon-Einstellung "maximizeResourceAllocation" nicht alle Cores / Vcores

Ich führe einen EMR-Cluster (Version emr-4.2.0) für Spark mit dem Amazon-spezifischen maximizeResourceAllocation -Flag wie dokumentiert hier . Diesen Dokumenten zufolge "berechnet diese Option die maximalen Rechen- und Speicherressourcen, die...

30.11.2015, 16:51

2

Antworten

Pydoop auf Amazon EMR

Wie würde ich Pydoop auf Amazon EMR verwenden? Ich habe versucht, dieses Thema vergeblich zu googlen: Ist das überhaupt möglich?

24.05.2012, 02:22

1

Antwort

Lambda zum Erstellen eines EMR-Clusters löst die Cluster-Erstellung nicht aus

Ich versuche einen λ-Code zu erzeugen, der einen Cluster erzeugt, aber nichts passiert, vielleicht missverstand ich die Verwendung auf Node (da ich damit nicht vertraut bin). Die Funktion ist so einfach wie: // AWS-Abhängigkeiten konfiguri...

22.01.2015, 20:41

1

Antwort

YARN: Was ist der Unterschied zwischen Anzahl der Executoren und Executor-Cores in Spark?

Ich lerne Spark bei AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-Executor) und Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand sagen? Auch wenn ich versuche, den folgenden Job ein...

25.04.2016, 23:26

2

Antworten

Wie bereinige ich die Liste der beendeten AWS EMR-Cluster?

Ich habe ungefähr 88 EMR-Cluster, die in meinem AWS-Konto beendet sind. Wie bereinige ich die Liste der beendeten EMR-Cluster? Wird AWS die Liste bereinigen? Wieso sehe ich nicht, dass die terminierten Cluster aus der Liste der Cluster entfer...

05.05.2014, 20:14

1

Antwort

Wie kann ich die Installation von Hive / Pig in Amazon Data Pipeline stoppen?

Ich brauche weder Hive noch Pig, und die Amazon Data Pipeline installiert sie standardmäßig auf jedem EMR-Cluster, den sie hochfährt. Dies dauert länger als nötig. Irgendwelche Ideen zum Deaktivieren der Installation?

17.01.2014, 18:51

2

Antworten

beendet einen Funkensprung in aws

Ich möchte eine Reihe von Funkenschritten auf einem EMR-Funkencluster aufbauen und den aktuellen Schritt beenden, wenn es zu lange dauert. Wenn ich jedoch in den Master-Knoten ssh und die Hadoop-Jobs -list starte, scheint der Master-Knoten zu gl...

26.01.2016, 17:28