yarn, Seitenzahl 1

YARN (Yet Another Resource Negotiator) ist eine Schlüsselkomponente der Apache Hadoop-Infrastruktur der zweiten Generation. Verwenden Sie DIESE NICHT für den JavaScript / Node.js Garn-Paket-Manager (verwenden Sie stattdessen [yarnpkg])! Ursprünglich von Apache als neugestalteter Ressourcenmanager beschrieben, wird YARN jetzt als großräumiges, verteiltes Betriebssystem für Big-Data-Anwendungen einschließlich MapReduce (MR2) der nächsten Generation charakterisiert.

Antworten

Welcher Unterschied besteht zwischen dem Ausführen eines Map-Reduce-Jobs mit dem Befehl hadoop und java?

Finden Sie viele Optionen zum Ausführen eines Map-Reduce-Programms. Kann irgendjemand Unterschiede zwischen Thesen unter Befehlen erklären? Und welche Auswirkungen hat Map-reduce auf den Job? %Vor% In diesem Befehl welcher der beste oder der...

07.08.2014, 10:28

Antwort

Lasse YARN Appcache vor dem erneuten Versuch bereinigen

Die Situation ist die folgende: Eine YARN-Anwendung wird gestartet. Es wird geplant. Es schreibt viel in sein Appcache-Verzeichnis. Die Anwendung schlägt fehl. YARN startet es neu. Es wird ausstehend, da nicht genügend Speicherplatz vo...

18.08.2015, 21:18

Antworten

Speichern von Garbage Collection-Protokollen in $ {yarn.nodemanager.log-dirs} / application _ $ {appid} / container _ $ {contid} für Mapper und Reducer auf Hadoop Yarn

Ich versuche, Garbage Collection-Messwerte für meine Mapper und Reducer zu protokollieren. Ich kann die Protokolle jedoch nicht in den Pfad einfügen: ${yarn.nodemanager.log-dirs}/application_${appid}/container_${contid} Hier ist, was mein...

01.09.2016, 18:15

Antworten

Der Start des Apache Spark YARN-Modus dauert zu lange (10+ Sekunden)

Ich führe eine Spark-Anwendung mit dem YARN-Client- oder YARN-Cluster-Modus aus. Aber es scheint zu lange zu brauchen, um zu starten. Es dauert 10+ Sekunden, um den Funkenkontext zu initialisieren. Ist das normal? Oder kann es optimiert...

07.05.2015, 01:07

Antwort

Kann keine Funke-Anwendung mit einer Java-Klasse im Cluster aufrufen

Unten ist die Struktur meines Projekts: Funkenanwendung : scala1.scala // Ich rufe die Java-Klasse von dieser Klasse auf. java.java // Dies wird eine weitere Funkenanwendung an die Garngruppe senden. Die spark-Anwendung, di...

05.05.2017, 06:57

Antworten

Spark + EMR verwendet die Amazon-Einstellung "maximizeResourceAllocation" nicht alle Cores / Vcores

Ich führe einen EMR-Cluster (Version emr-4.2.0) für Spark mit dem Amazon-spezifischen maximizeResourceAllocation -Flag wie dokumentiert hier . Diesen Dokumenten zufolge "berechnet diese Option die maximalen Rechen- und Speicherressourcen, die...

30.11.2015, 16:51

Antwort

Aggregierte Ressourcenzuordnung für einen Job in YARN

Ich bin neu in Hadoop. Wenn ich einen Job ausführe, sehe ich die gesamte Ressourcenzuweisung für diesen Job als 251248654 MB-Sekunden, 24462 Vcore-Sekunden. Wenn ich jedoch Details über den Cluster finde, zeigt es, dass es 888 Vcores-Gesamt und...

23.11.2015, 08:52

Antwort

Wie übermittele ich einen Spark-Job auf einem Remote-Master-Knoten im Garn-Client-Modus?

Ich muss Spark Apps / Jobs auf einen Remote-Funke-Cluster einreichen. Ich habe momentan auf meinem Rechner und der IP-Adresse des Master-Knotens als Garn-Client gezündet. Übrigens ist meine Maschine nicht im Cluster. Ich reiche meinen Job mit di...

06.06.2016, 01:25

Antwort

Funke-Submit mit --master yarn-cluster laufen lassen: Problem mit Funke-Baugruppe

Ich führe Spark 1.1.0, HDP 2.1, auf einem kerberisierten Cluster aus. Ich kann Spark-Submit erfolgreich ausführen, indem ich --master yarn-client verwende und die Ergebnisse korrekt in HDFS geschrieben werden. Der Job wird jedoch nicht auf der H...

18.12.2014, 22:59

Antworten

Unterschied zwischen 3 Speicherparametern in Hadoop 2?

Ich verwende Hadoop 2.0.5 (Alpha), um relativ große Jobs auszuführen, und habe folgende Fehler festgestellt: Behälter [pid = 15023, containerID = container_1378641992707_0002_01_000029] ist über die Grenzen des virtuellen Speichers hin...

09.09.2013, 06:33