Ich bin sehr neu bei Amazon Diensten. Ich habe Probleme bei der Schaffung von Arbeitsabläufen. Jedes Mal, wenn ich einen Jobfluss erstelle, schlägt er fehl oder wird heruntergefahren. Input-, Output- oder Mapper-Funktionen Upload-Techniken sind mir nicht klar. Ich habe den Entwicklerbereich verfolgt, aber die Dinge werden nicht klar. Jeder Vorschlag wäre hilfreich. Danke im Voraus.
Das Fehlerprotokoll ist
%Vor%Dies ist die Korrektur, die für mich funktioniert hat und die Sie möglicherweise benötigen, wenn Ihre Job-Flows den folgenden Fehler melden:
%Vor%Wenn Sie ein AWS-Konto erstellen, muss standardmäßig der Sicherheitszugriffsschlüssel für Sie erstellt werden. In einigen Fällen wird es nicht automatisch erstellt, also sollten Sie selbst eine erstellen:
Unter dem Menü, auf das Sie durch Klicken auf Ihren Kontonamen in der AWS Console zugreifen können, finden Sie die Option Sicherheitsanmeldeinformationen . Klicke darauf
Erweitern Sie den Abschnitt Zugriffsschlüssel (Zugriffsschlüssel-ID und geheimer Zugriffsschlüssel) . Überprüfen Sie, ob dort bereits ein Schlüssel erstellt wurde.
Wenn kein Schlüssel gefunden wird, klicken Sie auf Neuen Zugriffsschlüssel erstellen und aktivieren Sie ihn (standardmäßig sollte er aktiviert sein).
Erstellen Sie jetzt einen Jobablauf und es sollte funktionieren
Ich hatte nach den AWS-Tutorials, die meinen ersten AWS EMR-Cluster erstellten, die gleichen Probleme. Die neue AWS EMR-Konsole würde versuchen, den Cluster "Starting" zu erstellen, aber nach 2 bis 4 Minuten würde sich der Cluster-Status in "Mit Fehlern beendet: Validierungsfehler" ändern und die Clusterdetails mit dem Status "Keine aktiven Schlüssel gefunden für Benutzerkonto ".
Sie müssen einen aktiven Zugriffsschlüssel in Ihren Sicherheitsanmeldeinformationen wie oben angegeben erstellen. Dann hat es gut für mich funktioniert.
Tags und Links hadoop amazon-s3 amazon-ec2 emr elastic-map-reduce