Ich habe einen Hadoop-Cluster (HDP 2.1). Alles hat lange funktioniert, aber plötzlich haben die Jobs begonnen, den folgenden wiederkehrenden Fehler zurückzugeben:
%Vor%Googeln ein bisschen, ich habe diese Probleme gesehen:
Sie scheinen verwandt zu sein. Warum lief der Cluster bis jetzt einwandfrei? In der Konfiguration wurde nichts geändert, der clsuter ist nicht im abgesicherten Modus, der HDFS-Speicherplatzverbrauch liegt bei 0,03% ... Irgendwelche Hinweise? Und in dem Fall, dass dies mit den oben genannten Problemen zusammenhängt, jede Problemumgehung?
Vielen Dank, ich bleibe dran für Ihre Antworten oder zusätzliche Informationsanforderungen.
Ihre Probleme sind ähnlich wie 5703, nach der Stapelverfolgung und wie in diesem Fehler angegeben:
"Die Methode GetTaskAttemptCompletionEventsResponse () hat einen Job durch Aufrufen von verifyAndGetJob () abgerufen, aber es hat nie überprüft, ob der Job null war oder nicht, was die Hauptursache für dieses Problem war."
Es gibt eine Job-Suche mit einer Job-ID, der Job wurde nicht gefunden.
In diesem Fehler wird ein Szenario aufgelistet, in dem ein Jobverlaufsserver (JHS) nach einem abgeschlossenen Job gefragt wird, JHS jedoch die Informationen für diesen Job nicht erhalten hat.
Es scheint offene Probleme hinsichtlich der Jobbeendigung und des Upload von Jobverlauf zu geben, die diese Ausnahme zulassen, wenn das Hochladen des Jobverlaufs fehlschlägt. In dem Fehler wurde das Problem dadurch ausgelöst, dass der Knoten neu gestartet wurde, der den Verlauf geschrieben hat, bevor der Verlaufs-Upload abgeschlossen ist, oder dass der Knoten keine guten Knoten zum Schreiben des Verlaufs hat.
Leider gibt es hier nichts, was Ihnen helfen könnte, zu identifizieren, warum der Upload des Verlaufs in Ihrem Fall fehlgeschlagen ist, aber dies scheint die zugrunde liegende Ursache des Problems zu sein. Ihr Jobverlaufsserver enthält keine Aufzeichnung des Jobs, der erfolgreich abgeschlossen wurde.
Tags und Links hadoop nullpointerexception