Ruft die ID des Aufgabenversuchs für die aktuell ausgeführte Hadoop-Aufgabe ab

8

Die Task-Side-Effect-Dateien im Abschnitt Im Hadoop-Lernprogramm wird erwähnt, dass die "versuchsweise" der Aufgabe als eindeutiger Name verwendet wird. Wie bekomme ich diese Versuchs-ID in meinem Mapper oder Reducer?

    
David Phillips 29.09.2009, 20:15
quelle

3 Antworten

11

Wenn Sie eine eindeutige ID für eine Nebeneffektdatei in hadoop benötigen, können Sie die eindeutige ID des Versuchs im Job mit diesem Code nutzen:

%Vor%     
Dain Sundstrom 29.09.2009, 21:26
quelle
9

Mit der neuen Hadoop API:

%Vor%     
Brian Bloniarz 25.06.2013 23:11
quelle
4

Bis zur Party, aber Sie können die TaskAttemptID -Klasse verwenden, um die mapred.task.id -Eigenschaft zu analysieren.

In meinem Fall wollte ich den numerischen Versuchswert selbst und verwendete folgendes in meinem Mapper:

%Vor%     
CalloRico 04.07.2012 20:19
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Einstellung Display-Eigenschaft im Code hinter