Wie sortiere ich die Wortzahl in hadoop nach Wert? [Duplikat]

8

hi Ich wollte lernen, wie man die Wortzählung nach Wert in hadoop sortiert. Ich kenne Hadoop-Takes von Sortierschlüsseln, aber nicht nach Werten.

ich weiß, um die Werte zu sortieren, müssen wir einen Partitionierer, einen Gruppierungskomparator und einen Sortierkomparator haben

aber ich bin etwas verwirrt, wenn ich diese Konzepte zusammen anwende, um die Wortzählung nach Wert zu sortieren.

Brauchen wir einen anderen Map-Reduce-Job, um denselben zu erreichen, oder einen Combiner, um die Vorkommen zu zählen und dann hier zu sortieren und denselben zum Reducer zu emittieren?

kann jemand erklären, wie man Wortzählungsbeispiel durch Werte sortiert?

    
user1585111 23.08.2013, 13:16
quelle

2 Antworten

7

Sie müssen einen zweiten mapreduce Job haben. Wenn Sie nicht auf die Gesamtanzahl schließen (was der erste MR-Job macht), wie können Sie nach Wert sortieren (die Anzahl der Wörter)? Logisch nicht möglich.

    
Rags 23.08.2013, 15:05
quelle
6

Dies wird als sekundäre Sortierung bezeichnet. Siehe dies und dies für Details.

    
Tariq 23.08.2013 15:11
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Bytes Nachrichtenargumentfehler