Spark: Datensätze in Gruppen sortieren?

Sie müssen einen Schlüssel und dann mapValues ​​definieren, um sie zu sortieren.

groupByKey ist teuer, hat zwei Implikationen:

1. Die Mehrheit der Daten wird im Durchschnitt in den verbleibenden N-1-Partitionen gemischt.
2. Alle Datensätze desselben Schlüssels werden in den einzelnen Executor geladen und verursachen möglicherweise Speicherfehler.

Abhängig von Ihrem Anwendungsfall haben Sie verschiedene bessere Optionen:

1. Wenn Ihnen die Reihenfolge egal ist, verwenden Sie reduceByKey oder aggregateByKey.
2. Wenn Sie nur ohne Transformation gruppieren und sortieren möchten, verwenden Sie am besten repartitionAndSortWithinPartitions (Spark 1.3.0+ Ссылка ), aber seien Sie sehr vorsichtig mit dem von Ihnen angegebenen Partitionierer und testen Sie ihn, da Sie sich jetzt auf Nebenwirkungen verlassen, die das Verhalten in einer anderen Umgebung ändern können. Siehe auch Beispiele in diesem Repository: Ссылка .
3. Wenn Sie entweder eine Transformation oder eine nicht reduzierbare Aggregation (falten oder scannen) anwenden, die auf die iterierbaren sortierten Datensätze angewendet wird, dann lesen Sie diese Bibliothek aus: spark-sorted Ссылка . Es bietet 3 APIs für gepaarte rdds: mapStreamByKey, foldLeftByKey und scanLeftByKey.

Als Alternative zur @ gasparms-Lösung kann man einen Filter ausprobieren, gefolgt von rdd.sortyBy. Sie filtern jeden Datensatz, der die Schlüsselkriterien erfüllt. Voraussetzung ist, dass Sie alle Ihre Schlüssel (Filterkombinationen) im Auge behalten müssen. Sie können es auch beim Durchqueren von Datensätzen erstellen.