Spark Async-Schnittstelle für Falten, Reduzieren, Aggregieren?

8

In der offiziellen Spark RDD API:

Ссылка

zählen, sammeln, foreach und nehmen alle asynchrone Varianten, die eine Zukunft zurückgeben.

Warum haben falten, reduzieren und aggregieren diese asynchrone / zukünftige Schnittstelle nicht? Das scheint ziemlich wichtig zu sein.

    
clay 31.03.2015, 15:45
quelle

1 Antwort

0

TL; DR: Der Unterschied liegt zwischen Funken "Aktionen" vs. "Transformationen": Ссылка

Beachten Sie, dass all die Dinge, die Sie mit einer asynchronen Option aufgelistet haben, funken "actions" sind, was bedeutet, dass sie die Daten sofort verarbeiten und versuchen, synchron zurückzukehren. Es kann eine lange Zeit dauern, wenn viele Daten vorhanden sind, daher ist es schön, eine asynchrone Option zu haben.

Inzwischen sind die Operationen, die Sie ohne eine asynchrone Option aufgelistet haben, funken "Transformationen" , die faul ausgewertet werden, was bedeutet, dass sofort ein Plan erstellt wird, um die Arbeit zu erledigen, aber nicht wirklich Daten, bis Sie später eine "Aktion" anwenden, um Ergebnisse zurückzugeben.

Haben Sie unterdessen spezifischen Code oder ein Problem, das Sie damit lösen wollen?

    
combinatorist 27.12.2017 06:11
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Ist es möglich, ein optionales Feld in einem Avro-Schema zu haben (d. h. das Feld erscheint überhaupt nicht in der .json-Datei)?