Was passiert, wenn Spark ShuffleBlockFetcherIterator aufruft?

Question

Was passiert, wenn Spark ShuffleBlockFetcherIterator aufruft?

9

Mein Funkenjob scheint viel Zeit damit zu verschwenden, Blöcke zu bekommen. Manchmal dauert es eine Stunde oder zwei Stunden. Ich habe 1 Partition für mein Dataset, deshalb bin ich mir nicht sicher, warum es so viel mischt. Wer weiß, was genau hier passiert?

%Vor%

apache-spark apache-spark-sql

Instinct 17.12.2015, 02:13

quelle

1 Antwort

Tags und Links apache-spark apache-spark-sql

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Android Loopj-Image-Upload mit WP API v1 & v2 unterbrochen

score 0 · Answer 1

ShuffleBlockFetcherIterator ist ein Scala-Iterator, der mehrere Shuffle-Blöcke (auch Shuffle-Map-Ausgaben genannt) von lokalen und Remote-BlockManagern abruft.

Es ermöglicht das Iterieren über eine Sequenz von Blöcken als (BlockId, InputStream) -Paare, so dass ein Aufrufer Shuffle-Blöcke in Pipeline-Form behandeln kann, wenn sie empfangen werden.

Für Leistung - Sie müssen Ihre Operationen optimieren; oder configs.