Was passiert, wenn Spark ShuffleBlockFetcherIterator aufruft?

9

Mein Funkenjob scheint viel Zeit damit zu verschwenden, Blöcke zu bekommen. Manchmal dauert es eine Stunde oder zwei Stunden. Ich habe 1 Partition für mein Dataset, deshalb bin ich mir nicht sicher, warum es so viel mischt. Wer weiß, was genau hier passiert?

%Vor%     
Instinct 17.12.2015, 02:13
quelle

1 Antwort

0

ShuffleBlockFetcherIterator ist ein Scala-Iterator, der mehrere Shuffle-Blöcke (auch Shuffle-Map-Ausgaben genannt) von lokalen und Remote-BlockManagern abruft.

Es ermöglicht das Iterieren über eine Sequenz von Blöcken als (BlockId, InputStream) -Paare, so dass ein Aufrufer Shuffle-Blöcke in Pipeline-Form behandeln kann, wenn sie empfangen werden.

Für Leistung - Sie müssen Ihre Operationen optimieren; oder configs.

    
Raktotpal Bordoloi 14.06.2017 11:58
quelle