ShuffleBlockFetcherIterator
ist ein Scala-Iterator, der mehrere Shuffle-Blöcke (auch Shuffle-Map-Ausgaben genannt) von lokalen und Remote-BlockManagern abruft.
Es ermöglicht das Iterieren über eine Sequenz von Blöcken als (BlockId, InputStream) -Paare, so dass ein Aufrufer Shuffle-Blöcke in Pipeline-Form behandeln kann, wenn sie empfangen werden.
Für Leistung - Sie müssen Ihre Operationen optimieren; oder configs.
Tags und Links apache-spark apache-spark-sql