Spark Indefinite Waiting with "Auffordern, Kartenausgabeorte für Shuffle zu senden"

Meine Jobs hängen oft mit dieser Art von Nachricht:

Wäre großartig, wenn jemand erklären könnte, was Spark macht, wenn es diese Nachricht ausspuckt. Was bedeutet diese Nachricht? Was könnte der Benutzer falsch machen, um dies zu verursachen? Welche Konfigurationen sollten abgestimmt werden?

Es ist wirklich schwer zu debuggen, weil es nicht OOM gibt, es gibt kein ST, es sitzt nur und sitzt und sitzt.

Dies ist ein Problem von Spark mindestens so weit zurück wie 1.0.0 und ist immer noch mit Spark 1.5.0