Wie bekomme ich Java, um meinen Multi-Core-Prozessor mit GZIPInputStream zu verwenden?

AFAIK die Aktion des Lesens aus diesem Stream ist single-threaded, so dass mehrere CPUs Ihnen nicht helfen werden, wenn Sie eine Datei lesen.

Sie könnten jedoch mehrere Threads haben, die jeweils eine andere Datei entpacken.

Da das Entpacken in diesen Tagen nicht besonders rechenintensiv ist, ist es wahrscheinlicher, dass Sie durch die Kosten von IO blockiert werden (zB wenn Sie zwei sehr große Dateien in zwei verschiedenen Bereichen der HD lesen) / p>

Ganz allgemein (vorausgesetzt, es handelt sich um eine neue Java-Person) macht Java die Dinge für Sie nicht parallel. Sie müssen Threads verwenden, um zu sagen, welche Arbeitseinheiten Sie ausführen möchten und wie Sie diese synchronisieren können. Java (mit Hilfe des Betriebssystems) nimmt im Allgemeinen so viele Kerne, wie es ihm zur Verfügung steht, und tauscht auch Threads auf demselben Kern aus, wenn es mehr Threads als Kerne gibt (was typischerweise der Fall ist).

PIGZ = Parallele Implementierung von GZip ist ein voll funktionsfähiger Ersatz für gzip, der beim Komprimieren von Daten mehrere Prozessoren und mehrere Kerne ausnutzt. Ссылка Es ist noch nicht Java - irgendwelche Abnehmer. Natürlich braucht die Welt es in Java.

Manchmal ist die Komprimierung oder Dekomprimierung ein großer CPU-Konsument, obwohl es den I / O nicht hilft, den Engpass zu sein.

Siehe auch Dataseries (C ++) von HP Labs. PIGZ parallelisiert nur die Komprimierung, während Dataseries die Ausgabe in große komprimierte Blöcke aufteilt, die parallel dekomprimierbar sind. Hat auch eine Reihe anderer Funktionen.

Wickeln Sie Ihre GZIP-Streams in gepufferte Streams, dies sollte Ihnen eine deutliche Leistungssteigerung bringen.

Und ebenso für den Eingabestrom. Die Verwendung der gepufferten Eingabe- / Ausgabeströme reduziert die Anzahl der Lesevorgänge auf der Festplatte.

Ich sehe keine Antwort auf die andere Verarbeitung Ihres Programms.

Wenn Sie nur eine Datei entpacken, verwenden Sie einfach die Befehlszeile gunzip tool; aber wahrscheinlich passiert etwas Verarbeitung mit den Dateien, die Sie aus diesem Stream ziehen.

Wenn Sie etwas extrahieren, das in Blöcken von vernünftiger Größe enthalten ist, sollte die Verarbeitung dieser Blöcke in einem separaten Thread vom Entpacken erfolgen.

Sie könnten einen Thread für jeden großen String oder anderen Datenblock manuell starten. aber seit Java 1.6 oder so, wäre es besser mit einer der ausgefallenen neuen Klassen in java.util.concurrent , wie zB ThreadPoolExecutor .

Aktualisieren

Es ist mir aus der Frage und anderen Kommentaren nicht klar, ob Sie wirklich nur Dateien mit Java extrahieren. Wenn Sie wirklich, wirklich denken, dass Sie versuchen sollten, mit gunzip zu konkurrieren, dann können Sie wahrscheinlich etwas Leistung erzielen, indem Sie große Puffer verwenden; h., arbeite mit einem Puffer von beispielsweise 10 MB (binär, nicht dezimal! - 1048576), fülle das in einem einzigen Schluck und schreibe es ebenfalls auf die Platte. Dadurch erhält Ihr Betriebssystem die Möglichkeit, Speicherplatz auf mittlerer Ebene zu planen. Außerdem benötigen Sie weniger Aufrufe auf Systemebene.

Die Komprimierung scheint ein schwieriger Fall für die Parallelisierung zu sein, da die vom Komprimierer ausgegebenen Bytes eine nicht-triviale Funktion der vorherigen W-Bytes der Eingabe sind, wobei W die Fenstergröße ist. Sie können eine Datei natürlich in Teile zerlegen und unabhängige Komprimierungsströme für jedes Teil erstellen, das in ihren eigenen Threads ausgeführt wird. Möglicherweise müssen Sie einige Komprimierungsmetadaten beibehalten, damit der Dekomprimierer weiß, wie er die Datei wieder zusammenfügt.

Komprimierung und Dekomprimierung mit gzip ist ein serialisierter Prozess. Um mehrere Threads zu verwenden, müssten Sie ein benutzerdefiniertes Programm erstellen, um die Eingabedatei in viele Streams zu zerlegen, und dann ein benutzerdefiniertes Programm, um sie zu dekomprimieren und wieder zusammenzufügen. So oder so wird IO ein Flaschenhals sein, bevor die CPU genutzt wird.

Führen Sie mehrere VMs aus. Jede VM ist ein Prozess und Sie sollten in der Lage sein, mindestens drei Prozesse pro Kern auszuführen, ohne dass die Leistung darunter leidet. Natürlich müsste Ihre Anwendung Multiprocessing nutzen können, um davon zu profitieren. Es gibt kein Wundermittel, weshalb Artikel in der Presse darüber stöhnen, dass wir noch nicht wissen, wie man Multicore-Maschinen einsetzt.

Es gibt jedoch viele Leute, die ihre Anwendungen in einen Master strukturiert haben, der einen Pool von Worker-Prozessen verwaltet und Arbeitspakete an sie verteilt. Nicht alle Probleme sind auf diese Weise lösbar.