python-multiprocessing

Ich versuche, die Speicheranforderungen meines Python 3-Codes zu reduzieren. Jede Iteration der for-Schleife benötigt jetzt mehr Speicher als der letzte. Ich habe ein kleines Stück Code geschrieben, das dasselbe Verhalten wie mein Projekt hat...

Ich habe eine Klassenfunktion (nennen wir sie "alpha.py"), die Multiprocessing (processes = 2) verwendet, um einen Prozess zu forschen und ist Teil eines Python-Pakets, das ich geschrieben habe. In einem separaten Python-Skript (nennen wir es "b...

Ich möchte eine Reihe von Instanzen einer Klasse basierend auf Werten in pandas.DataFrame erstellen. Das habe ich runter. %Vor% Multiprocessing-Versuche Ich war in der Lage, dies (in gewisser Weise) zu parallelisieren, indem ich folgen...

Ich habe einen Satz von 2000 trainierten zufälligen Regressionsbäumen (von scikit lernen, Random Forest Regressor mit n_estimators=1 ). Das parallele Trainieren der Bäume (50 Kerne) auf einem großen Datensatz (~ 100000 * 700000 = 70 GB @ 8-Bit...