Setup:
Alles funktioniert gut, aber ich habe bei großen Modellen keinen Videospeicher mehr zur Verfügung, wenn ich die Stapelgröße vergrößere, um das Training zu beschleunigen. Ich denke, der Wechsel zu einem 4-GPU-System würde theoretisch entweder den verfügbaren Gesamtspeicher verbessern oder es kleineren Builds erlauben, schneller zu bauen, aber wenn ich die NVIDIA-Statistiken beobachte, kann ich nur einen GPU standardmäßig verwenden:
%Vor%Ich weiß mit rohen Theano können Sie manuell mehrere GPUs explizit verwenden. Unterstützt Keras die Verwendung mehrerer GPUs? Wenn ja, abstrahiert es oder müssen Sie die GPUs den Geräten zuordnen, wie in Theano, und explizit Berechnungen mit bestimmten GPUs durchführen?
Multi-GPU-Training ist experimentell ("Der Code ist ziemlich neu und wird immer noch als experimentell betrachtet Dieser Punkt wurde getestet und scheint in allen beobachteten Fällen korrekt zu funktionieren, aber überprüfe deine Ergebnisse, bevor du ein Papier oder ähnliches veröffentlichst. ") und wurde bisher noch nicht in Keras integriert. Sie können jedoch mehrere Grafikprozessoren mit Keras mit dem Tensorflow-Backend verwenden: Ссылка .
Tags und Links keras gpu cudnn theano theano-cuda