Ich habe einen ganzen Haufen Dateien auf einem Server und möchte diese auf S3 hochladen. Die Dateien werden mit einer .data-Erweiterung gespeichert, aber sie sind wirklich nur ein Bündel von JPEGs, PNGs, Zips oder PDFs.
Ich habe bereits ein kurzes Skript geschrieben, das den Mime-Typ findet und auf S3 hochlädt und das funktioniert, aber es ist langsam. Gibt es eine Möglichkeit, den folgenden Lauf mit gnu parallel zu machen?
%Vor%Ich bin mir auch sicher, dass dieser Code im Allgemeinen stark verbessert werden könnte :) Feedback Tipps würden sehr geschätzt werden.
Sie können einfach s3cmd-modified verwenden, was es Ihnen ermöglicht, mehrere Worker parallel zu setzen / abzurufen / zu synchronisieren
$ git clone https://github.com/pcorliss/s3cmd-modification.git
$ cd s3cmd-modification
$ python setup.py install
$ s3cmd --parallel --workers=4 sync /source/path s3://target/path
Tags und Links bash amazon-s3 parallel-processing s3cmd gnu-parallel