Was kann ich tun, um S3 Uploads / Updates zu beschleunigen?

Ich habe heute den ganzen Tag versucht, etwas Kleines in den s3 zu laden. Ungefähr 20.000 Dateien in 500 Verzeichnissen, die insgesamt etwa 3 GB umfassen. Etwas absolut Vernünftiges für einen Service namens Simple Storage Service. Ich kann an verschiedenen Orten im Durchschnitt bei etwa 500k / s hochladen - 1 MB / s (zwischen 1,8 und 3,6 GB / h). Ich habe versucht, diese Dateien den ganzen Tag auf s3 hochzuladen, ich muss mit düsterer Rate auf Aggregat hochgeladen haben (denke über 100 mb / h oder etwas).

Ich habe es versucht:

• die s3 Webkonsole mit einer Vielzahl von Browsern auf einer Vielzahl von Betriebssystemen
• boto benutze eine Vielzahl von Skripten, die ich geschrieben habe und online gefunden habe (hauptsächlich hier auf SO).

Meine Probleme, von denen ich hoffte, dass Sie mir bei der Diagnose helfen würden, sind folgende:

• Drag & Drop auf die s3-Konsole (nur um die 20k-Dateien zu zählen, dauert etwa eine Stunde). Warum? Wenn ich das nicht lösen kann, ist die Webkonsole für mich meistens nutzlos.
• Der Upload selbst ist extrem langsam, selten schneller als 100 k / s.
• Nachdem ich den ganzen Tag hochgeladen habe, ist mir ein einfaches Problem mit den Dateinamen aufgefallen, da ich nicht die ganze Nacht neu hochladen wollte. Ich habe dieses Skript verwendet: Amazon S3 boto: Wie benennst du eine Datei in einem Eimer? , die jeder behauptet, arbeitet wirklich schnell. Es schafft, alle 2-3 Sekunden etwa 1 200kb-Datei umzubenennen. Warum?
• nach dem Hochladen hat die Veröffentlichung aller Dateien (über die Webkonsole) 4 Stunden gedauert und ist immer noch nicht beendet.

Es ist wirklich frustrierend, da muss etwas sein, was ich falsch mache. Ich erwarte, dass alles ungefähr 10x schneller funktioniert, und das tut es nicht. Ich habe gelesen, dass die Datei s3 schneller läuft und ich gelesen habe, dass die Zone (ich bin in NYC) wirklich wichtig ist. Welche Änderung wird mir die größte Steigerung der Upload-Geschwindigkeit geben?