Ich möchte Daten aus einer Tabelle in BigQuery in eine andere in Redshift übertragen. Mein geplanter Datenfluss ist wie folgt:
BigQuery - & gt; Google Cloud Storage - & gt; Amazon S3 - & gt; Redshift
Ich kenne Google Cloud Storage Transfer Service, aber ich bin mir nicht sicher, ob es mir helfen kann. Aus der Google Cloud-Dokumentation:
Cloud Storage-Übertragungsdienst
Diese Seite beschreibt den Cloud Storage Transfer Service, den Sie verwenden können um schnell Online-Daten in Google Cloud Storage zu importieren.
Ich verstehe, dass dieser Dienst dazu verwendet werden kann, Daten in Google Cloud Storage zu importieren und nicht von dort zu exportieren.
Gibt es eine Möglichkeit, Daten von Google Cloud Storage nach Amazon S3 zu exportieren?
Sie können gsutil verwenden, um Daten aus einem Google Cloud Storage-Bucket in einen Amazon-Bucket zu kopieren. Verwenden Sie dazu einen Befehl wie:
%Vor%Beachten Sie, dass die Option -d dazu führt, dass gsutil rsync Objekte aus Ihrem S3-Bucket löscht, die in Ihrem GCS-Bucket nicht vorhanden sind (zusätzlich zum Hinzufügen neuer Objekte). Sie können diese Option abbrechen, wenn Sie nur neue Objekte aus Ihrem GCS zu Ihrem S3-Bucket hinzufügen möchten.
Vielleicht kann ich Ihnen noch eine Möglichkeit bieten, Ihre Daten zu exportieren. Verwenden Sie das Tool CloudBerry, das Sie auf Google VW oder Ihrem Amazon EC2a installieren und konfigurieren Sie es dann, um die Daten von Google zu S3 zu übernehmen. Was denkst du über den Weg?
Tags und Links amazon-s3 google-cloud-storage google-bigquery