Ich würde gerne wissen, ob es eine Möglichkeit gibt, Daten zu einer bestimmten Zeitpartition einer BigQuery-Tabelle zu streamen. Die Dokumentation besagt, dass Sie Tabellen-Dekoratoren verwenden müssen:
Laden von Daten mit Partitions-Dekoratoren
Mit Partition-Decorators können Sie Daten in einen bestimmten laden Partition. Verwenden Sie zum Anpassen von Zeitzonen einen Partition-Decorator zum Laden Daten in eine Partition basierend auf Ihrer bevorzugten Zeitzone. Beispielsweise, Wenn Sie sich auf der Pacific Standard Time (PST) befinden, laden Sie alle Daten, die generiert wurden 1. Mai 2016 PST in die Partition für dieses Datum mit dem entsprechender Partition Decorator:
[TABLE_NAME]160501
Quelle: Ссылка
Und:
Wiederherstellen von Daten in einer Partition
Um Daten in einer bestimmten Partition zu aktualisieren, hängen Sie einen Partitionsdekorator an auf den Namen der partitionierten Tabelle beim Laden von Daten in die Tabelle. Ein Partition-Decorator stellt ein bestimmtes Datum dar und hat das folgende Format:
$YYYYMMDD
Quelle: Ссылка
Aber wenn ich versuche, sie beim Streamen von Daten zu verwenden, habe ich den folgenden Fehler: Tabellen-Dekoratoren können nicht mit Streaming-Einfügen verwendet werden.
Vielen Dank im Voraus!
Entschuldigung für die Unannehmlichkeiten. Wir überlegen, dies in naher Zukunft zu unterstützen. Bitte bleiben Sie dran für weitere Updates.
Mögliche Problemumgehungen, die in vielen Fällen funktionieren könnten:
Wenn die meisten Daten verfügbar sind (was manchmal der Fall ist, wenn Daten für eine alte Partition neu formatiert werden), können Sie einen Ladejob mit der Partition als Ziel verwenden.
Eine andere Möglichkeit besteht darin, in eine temporäre Tabelle zu streamen, und nachdem die Daten aus dem Streaming-Puffer gelöscht wurden, verwenden Sie bq cp
Tags und Links google-bigquery