Wer weiß schon von irgendwelchen Plänen, Unterstützung zum Löschen von Dateiteilen aus einer Tabelle in Google BigQuery hinzuzufügen? Das Problem, das wir gerade haben, ist, dass wir es für die Analyse von Datenpunkten verwenden, die wir im Laufe der Zeit sammeln. Wir möchten die Abfragen in den letzten X Tagen der Daten ausführen, aber nach den letzten X Tagen der Daten müssen wir die Daten nicht mehr in BigQuery speichern.
Die einzige Möglichkeit, die Daten zu löschen, wäre, die gesamte Daten-Tabelle zu löschen, sie neu zu erstellen und sie mit X Tagen Datenanzahl zu laden. Dies würde jedoch erfordern, dass wir unsere Daten auch in täglichen CSV-Dateien speichern, was nicht optimal ist.
Gibt es Empfehlungen zur Behandlung dieses Problems oder wenn in naher Zukunft eine Abfrage zum Löschen von Zeilen erstellt wird?
Aktualisierung 2016: BigQuery kann jetzt Zeilen löschen und aktualisieren - Fh
Vielen Dank für die Beschreibung Ihres Anwendungsfalls. BigQuery ist nur vom Design anhängig. Derzeit unterstützen wir nicht das Löschen einzelner Zeilen oder eines Zeilenstapels aus einem vorhandenen Dataset.
Um ein "rotierendes" Log-System zu implementieren, müssen Sie: 1. Erstellen Sie jeden Tag eine neue Tabelle (und löschen Sie ggf. ältere Tabellen) 2. Hängen Sie Ihre Daten an eine Tabelle an und suchen Sie nach Datum / Uhrzeit
Ich würde wirklich empfehlen, für jeden Tag eine neue Tabelle zu erstellen. Da BigQuery nach der Menge der abgefragten Daten berechnet, wäre dies für Sie am wirtschaftlichsten, anstatt jedes Mal ganze massive Datensätze abfragen zu müssen.
Übrigens - wie sammeln Sie gerade Ihre Daten?
Um Datensätze in der Big Query zu löschen, müssen Sie zuerst die Standard-SQL-Funktion aktivieren.
Schritte zum Aktivieren von Standard-SQL
Dies aktiviert die BigQuery Dynamic Manipulation Language (DML) zum Aktualisieren, Einfügen und Löschen von Daten aus den BigQuery-Tabellen
Jetzt können Sie die einfache SQL-Abfrage schreiben, um die Datensätze zu löschen
%Vor%Sie können beziehen: Ссылка
Sie können ggf. auch versuchen, OMIT RECORD IF von BigQuery zurückzugeben, um alle Elemente zurückzugeben, mit Ausnahme der Elemente, die Sie löschen möchten. Erstellen Sie dann eine neue Tabelle aus diesem Abfrageergebnis.
(Beispiel aus Google-Referenzdokumenten)
%Vor%Quelle: Ссылка
Tags und Links google-bigquery