Wie kann ich eine Struktur zum Sichern von Elasticsearch-Daten in Google Compute Engine konfigurieren?

8

Ich habe e elasticsearch Umgebung auf GCE (Google Compute Engine) mit zwei Knoten konfiguriert, daher müssen zwei VMs und ich eine Backup-Strategie dafür erstellen. Ich dachte zuerst, ich könnte die Snapshot-API elasticsearch verwenden, um alle meine Daten in einem bestimmten Speicher zu sichern, da die API einige Möglichkeiten zum Speichern des Snapshots unterstützt.

  • Freigegebenes Dateisystem, z. B. ein NAS
  • Amazon S3
  • HDFS (verteiltes Hadoop-Dateisystem)
  • Azure Cloud

Ich habe versucht, die Option für das gemeinsam genutzte Dateisystem zu verwenden, aber es ist erforderlich, dass der Speicherort zwischen Knoten geteilt wird. Gibt es eine Möglichkeit, dies auf GCE zu tun?

%Vor%

}

nested: RepositoryVerificationException[[backup] store location [/elasticsearch/backup] is not shared between node

Ich weiß, dass es ein AWS-Plugin für elasticsearch zum Speichern der Backups gibt. Gibt es ein Plugin für Google Cloud Storage? Ist das möglich?

Wenn eine dieser Alternativen nicht möglich ist, gibt es eine andere empfohlene Strategie zum Sichern meiner Daten?

    
Edmar Miyake 04.02.2015, 14:09
quelle

3 Antworten

2

Elasticsearch hat jetzt ein Plugin für Google Cloud Storage , das wird nativ unterstützt.

    
Will Hayworth 05.10.2016, 17:23
quelle
0

Möglicherweise können Sie das S3-Plug-in mit Google Cloud Storage über die Interoperabilität verwenden. Weitere Informationen finden Sie auf dieser Seite .

Alternativ können Sie einfach ein normales Backup im Dateisystem erstellen und es mit gsutil in den Cloud-Speicher hochladen.

    
Jon Wayne Parrott 04.02.2015 19:01
quelle
0

Ich habe das gleiche Problem mit meinem ES-Cluster (5 Knoten) in Google Cloud. Wir können keine lokalen Backups auf dem tatsächlichen Datenträger wie Jon oben erwähnt verwenden, da nicht jeder Knoten in meinem Fall alle Daten hat.

Es scheint mir nur, einen kleinen Rechner mit einer großen Festplatte zu erstellen und diese Platte als gemeinsames Laufwerk auf allen 5 ES-Knoten im selben Pfad zu installieren, so dass wir die Option "Shared filesystem" verwenden können .

    
fsamara 17.06.2015 10:33
quelle