scalability

___ qstnhdr ___ Wie sichern Sie den Zookeeper? ___ answer33729560 ___

Netflix stellte eine Lösung für diesen Aussteller bereit. Es ist ein "ZooKeeper Co-Prozess für die Überwachung, Sicherung / Wiederherstellung, Bereinigung und Visualisierung von Instanzen."

    
___ tag123skalierbarkeit ___ Skalierbarkeit ist die Fähigkeit eines Systems, Netzwerks oder Prozesses, eine wachsende Menge an Arbeit in einer fähigen Art und Weise zu bewältigen oder seine Fähigkeit zu erweitern, um diesem Wachstum Rechnung zu tragen. ___ answer6467126 ___

Der Zookeeper schreibt einen Snapshot, sobald er feststellt, dass er über genügend Transaktionen verfügt und jeder neue Snapshot ältere Images vollständig ersetzt. Der letzte Snapshot und das Transaktionslog aus der Zeit des Snapshots reichen also aus, um den aktuellen Status wiederherzustellen. Um die Berechnungen zu vereinfachen, können Sie einfach die letzten 3 Snapshots (im Falle der Beschädigung des letzten Snap) und die Transaktionsprotokolle von dem Zeitstempel, der dem frühesten Snapshot entspricht, sichern. Die Links unten haben einige weitere Details.

  1. Ссылка
  2. Ссылка
___ answer6428206 ___

Wir modifizieren das zkConfig.py-Skript, das bei der Installation von zookeeper ein Projekt ist, das Sie beigesteuert haben. Sie können mit dem Tierpfleger über ein Python-Skript interagieren.

Wir modifizieren die Skripts, um jeden Abend einfach den gesamten Inhalt zu speichern und zu speichern und dann die Dateien zu sichern. Obwohl ich neugierig sein würde, die Lösungen anderer Leute auch zu hören.

    
___ answer32539613 ___

Ich hatte gerade die gleiche Anforderung und stellte fest, dass die meisten der verfügbaren Optionen entweder nicht funktionieren oder viel Anpassung erfordern.

Die beste Option, die ich gefunden habe, war Guano, eine kleine Java-App, die jeden Knoten in der Baumstruktur rekursiv von dem deklarierten Knoten aus aufruft und in eine passende Verzeichnisstruktur ablegt, so dass Sie eine Verzeichnisstruktur einfacher Dateien erhalten ist wie der eigentliche Baum strukturiert.

Sie können diese Sicherungen auch wiederherstellen, indem Sie sie von jedem Punkt in dieser Baumstruktur aus rekursiv wiederherstellen. Ich denke, das ist ziemlich nett sowohl für Backups als auch für die Exploration. Zum Beispiel habe ich sofort ack von der Wurzel verwendet, um alle Dateien mit einem Eintrag zu finden, der mir wichtig ist.

Dies lässt sich leicht zu einem geeigneten Backup erweitern, indem es einfach als Cron-Job verwendet wird und einen Zip-Schritt hinzugefügt wird, um das gesamte Backup in ein Archiv zu komprimieren und jede benötigte Rotation zu verarbeiten.

Es gibt ein paar Nachteile des Tools:

  1. Wie es auf Github steht, kompiliert das Original nicht, da einige Importe fehlen. Mehrere Leute haben PRs oder Forks gemacht, die dieses Problem beheben, wie zum Beispiel Ссылка , das ist meine Gabel, in der ich auch die Dokumente verbessert habe. Ich habe jetzt auch das Glas vorkompiliert und werde Binaries in Ссылка hineinschieben.
  2. Es speichert nur die Daten, was für die Exploration gut ist, aber Metadaten wie die mTime oder die Datenversion verliert. Zugegebenermaßen sollte ein Restore wahrscheinlich als Update gezählt werden, also kann ich nicht sagen, dass es wirklich eine schlechte Sache ist, aber es ist keine echte zeitgenaue Wiederherstellung.

NB: Ich habe meinen eigenen Zookeeper-Editor erstellt, da ich ähnliche Probleme hatte, einen von denen zu finden, die funktionierten und meine Bedürfnisse erfüllten. Abhängig davon, wann Sie dies lesen, kann Ссылка auch eine Exportfunktion haben. Die Ausgaben 13/14 umfassen diese geplante Funktion.

    
___ qstntxt ___

Ich habe gelesen, dass das Kopieren des Datenverzeichnisses funktioniert. Aber das ist eine Kombination aus Logs und Snapshots. Wie können Benutzer eine Infrastruktur für Tierpfleger sichern? Export ? Dump? Benutzerdefiniertes Skript? Was sind die besten Praktiken?

    
___ tag123apachezookeeper ___ Apache ZooKeeper ist ein verteilter Dienst, der Informationen zum Speichern, Benennen, Synchronisieren, Koordinieren und Gruppieren von Konfigurationsdaten bereitstellt. ___
2
Antworten

RavenDB - Planung für Skalierbarkeit

Ich habe kürzlich RavenDB gelernt und würde es gerne anwenden. Ich habe mich gefragt, welchen Rat oder welche Vorschläge die Leute hatten, um das System skalierbar zu machen, insbesondere um die Daten auf mehrere Server zu verteilen, aber das...
16.05.2011, 06:33
2
Antworten

Implementieren einer Jobliste mit interner Synchronisation

Ich arbeite an einem einfachen Job-Threading-Framework, das dem in id Tech 5 Herausforderungen . Auf der grundlegendsten Ebene habe ich eine Reihe von Listen von Jobs, und ich möchte diese Liste über eine Reihe von CPU-Threads planen (mit einem...
15.01.2010, 09:13
3
Antworten

Hinzufügen einer Entität zu einer großen Viele-zu-Viele-Beziehung in JPA

Ich habe eine Gruppenentität mit einer Liste von Benutzerentitäten in einer Viele-zu-Viele-Beziehung. Es wird von einer typischen Join-Tabelle abgebildet, die die beiden IDs enthält. Diese Liste kann sehr groß sein, eine Million oder mehr Benutz...
20.09.2013, 05:12
5
Antworten

Wie vermeidet man Nebenläufigkeitsprobleme, wenn Scaling horizontal schreibt?

Angenommen, es gibt einen Worker-Dienst, der Nachrichten von einer Warteschlange empfängt, das Produkt mit der angegebenen ID aus einer Dokumentendatenbank liest, eine auf der Nachricht basierende Manipulationslogik anwendet und das aktualisiert...
08.03.2015, 19:10
0
Antworten

Skalierung von MySQL (sharding): Tesora, ScaleArc, youtube / vitess oder scalebase? [geschlossen]

Skalierung von MySQL (sharding): Tesora , ScaleArc , vitess , jetpants , MySQL Fabric , SpiderDB oder shardquery ? Was sind die Unterschiede zwischen ihnen und wer hebt sich ab? Welche vergesse ich? Jemand mit guten Erfahrungen auf diese...
18.12.2014, 13:55
4
Antworten

Python / Django oder C # / ASP.NET für Web-Entwicklung?

Ich bin ein .NET Entwickler. Ich habe keine Erfahrung mit Python. Welche Plattform ist besser skalierbar? Welche Plattform eignet sich besser für große Websites mit hohem Datenaufkommen? Wenn Sie Erfahrung mit Skalierbarkeit auf diesen Plattform...
23.06.2009, 09:01
11
Antworten

Alternativen zu MySQL [geschlossen]

Ich möchte Daten persistent für meine Anwendung speichern, aber ich brauche keine vollständige relationale Datenbank. Ich könnte wirklich mit einem grundlegenden "Cache" -artigen persistenten Speicher auskommen, wo die Struktur nur ein (Schlüs...
28.11.2008, 16:49
7
Antworten

Wie kann ich meine Anwendungen gut skalieren lassen?

Welche Arten von Designentscheidungen helfen im Allgemeinen bei der Skalierung einer Anwendung? (Hinweis: Nachdem ich gerade von Big O Notation erfahren habe, möchte ich hier mehr Prinzipien der Programmierung sammeln. Ich habe versucht, Bi...
04.11.2008, 19:11
1
Antwort

Beste Spring Batch-Skalierungsstrategie

Wir haben einfache Batch-Prozesse, die gut funktionieren. Vor kurzem haben wir neue Anforderungen, um neue Batch-Prozesse zu implementieren, um Berichte zu generieren. Wir haben verschiedene Datenquellen zu lesen, um diese Berichte vorzubereiten...
17.03.2015, 19:04
4
Antworten

Gründe für das NICHT-Hochskalieren vs. -out?

Als Programmierer mache ich alle paar Jahre revolutionäre Erkenntnisse. Ich bin entweder vor der Kurve oder dahinter um etwa π in der Phase. Eine harte Lektion, die ich gelernt habe, war, dass horizontale Skalierung ist nicht immer besser, sehr...
02.11.2009, 22:24