scalability

___ qstnhdr ___ Wie sichern Sie den Zookeeper? ___ answer33729560 ___

Netflix stellte eine Lösung für diesen Aussteller bereit. Es ist ein "ZooKeeper Co-Prozess für die Überwachung, Sicherung / Wiederherstellung, Bereinigung und Visualisierung von Instanzen."

    
___ tag123skalierbarkeit ___ Skalierbarkeit ist die Fähigkeit eines Systems, Netzwerks oder Prozesses, eine wachsende Menge an Arbeit in einer fähigen Art und Weise zu bewältigen oder seine Fähigkeit zu erweitern, um diesem Wachstum Rechnung zu tragen. ___ answer6467126 ___

Der Zookeeper schreibt einen Snapshot, sobald er feststellt, dass er über genügend Transaktionen verfügt und jeder neue Snapshot ältere Images vollständig ersetzt. Der letzte Snapshot und das Transaktionslog aus der Zeit des Snapshots reichen also aus, um den aktuellen Status wiederherzustellen. Um die Berechnungen zu vereinfachen, können Sie einfach die letzten 3 Snapshots (im Falle der Beschädigung des letzten Snap) und die Transaktionsprotokolle von dem Zeitstempel, der dem frühesten Snapshot entspricht, sichern. Die Links unten haben einige weitere Details.

  1. Ссылка
  2. Ссылка
___ answer6428206 ___

Wir modifizieren das zkConfig.py-Skript, das bei der Installation von zookeeper ein Projekt ist, das Sie beigesteuert haben. Sie können mit dem Tierpfleger über ein Python-Skript interagieren.

Wir modifizieren die Skripts, um jeden Abend einfach den gesamten Inhalt zu speichern und zu speichern und dann die Dateien zu sichern. Obwohl ich neugierig sein würde, die Lösungen anderer Leute auch zu hören.

    
___ answer32539613 ___

Ich hatte gerade die gleiche Anforderung und stellte fest, dass die meisten der verfügbaren Optionen entweder nicht funktionieren oder viel Anpassung erfordern.

Die beste Option, die ich gefunden habe, war Guano, eine kleine Java-App, die jeden Knoten in der Baumstruktur rekursiv von dem deklarierten Knoten aus aufruft und in eine passende Verzeichnisstruktur ablegt, so dass Sie eine Verzeichnisstruktur einfacher Dateien erhalten ist wie der eigentliche Baum strukturiert.

Sie können diese Sicherungen auch wiederherstellen, indem Sie sie von jedem Punkt in dieser Baumstruktur aus rekursiv wiederherstellen. Ich denke, das ist ziemlich nett sowohl für Backups als auch für die Exploration. Zum Beispiel habe ich sofort ack von der Wurzel verwendet, um alle Dateien mit einem Eintrag zu finden, der mir wichtig ist.

Dies lässt sich leicht zu einem geeigneten Backup erweitern, indem es einfach als Cron-Job verwendet wird und einen Zip-Schritt hinzugefügt wird, um das gesamte Backup in ein Archiv zu komprimieren und jede benötigte Rotation zu verarbeiten.

Es gibt ein paar Nachteile des Tools:

  1. Wie es auf Github steht, kompiliert das Original nicht, da einige Importe fehlen. Mehrere Leute haben PRs oder Forks gemacht, die dieses Problem beheben, wie zum Beispiel Ссылка , das ist meine Gabel, in der ich auch die Dokumente verbessert habe. Ich habe jetzt auch das Glas vorkompiliert und werde Binaries in Ссылка hineinschieben.
  2. Es speichert nur die Daten, was für die Exploration gut ist, aber Metadaten wie die mTime oder die Datenversion verliert. Zugegebenermaßen sollte ein Restore wahrscheinlich als Update gezählt werden, also kann ich nicht sagen, dass es wirklich eine schlechte Sache ist, aber es ist keine echte zeitgenaue Wiederherstellung.

NB: Ich habe meinen eigenen Zookeeper-Editor erstellt, da ich ähnliche Probleme hatte, einen von denen zu finden, die funktionierten und meine Bedürfnisse erfüllten. Abhängig davon, wann Sie dies lesen, kann Ссылка auch eine Exportfunktion haben. Die Ausgaben 13/14 umfassen diese geplante Funktion.

    
___ qstntxt ___

Ich habe gelesen, dass das Kopieren des Datenverzeichnisses funktioniert. Aber das ist eine Kombination aus Logs und Snapshots. Wie können Benutzer eine Infrastruktur für Tierpfleger sichern? Export ? Dump? Benutzerdefiniertes Skript? Was sind die besten Praktiken?

    
___ tag123apachezookeeper ___ Apache ZooKeeper ist ein verteilter Dienst, der Informationen zum Speichern, Benennen, Synchronisieren, Koordinieren und Gruppieren von Konfigurationsdaten bereitstellt. ___
6
Antworten

Gibt es eine aktualisierte Version von "Verbesserung der .NET-Anwendungsleistung und Skalierbarkeit"?

Ich bin auf der Suche nach einer aktualisierten Version dieses Artikels: Verbesserung der .NET-Anwendungsleistung und Skalierbarkeit . Die Nachricht auf dieser Seite besagt: Zurückgezogener Inhalt Dieser Inhalt ist veraltet und wir...
30.09.2011, 19:50
1
Antwort

Was bedeutet Thread lokal im Flask-Framework?

Ich evaluiere Python-Frameworks, um eine REST-API zu erstellen. Ich habe viele Frameworks einschließlich Flask durchlaufen und Flask gefunden ziemlich interessant und einfach zu bedienen mit allen Funktionen benötigt, um einen REST-Web-Service z...
16.02.2012, 18:44
2
Antworten

Flask User Management: Wie kann Stateless Server bessere Authentifizierungsmethoden nutzen?

Ich habe an mehreren Stellen gelesen, und es wird empfohlen, dass die Webserver Stateles mit Architektur teilen sein sollten. Dies hilft ihnen, besser zu skalieren. Das bedeutet, dass jede Anfrage alle Informationen enthält, die zur Be...
07.03.2013, 04:58
10
Antworten

Techniken zum Schreiben einer skalierbaren Website

Ich bin neu in der Skalierbarkeit der Website. Können Sie mir einige Techniken vorschlagen, um eine Website für eine große Anzahl von Benutzern skalierbar zu machen?     
12.07.2009, 16:50
3
Antworten

Können Brute-Force-Algorithmen skalieren?

Ich habe ein mathematisches Problem, das ich durch Versuch und Irrtum löse (ich denke, das nennt man Brute Force), und das Programm funktioniert gut, wenn es ein paar Optionen gibt, aber wenn ich weitere Variablen / Daten hinzufüge, dauert es lä...
01.09.2011, 02:32
2
Antworten

VowpalWabbit: Unterschiede und Skalierbarkeit

Hallo Leute: Ich versuche herauszufinden, wie der "Zustand" von VowpalWabbit beibehalten wird, wenn die Größe unserer Eingabesätze wächst. Wenn ich in einer typischen maschinellen Lernumgebung 1000 Eingabevektoren habe, würde ich erwarten, alle...
30.01.2012, 14:13
1
Antwort

Was ist der Nachteil, wenn Sie Redis anstelle von RDBMS verwenden?

Wenn ich zum Beispiel versuche, etwas zu implementieren, das wie die Graph-API von Facebook aussieht, die sehr schnell sein und Millionen von Benutzern unterstützen muss, was ist der Nachteil, wenn Sie Redis anstelle eines RDBMS verwenden? Da...
05.06.2012, 23:10
6
Antworten

Was ist zu groß für eine Datenbank?

Ich habe einen Kumpel, der eine Web-App für Leute betreibt, die Autos zum Verkauf anbieten. Es gibt ein paar tausend Kunden, die es verwenden, und jeder Kunde hat Hunderte und manchmal Tausende von Zeilen in der Datenbank (einige sind seit 5 Jah...
10.09.2010, 22:34
3
Antworten

Wie skalierbar ist ZeroMQ?

Wie skalierbar ist ZeroMQ? Ich bin besonders daran interessiert, sein Potenzial für den Betrieb auf einer großen Anzahl (10.000 - 15.000) von Kernen zu verstehen.     
14.02.2012, 23:47
5
Antworten

Die beste Methode, um eine starke Verarbeitung (wie das Ändern der Bildgröße) aus der PHP-Anfrage heraus zu laden

Ich arbeite an einer PHP-Weboberfläche, die sehr viel Traffic bekommen wird. Einige Einfüge- / Aktualisierungsanforderungen enthalten Bilder, deren Größe auf einige gängige Größen geändert werden muss, um den weiteren Abruf zu beschleunigen....
04.04.2009, 15:21