scalability

___ qstnhdr ___ Wie sichern Sie den Zookeeper? ___ answer33729560 ___

Netflix stellte eine Lösung für diesen Aussteller bereit. Es ist ein "ZooKeeper Co-Prozess für die Überwachung, Sicherung / Wiederherstellung, Bereinigung und Visualisierung von Instanzen."

    
___ tag123skalierbarkeit ___ Skalierbarkeit ist die Fähigkeit eines Systems, Netzwerks oder Prozesses, eine wachsende Menge an Arbeit in einer fähigen Art und Weise zu bewältigen oder seine Fähigkeit zu erweitern, um diesem Wachstum Rechnung zu tragen. ___ answer6467126 ___

Der Zookeeper schreibt einen Snapshot, sobald er feststellt, dass er über genügend Transaktionen verfügt und jeder neue Snapshot ältere Images vollständig ersetzt. Der letzte Snapshot und das Transaktionslog aus der Zeit des Snapshots reichen also aus, um den aktuellen Status wiederherzustellen. Um die Berechnungen zu vereinfachen, können Sie einfach die letzten 3 Snapshots (im Falle der Beschädigung des letzten Snap) und die Transaktionsprotokolle von dem Zeitstempel, der dem frühesten Snapshot entspricht, sichern. Die Links unten haben einige weitere Details.

  1. Ссылка
  2. Ссылка
___ answer6428206 ___

Wir modifizieren das zkConfig.py-Skript, das bei der Installation von zookeeper ein Projekt ist, das Sie beigesteuert haben. Sie können mit dem Tierpfleger über ein Python-Skript interagieren.

Wir modifizieren die Skripts, um jeden Abend einfach den gesamten Inhalt zu speichern und zu speichern und dann die Dateien zu sichern. Obwohl ich neugierig sein würde, die Lösungen anderer Leute auch zu hören.

    
___ answer32539613 ___

Ich hatte gerade die gleiche Anforderung und stellte fest, dass die meisten der verfügbaren Optionen entweder nicht funktionieren oder viel Anpassung erfordern.

Die beste Option, die ich gefunden habe, war Guano, eine kleine Java-App, die jeden Knoten in der Baumstruktur rekursiv von dem deklarierten Knoten aus aufruft und in eine passende Verzeichnisstruktur ablegt, so dass Sie eine Verzeichnisstruktur einfacher Dateien erhalten ist wie der eigentliche Baum strukturiert.

Sie können diese Sicherungen auch wiederherstellen, indem Sie sie von jedem Punkt in dieser Baumstruktur aus rekursiv wiederherstellen. Ich denke, das ist ziemlich nett sowohl für Backups als auch für die Exploration. Zum Beispiel habe ich sofort ack von der Wurzel verwendet, um alle Dateien mit einem Eintrag zu finden, der mir wichtig ist.

Dies lässt sich leicht zu einem geeigneten Backup erweitern, indem es einfach als Cron-Job verwendet wird und einen Zip-Schritt hinzugefügt wird, um das gesamte Backup in ein Archiv zu komprimieren und jede benötigte Rotation zu verarbeiten.

Es gibt ein paar Nachteile des Tools:

  1. Wie es auf Github steht, kompiliert das Original nicht, da einige Importe fehlen. Mehrere Leute haben PRs oder Forks gemacht, die dieses Problem beheben, wie zum Beispiel Ссылка , das ist meine Gabel, in der ich auch die Dokumente verbessert habe. Ich habe jetzt auch das Glas vorkompiliert und werde Binaries in Ссылка hineinschieben.
  2. Es speichert nur die Daten, was für die Exploration gut ist, aber Metadaten wie die mTime oder die Datenversion verliert. Zugegebenermaßen sollte ein Restore wahrscheinlich als Update gezählt werden, also kann ich nicht sagen, dass es wirklich eine schlechte Sache ist, aber es ist keine echte zeitgenaue Wiederherstellung.

NB: Ich habe meinen eigenen Zookeeper-Editor erstellt, da ich ähnliche Probleme hatte, einen von denen zu finden, die funktionierten und meine Bedürfnisse erfüllten. Abhängig davon, wann Sie dies lesen, kann Ссылка auch eine Exportfunktion haben. Die Ausgaben 13/14 umfassen diese geplante Funktion.

    
___ qstntxt ___

Ich habe gelesen, dass das Kopieren des Datenverzeichnisses funktioniert. Aber das ist eine Kombination aus Logs und Snapshots. Wie können Benutzer eine Infrastruktur für Tierpfleger sichern? Export ? Dump? Benutzerdefiniertes Skript? Was sind die besten Praktiken?

    
___ tag123apachezookeeper ___ Apache ZooKeeper ist ein verteilter Dienst, der Informationen zum Speichern, Benennen, Synchronisieren, Koordinieren und Gruppieren von Konfigurationsdaten bereitstellt. ___
4
Antworten

Wie wird die Skalierbarkeit für ein Start-up-E-Commerce-Portal aussehen?

Ich möchte ein E-Commerce-Portal basierend auf LAMP skalieren. Vor kurzem haben wir einen enormen Verkehrsanstieg gesehen. Was wären Schritte (bitte in der Reihenfolge angeben), um es zu skalieren: Sollte ich auf Amazon EC2 oder ähnliche...
12.08.2010, 06:28
6
Antworten

Hoch skalierbarer Technologie-Stack

Ich baue einen Webservice, der unter lächerlicher Last steht (Tausende bis Zehntausende von Abfragen pro Sekunde). Mein normaler Stack aus Apache, PHP, Memcache und einigen DBs wird es mit einem schönen Load Balancer Infront und vielen Maschinen...
14.09.2009, 06:30
5
Antworten

Planung der skalierbaren Web-Anwendungsentwicklung

Welche Sprach-, Framework- und Hosting-Überlegungen sollten Sie vor Beginn der Entwicklung einer skalierbaren Webanwendung anstellen?     
16.05.2009, 21:15
2
Antworten

Wie kann eine Azure-Tabelle mit vielen Partitionsschlüsseln mit vielen Tabellen mit weniger Partitionsschlüsseln verglichen werden?

Ich habe eine Windows Azure-Anwendung, in der alle Leseabfragen von TableA auf einzelnen Partitionen für einen Bereich von Zeilenschlüsseln ausgeführt werden. Die Partitionsschlüssel, die dieses Speicherschema unterstützen, sind eigentlich abgef...
12.06.2011, 04:41
4
Antworten

Best Practices für Web-Service-Timeouts [geschlossen]

Gibt es einen Artikel / ein Buch, der Obergrenzen für das Design für WS-Timeouts definiert? Haben Sie eine Zeitüberschreitung auf dem Server oder empfehlen Sie die Client-spezifischen Timeouts? Gibt es eine gängige Best Practice wie "Niemals...
05.11.2008, 19:30
4
Antworten

Ressourcen für das Sharding und die Partitionierung von Datenbanken

Ich arbeite mit einem Datenbankschema, das Skalierbarkeitsprobleme aufweist. Eine der Tabellen im Schema ist auf etwa 10 Millionen Zeilen angewachsen, und ich erkläre Möglichkeiten für das Sharting und die Partitionierung, damit dieses Schema au...
15.11.2008, 02:34
5
Antworten

Gibt es Nachteile, wenn Sie Ihren Datenbankspalten zusätzliche Größe / Länge geben?

Normalerweise setze ich alle meine Varchare auf 255, um sicher zu sein. Macht es einen Unterschied in Bezug auf den Speicherplatz oder etwas anderes? Gibt es einen Nachteil, größere Varchars / Ints / andere Felder zu haben, als Sie meistens brau...
28.04.2011, 16:06
6
Antworten

Sollten wir das PHP-Framework für eine hoch skalierbare Website verwenden? [geschlossen]

Wir bereiten uns auf den Aufbau einer Website mit großem Potenzial vor. Wenn die Waage kommt, wollen wir bereit sein! Wir haben uns für PHP, Apache und MySQL entschieden. Sollten wir irgendeine Art von PHP-Framework (PHPulse, CodeIgniter, CakePH...
13.05.2011, 07:47
5
Antworten

Durchsuchen von Shards?

Kurzversion Wenn ich meine Benutzer in Shards aufteile, wie biete ich eine "Benutzersuche" an? Offensichtlich möchte ich nicht, dass jede Suche jeden Splitter trifft. Lange Version Mit Shard habe ich mehrere Datenbanken, von denen j...
04.11.2008, 00:06
1
Antwort

Wie kann ich meine Java-Anwendung skalierbar und fehlertolerant machen?

In vereinfachter Form kann meine Java-Anwendung wie folgt beschrieben werden: Es ist eine Webanwendung, die auf einem Tomcat-Server mit einer SOAP-Schnittstelle ausgeführt wird. Die Anwendung verwendet JPA / Hibernate zum Speichern von Daten...
02.02.2011, 19:59