scalability

___ qstnhdr ___ Wie sichern Sie den Zookeeper? ___ answer33729560 ___

Netflix stellte eine Lösung für diesen Aussteller bereit. Es ist ein "ZooKeeper Co-Prozess für die Überwachung, Sicherung / Wiederherstellung, Bereinigung und Visualisierung von Instanzen."

    
___ tag123skalierbarkeit ___ Skalierbarkeit ist die Fähigkeit eines Systems, Netzwerks oder Prozesses, eine wachsende Menge an Arbeit in einer fähigen Art und Weise zu bewältigen oder seine Fähigkeit zu erweitern, um diesem Wachstum Rechnung zu tragen. ___ answer6467126 ___

Der Zookeeper schreibt einen Snapshot, sobald er feststellt, dass er über genügend Transaktionen verfügt und jeder neue Snapshot ältere Images vollständig ersetzt. Der letzte Snapshot und das Transaktionslog aus der Zeit des Snapshots reichen also aus, um den aktuellen Status wiederherzustellen. Um die Berechnungen zu vereinfachen, können Sie einfach die letzten 3 Snapshots (im Falle der Beschädigung des letzten Snap) und die Transaktionsprotokolle von dem Zeitstempel, der dem frühesten Snapshot entspricht, sichern. Die Links unten haben einige weitere Details.

  1. Ссылка
  2. Ссылка
___ answer6428206 ___

Wir modifizieren das zkConfig.py-Skript, das bei der Installation von zookeeper ein Projekt ist, das Sie beigesteuert haben. Sie können mit dem Tierpfleger über ein Python-Skript interagieren.

Wir modifizieren die Skripts, um jeden Abend einfach den gesamten Inhalt zu speichern und zu speichern und dann die Dateien zu sichern. Obwohl ich neugierig sein würde, die Lösungen anderer Leute auch zu hören.

    
___ answer32539613 ___

Ich hatte gerade die gleiche Anforderung und stellte fest, dass die meisten der verfügbaren Optionen entweder nicht funktionieren oder viel Anpassung erfordern.

Die beste Option, die ich gefunden habe, war Guano, eine kleine Java-App, die jeden Knoten in der Baumstruktur rekursiv von dem deklarierten Knoten aus aufruft und in eine passende Verzeichnisstruktur ablegt, so dass Sie eine Verzeichnisstruktur einfacher Dateien erhalten ist wie der eigentliche Baum strukturiert.

Sie können diese Sicherungen auch wiederherstellen, indem Sie sie von jedem Punkt in dieser Baumstruktur aus rekursiv wiederherstellen. Ich denke, das ist ziemlich nett sowohl für Backups als auch für die Exploration. Zum Beispiel habe ich sofort ack von der Wurzel verwendet, um alle Dateien mit einem Eintrag zu finden, der mir wichtig ist.

Dies lässt sich leicht zu einem geeigneten Backup erweitern, indem es einfach als Cron-Job verwendet wird und einen Zip-Schritt hinzugefügt wird, um das gesamte Backup in ein Archiv zu komprimieren und jede benötigte Rotation zu verarbeiten.

Es gibt ein paar Nachteile des Tools:

  1. Wie es auf Github steht, kompiliert das Original nicht, da einige Importe fehlen. Mehrere Leute haben PRs oder Forks gemacht, die dieses Problem beheben, wie zum Beispiel Ссылка , das ist meine Gabel, in der ich auch die Dokumente verbessert habe. Ich habe jetzt auch das Glas vorkompiliert und werde Binaries in Ссылка hineinschieben.
  2. Es speichert nur die Daten, was für die Exploration gut ist, aber Metadaten wie die mTime oder die Datenversion verliert. Zugegebenermaßen sollte ein Restore wahrscheinlich als Update gezählt werden, also kann ich nicht sagen, dass es wirklich eine schlechte Sache ist, aber es ist keine echte zeitgenaue Wiederherstellung.

NB: Ich habe meinen eigenen Zookeeper-Editor erstellt, da ich ähnliche Probleme hatte, einen von denen zu finden, die funktionierten und meine Bedürfnisse erfüllten. Abhängig davon, wann Sie dies lesen, kann Ссылка auch eine Exportfunktion haben. Die Ausgaben 13/14 umfassen diese geplante Funktion.

    
___ qstntxt ___

Ich habe gelesen, dass das Kopieren des Datenverzeichnisses funktioniert. Aber das ist eine Kombination aus Logs und Snapshots. Wie können Benutzer eine Infrastruktur für Tierpfleger sichern? Export ? Dump? Benutzerdefiniertes Skript? Was sind die besten Praktiken?

    
___ tag123apachezookeeper ___ Apache ZooKeeper ist ein verteilter Dienst, der Informationen zum Speichern, Benennen, Synchronisieren, Koordinieren und Gruppieren von Konfigurationsdaten bereitstellt. ___
3
Antworten

Welche der beiden ist eine bessere Option neben der Anwendung "neuste Schienen"? Mischling, Thin, WEBrick und Passenger

Ich habe herumgespielt und andere Optionen für den WEBrick-Server von Rails evaluiert und Thin war das schmerzloseste und sauberste Ding, das sehr gut funktioniert hat! Welche dieser Mongrel, Thin, WEBrick und Passenger würdest du empfehlen u...
27.10.2012, 05:24
4
Antworten

Wie integrieren Sie funktionale Programmiersprachen in Java oder C #? [geschlossen]

Ich bin daran interessiert, mit OCaml oder Haskell eine Engine für statistische Berechnungen zu entwickeln. Diese Funktionalität soll mit Daten arbeiten, die von einem modellgesteuerten objektorientierten Informationssystem bereitgestellt werden...
15.08.2011, 09:21
2
Antworten

Wie skaliere ich mit esper?

Ich habe Esper (und Storm) für die Stream-Verarbeitung angeschaut. Esper scheint genau das zu tun, was ich will .. dh Rolling bedeutet, Median, komplexe Abfragen, etc ... aber eine Sache hat mich gewundert. Wie würde ich mit Esper auf mehrere...
06.02.2012, 17:57
2
Antworten

Die Leistung von NSManagedObjectContext wird erheblich reduziert

Ich habe Probleme mit einer CoreData-basierten iOS-App, wenn versucht wird, die ursprüngliche Datenbank aus Daten zu erstellen, die vom Server gesendet wurden. Im Grunde sendet der Server 1 MB Brocken von Objekten herunter (ungefähr 3.000 pro Ch...
16.06.2011, 15:11
4
Antworten

Scalable Pub / Sub-Engine für Echtzeit

Ich bin auf der Suche nach einer Pub / Sub-Engine mit folgenden Anforderungen: Sehr niedrige Latenz & lt; 0,5 Sekunden Skalierbar Shardable (basierend auf Geo-Lokalisierung) Ich möchte mehrere Pub / Sub-Server haben und Kanäle von jed...
19.09.2011, 23:30
3
Antworten

Hochverfügbare und skalierbare Plattform für Java / C ++ unter Solaris

Ich habe eine Anwendung, die eine Mischung aus Java und C ++ unter Solaris ist. Die Java-Aspekte des Codes führen die Webbenutzeroberfläche aus und richten den Status auf den Geräten ein, mit denen wir uns unterhalten, und der C ++ - Code verarb...
09.09.2008, 05:52
4
Antworten

Macht der Einsatz von Stateful Web-Servern Sinn?

Ich arbeite an einer Webanwendung, die in der Vergangenheit auf einem PHP / MySQL-Stack aufgebaut war. Eine der Schlüsseloperationen der Anwendung musste einige schwere Berechnungen durchführen, die eine Iteration über jede Zeile einer ganzen...
30.12.2010, 13:56
6
Antworten

Schnelle Text Suche über Protokolle

Hier ist das Problem, das ich habe, ich habe eine Reihe von Protokollen, die ziemlich schnell wachsen können. Sie werden jeden Tag in einzelne Dateien aufgeteilt, und die Dateien können leicht zu einem Gig wachsen. Um die Größe gering zu halten,...
02.10.2008, 18:16
2
Antworten

ElasticSearch Analytische Abfragen

Ich bewerte ein paar verschiedene Möglichkeiten, um eine Analyseanwendung mit einer Open-Source-Technologie zu betreiben. Eine der Optionen ist die Verwendung von ElasticSearch, obwohl ich keine Beispiele von Unternehmen finden konnte, die es fü...
02.12.2016, 01:53
1
Antwort

Sellerie für HTTP-Aufrufe von Drittanbietern optimieren

Wir verwenden Sellerie, um HTTP-Anrufe von Dritten zu tätigen. Wir haben rund 100 Aufgaben, die einfach die HTTP-API-Aufrufe von Drittanbietern aufrufen. Einige Tasks rufen die APIs in großen Mengen auf, z. B. eine halbe Million Anfragen um 4 Uh...
19.03.2016, 19:33