Ich muss einen Datenspeicher einrichten, der PB-Level von Dateien speichern kann (Dateien sind meist kleine json-, images- und csv-Dateien, aber einige davon können ~ 100MB-Binärdateien sein).
Ich untersuche den verteilten Datenspeicher, der Master-less und No-Single-Point-of-Failure ist.
Und ich habe Riak und GlusterFS gefunden.
Ich möchte jemanden fragen, ob er beide schon einmal benutzt hat?
Ich weiß, dass die Schnittstelle (DB / Map) sehr unterschiedlich ist. Aber mir scheint, dass sie beide Hashing und ähnliche verteilte Technologien verwenden. Werden sie eine ähnliche Leistung, Konsistenz und Verfügbarkeit haben?
Wir betreiben einen Riak-Cluster mit 17 Knoten (24 GB RAM, 2T Disk) mit einem Bitcask-Backend, der etwa 1 Milliarde 3k-Objekte speichert. Dieses Setup ist performant, aber sehr ressourcenintensiv. Wir überlegen, uns von Riak zu GlusterFS zu bewegen, da die Leistung für uns nicht wichtig ist. Vielleicht würde auch die Verwendung von LevelDB als Backend unsere Sorgen mindern.
ATM die Selbstheilungseigenschaften von Riak scheinen stärker und die Konfiguration scheint ein bisschen einfacher. In Ihrem Fall wäre es mir angenehmer, 100 MB Dateien auf GlusterFS zu speichern.
Die Wahl hängt hauptsächlich von den Anforderungen ab. Im Allgemeinen würde ich Riak empfehlen, wenn Sie nicht wirklich ein reales Dateisystem benötigen (mit Befestigungspunkten, ACLs Management und so weiter) und nur Dateien programmatisch und GlusterFS sonst verwenden oder liefern.
Tags und Links filesystems cluster-computing riak