Ich suche, ob Cassandra Einschränkungen der Knoten-Hardware-Spezifikation hat, wie der maximale Speicher pro Knoten sein könnte, wenn es eine solche Beschränkung gibt.
Ich beabsichtige, einige Knoten mit 48 TB Speicher (2 TB X 24 Festplatten 7200 U / min) pro Knoten mit einem guten Dual-Xeon-Prozessor zu verwenden.
Ich habe nach solchen Einschränkungen gesucht, wenn es welche gibt, aber ich habe kein Material zu diesem Problem gefunden. Und Leute, warum gibt es so viel weniger Buzz über Cassandra in letzter Zeit, während es reif und seine up 0.8 Version, während die meisten Artikel / Blogs sind nur 0.6v verwandt.
Cassandra verteilt seine Daten nach Zeilen, so dass die einzige harte Einschränkung darin besteht, dass eine Zeile auf einen einzelnen Knoten passen kann.
Also ist die kurze Antwort nein.
Die längere Antwort ist, dass Sie sicherstellen möchten, dass Sie einen separaten Speicherbereich für Ihre permanenten Daten und Ihre Commit-Protokolle einrichten.
Eine andere Sache, die Sie beachten sollten, ist, dass Sie immer noch Probleme mit der Suchgeschwindigkeit haben. Eines der schönen Dinge an Cassandra ist, dass Sie nicht einen einzigen Knoten mit so vielen Daten benötigen (und in der Tat ist es wahrscheinlich nicht gut beraten, Ihr Speicher übersteigt Ihre Rechenleistung). Wenn Sie kleinere Knoten (Speicherplatz auf der Festplatte) verwenden, werden Ihre Speicher- und Verarbeitungsfunktionen zusammen skaliert.
Es gibt einige Anmerkungen hier über Überlegungen zu umfangreichen Datensätzen.
48 TB Daten pro Knoten sind wahrscheinlich viel zu viel. Es wird viel besser sein, mehr Knoten mit kleineren Datenmengen zu haben. In regelmäßigen Abständen müssen Sie nodetool repair ausführen, was das Lesen aller Daten auf dem Computer beinhaltet. Wenn Sie viele Terabyte Daten auf einer Maschine speichern, wird dies sehr schmerzhaft sein.
Ich würde jeden Knoten auf etwa 1 TB Daten beschränken.
Siehe Wie viele Daten pro Knoten im Cassandra-Cluster? >
was darauf hindeutet, dass zwischen 1-10 TB pro Knoten sinnvoll ist, abhängig von Ihrer Anwendung. Cassandra wird wahrscheinlich immer noch mit 48 TB arbeiten, aber nicht optimal.
Wollen Sie den Replikationsfaktor 1 oder 2 verwenden (wenn Sie 2 Knoten wie oben angegeben haben)?
Einige Operationen (Reparieren, Komprimieren) können mit so vielen Daten auf einem einzelnen Knoten extrem langsam sein.
Sie sollten auch vorsichtig sein, große Mengen von RAM mit Cassandra zu verwenden. RAM ist ideal, um die Daten in SSTables zwischenzuspeichern, aber die JVM zu viel Heap-Speicherplatz zu geben, ist kontraproduktiv. Geben Sie der JVM nicht viel mehr als 12 GB Heapspeicherplatz, da sonst die Speicherbereinigung zu lange dauert und die Leistung beeinträchtigt. Dies ist ein weiterer Grund, warum mehr kleinere Knoten in Cassandra besser sind.