Ich verwende DSE für die Cassandra / Solr-Integration, so dass Daten in Cassandra gespeichert und in Solr indiziert werden. Es ist ganz natürlich, Cassandra für die CRUD-Operation zu verwenden und Solr für die Volltextsuche zu verwenden, und DSE kann die Datensynchronisation zwischen Cassandra und Solr wirklich vereinfachen.
Bei der Abfrage gibt es jedoch zwei Möglichkeiten: Cassandra sekundär / manuell konfigurierter Index vs. Solr. Ich möchte wissen, wann ich welche Methode verwenden soll und was der Leistungsunterschied im Allgemeinen ist, besonders unter DSE-Setup.
Hier ist ein Beispiel für einen Anwendungsfall in meinem Projekt. Ich habe eine Cassandra-Tabelle, in der einige Daten zu Entitäten gespeichert sind. Neben der grundlegenden CRUD-Operation muss ich auch Elemente durch Gleichheit auf einem Feld (z. B. Kategorie) abrufen und dann nach einer bestimmten Reihenfolge sortieren (in meinem Fall hier ein like_count-Feld).
Ich kann mir drei verschiedene Wege vorstellen, damit umzugehen:
Die erste Methode scheint am einfachsten zu implementieren und zu warten. Ich schreibe einfach einen trivialen Solr-Zugangscode und der Rest wird von der Solr / DSE-Suche gehandhabt.
Die zweite Methode erfordert eine manuelle Denormalisierung beim Erstellen und Aktualisieren. Ich muss auch eine separate Tabelle pflegen. Es gibt auch ein Tombstone-Problem, da der like_count möglicherweise häufig aktualisiert werden kann. Der gute Teil ist, dass das Lesen schneller sein kann (wenn es keine übermäßigen Grabsteine gibt).
Die dritte Methode kann das Tombstone-Problem auf Kosten einer zusätzlichen Komponente zum Sortieren mindern.
Welche Methode ist Ihrer Meinung nach die beste Option? Was ist der Unterschied in der Leistung?
Cassandra Sekundärindizes haben begrenzte Anwendungsfälle:
Aufgrund dieser Einschränkungen ist es für Apps üblich, "Indextabellen" zu erstellen, die durch die gewünschte Spalte indiziert werden. Dies erfordert entweder, dass Daten aus der Haupttabelle in jede Indextabelle dupliziert werden, oder eine zusätzliche Abfrage wird benötigt, um die Indextabelle zu lesen und dann die tatsächliche Zeile aus der Haupttabelle zu lesen, nachdem der Hauptschlüssel aus der Indextabelle gelesen wurde. Abfragen in mehreren Spalten müssen im Voraus manuell indiziert werden, wodurch Ad-hoc-Abfragen problematisch werden. Und jede duplizierte Datei muss manuell von der App in jede Indextabelle aktualisiert werden.
Abgesehen davon ... werden sie in Fällen funktionieren, in denen eine "bescheidene" Anzahl von Zeilen aus einer bescheidenen Anzahl von Knoten ausgewählt wird und Abfragen im Voraus und nicht ad hoc genau spezifiziert werden.
DSE / Solr ist besser für:
Die Verwendung der Solr-Indexierung verursacht hohe Leistungs- und Kapazitätskosten. Daher empfiehlt es sich, eine Proof-of-Concept-Implementierung durchzuführen, um zu ermitteln, wie viel zusätzlicher Arbeitsspeicher, Speicher und Knoten benötigt werden. Dies hängt davon ab, wie viele Spalten Sie indexieren indiziert, und jede Text-Filter-Komplexität (z. B. brauchen N-Gramm mehr.) Es könnte reichen von 25% Erhöhung für eine relativ kleine Anzahl von indizierten Spalten bis 100%, wenn alle Spalten indiziert sind. Außerdem müssen Sie über genügend Knoten verfügen, damit der Solr-Index pro Knoten bei Verwendung von SSD in RAM oder überwiegend in RAM passt. Und vnodes werden derzeit nicht für Solr-Rechenzentren empfohlen.
Tags und Links solr cassandra datastax-enterprise