elasticsearch zu viele Ergebnisse erhalten, brauchen Hilfe beim Filtern der Abfrage

8

Ich habe viel Probleme damit, das zugrundeliegende ES-Abfragesystem zu verstehen.

Ich habe die folgende Abfrage zum Beispiel:

%Vor%

Diese Anfrage erhält zu viele Ergebnisse:

  

"status": 500, "Grund":   "ElasticsearchException [org.elasticsearch.common.breaker.CircuitBreakingException:   Daten zu groß, Daten für Feld [@timestamp] wären größer als Limit   von [3200306380 / 2,9 g]]; verschachtelt:   UncheckedExecutionException [org.elasticsearch.common.breaker.CircuitBreakingException:   Daten zu groß, Daten für Feld [@timestamp] wären größer als Limit   von [3200306380 / 2,9 g]]; verschachtelt: CircuitBreakingException [Daten auch   groß, Daten für Feld [@timestamp] wäre größer als die Grenze von   [3200306380 / 2.9 gb]]; "

Ich habe diese Anfrage versucht:

%Vor%

Ich möchte die Daten filtern, um ein korrektes Ergebnis zu erhalten, jede Hilfe wäre sehr willkommen!

    
Alexandre Mélard 04.12.2014, 14:20
quelle

3 Antworten

12

Ich habe eine Lösung gefunden, es ist irgendwie komisch. Ich habe Dimzak beraten und den Cache gelöscht:

%Vor%

Dann habe ich gefiltert statt abgefragt wie Olly vorgeschlagen:

%Vor%

Ich kann dir nicht beide answer geben, ich denke Dimzak verdient es am besten, aber Daumen hoch zu euch beiden Jungs:)

    
Alexandre Mélard 05.12.2014, 12:46
quelle
6

Sie können versuchen, zuerst den Cache zu leeren und dann die obige Abfrage wie hier gezeigt auszuführen .

Eine andere Lösung könnte sein, das Intervall zu entfernen oder den Zeitbereich in Ihrer Abfrage zu reduzieren ...

Meine beste Wette wäre, entweder den Cache zuerst zu leeren oder mehr Speicherplatz für elasticsearch zu reservieren (mehr dazu hier )

    
dimzak 04.12.2014 16:17
quelle
4

Die Verwendung eines Filters würde die Leistung verbessern:

%Vor%

Sie können auch feststellen, dass Datumsbereich ist besser als das Datumshistogramm - Sie müssen die Buckets selbst definieren.

wird das referer -Feld analysiert? oder wollen Sie eine genaue Übereinstimmung auf diesem - wenn ja, stellen Sie es auf not_analyzed .

Gibt es viel Kardinalität in Ihrem hostname -Feld? Haben Sie versucht, die Werte vorzuspeichern?

    
Olly Cruickshank 04.12.2014 16:55
quelle

Tags und Links