Wie berechnet man Präzision und erinnert sich beim Clustering?

Ich denke, Sie werden finden, dass Wikipedia einen hilfreichen Artikel über Präzision und Erinnerung hat. Kurz gesagt:

Präzision = wahre Positive / (wahre positive + falsche positive)

Recall = wahre positive / (wahre positiv + falsch negative)

Es gibt einige andere Maße für die Cluster-Gültigkeit, die ich in einigen Untersuchungen verwendet habe, die ich beim Zugriff auf Clustering-Methoden gemacht habe. In Fällen, in denen Sie ein Dataset mit Klassen beschriftet haben (überwachtes Clustering), können Sie wie oben erwähnt die Genauigkeit und den Rückruf verwenden oder Reinheit und Entropie.

Reinheit eines Clusters = die Anzahl der Vorkommen der häufigsten Klasse / die Größe des Clusters (dies sollte hoch sein)

Entropie eines Clusters = ein Maß dafür, wie verstreut Klassen mit einem Cluster sind (dies sollte niedrig sein)

In Fällen, in denen Sie die Klassenbezeichnungen nicht haben (unüberwachtes Clustering), sind Intra- und Inter-Ähnlichkeit gute Messwerte.

Intra-Cluster-Ähnlichkeit für einen einzelnen Cluster = durchschnittliche Kosinus-Ähnlichkeit aller Paare innerhalb eines Clusters (dies sollte hoch sein)

Inter-Cluster-Ähnlichkeit für einen einzelnen Cluster = durchschnittliche Kosinus-Sim aller Elemente in einem Cluster im Vergleich zu allen Elementen in jedem anderen Cluster (dies sollte niedrig sein)

Dieses Papier enthält einige gute Beschreibungen aller vier dieser Maßnahmen. Ссылка

Schöne Verbindung mit dem unbeaufsichtigten F-Maß, ich untersuche das gerade jetzt.

Was ich von diesem Problem mache ist:

Einer der Sätze A und B ist der "positive". Nehmen wir an, A ist positiv

Gegeben sei das für ein Element von A in einem Cluster

1. Das übereinstimmende Element von B befindet sich im selben Cluster. es ist ein wirklich positives
2. Das übereinstimmende Element von B befindet sich nicht im selben Cluster. es ist ein falsches Negativ
3. nicht übereinstimmendes Element von B befindet sich im selben Cluster. ist ein falsch positives
4. Nicht übereinstimmendes Element von B befindet sich nicht im selben Cluster. Das ist ein echtes Negativ.

Dann benutze einfach

Präzision = wahre Positive / (wahre positive + falsche positive)

Recall = wahre positive / (wahre positiv + falsch negative) wie von jemandem erwähnt

Ich denke, es gibt ein Problem mit deinen Definitionen.

Präzision und Recall eignen sich für Klassifizierungsprobleme, die im Grunde Probleme mit zwei Clustern sind. Hätten Sie sich in so etwas wie "gute Artikel" (= abgerufene Artikel) und "schlechte Artikel" (= nicht abgerufene Artikel) geclustert, dann wäre Ihre Definition sinnvoll.

In Ihrem Fall haben Sie den Prozentsatz der korrekten Gruppierung aus allen Elementen berechnet, was eine Art Genauigkeit ist, aber nicht wirklich, weil, wie gesagt, die Definitionen nicht zutreffen.

Siehe "Einführung in das Information Retrieval", Kapitel 18 (Fett-Clustering), für Möglichkeiten, Cluster-Algorithmen auszuwerten. Ссылка

Dieser Abschnitt des Buches kann sich auch als nützlich erweisen, da er Metriken wie Präzision und Abruf behandelt: Ссылка

Das Problem mit der Genauigkeit und dem Rückruf besteht darin, dass Sie im Allgemeinen eine Vorstellung davon haben müssen, was die "wahren" Etiketten sind, während Sie in vielen Fällen (und in Ihrer Beschreibung) die Etiketten nicht kennen, aber Sie kennen die Partition zum Vergleich. Ich würde den adjustierten Randindex vielleicht vorschlagen:

Ссылка

Wenn Sie eine der Mengen, sagen wir A, als Gold-Clustering und die andere Menge (B) als Ausgabe Ihres Clustering-Prozesses betrachten, können (exakte) Präzisions- und Abrufwerte als geschätzt werden :

  

Precision = (Anzahl der Elemente, die A und B gemeinsam sind) / (Anzahl der Elemente in B)

     

Recall = (Anzahl der Elemente, die A und B gemeinsam sind) / (Anzahl der Elemente in A)

Von diesen Standard-F-Maßen kann auch geschätzt werden.