Gibt es trotzdem eine Berechnung der AUC in Vowpal Wabbit?
Einer der Gründe, warum ich Vowpal Wabbit verwende, ist die große Größe der Datendatei. Ich kann die AUC außerhalb der Vowpal Wabbit-Umgebung mit der Ausgabe von Vowpal Wabbit berechnen, aber dies kann problematisch sein, wenn die Datendatei groß ist.
Derzeit kann VW keine AUC melden. Was noch schlimmer ist, kann nicht direkt für die AUC optimiert werden. Die Optimierung für die AUC ist nicht mit Online-Lernen kompatibel, aber es gibt einige Näherungswerte für die AUC, die für die Optimierung geeignet sind
Bei Ihrer Frage müssen Sie die Zwischendatei nicht mit rohen Vorhersagen auf der Festplatte speichern. Sie können es direkt an das externe Evaluierungstool weiterleiten ( perf in diesem Fall):
%Vor%Bearbeiten: John Langford bestätigte , dass die AUC im Allgemeinen optimiert werden kann, indem das Verhältnis von falsch positiv und falsch geändert wird negativer Verlust. In VW bedeutet dies, ein anderes Wichtigkeitsgewicht für positive und negative Beispiele festzulegen. Sie müssen das optimale Gewicht mithilfe eines Holdout-Sets (oder einer Kreuzvalidierung oder eines progressiven Validierungsverlusts für das One-Pass-Lernen) anpassen.
Tags und Links machine-learning classification vowpalwabbit