Ich versuche zufällige Gesamtstruktur für mein Problem zu verwenden (unten ist ein Beispielcode für Boston-Datasets, nicht für meine Daten). Ich plane, GridSearchCV für das Hyperparameter-Tuning zu verwenden, aber was sollte der Wertebereich für verschiedene Parameter sein? Woher weiß ich, dass der Bereich, den ich auswähle, der richtige ist?
Ich habe darüber im Internet gelesen und jemand hat vorgeschlagen, es zu versuchen "Zoomen" auf das Optimum in einer zweiten Grid-Suche (z. B. wenn es 10 war, dann versuche es [5, 20, 50]).
Ist das der richtige Ansatz? Soll ich diesen Ansatz für ALLE Parameter verwenden, die für eine zufällige Gesamtstruktur erforderlich sind? Dieser Ansatz könnte eine "gute" Kombination verfehlen, oder?
%Vor%Grob-zu-Fein wird häufig verwendet, um die besten Parameter zu finden. Sie beginnen mit einer Vielzahl von Parametern und verfeinern sie, wenn Sie den besten Ergebnissen näher kommen.
Ich habe eine großartige Bibliothek gefunden, die Hyperparameter-Optimierung für scikit-learn, hyperopt-sklearn durchführt. Es kann Ihren RandomForest oder andere Standardklassifikatoren automatisch anpassen. Sie können sogar verschiedene Klassifikatoren gleichzeitig selbst abstimmen und benchmarken.
Ich schlage vor, dass Sie damit beginnen, weil es verschiedene Schemata implementiert, um die besten Parameter zu erhalten:
Zufallssuche
Baum von Parzen Estimators (TPE)
Glühen
Baum
Gauß-Prozessbaum
BEARBEITEN:
Im Fall der Regression müssen Sie immer noch feststellen, ob Ihre Vorhersagen gut sind. Meine Vermutung ist, dass Sie den Regressor in einen binären Klassifikator einfügen können, der den scikit-learn implementiert Schätzer-Schnittstelle. mit einer Score-Funktion, um es mit der Hyperopt-Bibliothek zu verwenden ...
Wie auch immer, der Grob-zu-Fein-Ansatz gilt immer noch und ist für jeden Schätzer gültig.
Tags und Links python scikit-learn random-forest grid-search