Logistische Regression mit falschen Ergebnissen

Ich arbeite an einer Website, auf der ich die Ergebnisse von Schachspielen sammle, die Leute gespielt haben. Betrachtet man die Bewertungen des Spielers und den Unterschied zwischen seiner Bewertung und der seines Gegners, zeichne ich ein Diagramm mit Punkten, die Gewinn (grün), Unentschieden (blau) und Verlust (rot) darstellen.

Mit diesen Informationen habe ich auch einen logistischen Regressionsalgorithmus implementiert, um die Cutoffs für Gewinnen und Gewinnen / Zeichnen zu kategorisieren. Wenn ich die Bewertung und die Differenz als meine beiden Merkmale benutze, bekomme ich einen Klassifikator und zeichne dann die Grenzen auf dem Diagramm, wo der Klassifikator seine Vorhersage ändert.

Mein Code für Gradientenabfall, die Kostenfunktion und die Sigmoid-Funktion sind unten.

Wenn ich dies auf dem Datensatz überprüfe, der mein eigenes Schachprofil repräsentiert, bekomme ich vernünftige Ergebnisse, mit denen ich glücklich sein kann:

Für eine Weile war ich glücklich. Alle Beispiele, die ich versuchte, ergaben interessante Diagramme. Dann probierte ich einen Spieler, Kevin Cao, der über 250 Turniere auf seinen Namen hatte, und somit 1000+ Spiele, für ein sehr großes Trainingsset. Das Ergebnis war offensichtlich falsch:

Nun, das war nicht gut. Also habe ich die anfängliche Lernrate von 1.0 auf 100.0 als erste Idee erhöht. Das hat die richtigen Ergebnisse für Kevin:

Leider habe ich, als ich es dann an mir selbst und an meinem kleineren Datensatz ausprobierte, das seltsame Phänomen, dass es für eine der Vorhersagen nur eine flache Linie bei 0 gab:

Ich überprüfte Theta, und es sagte, es war [[2.3707682771730836], [21.22408286825226], [-19081.906528679192]]. Die dritte Trainingsvariable (wirklich zweit, da x_0 = 1) ist der Unterschied in den Bewertungen. Wenn die Differenz also nur das kleinste Bit positiv ist, geht die Formel für die logistische Regression sehr negativ und die Sigmoidfunktion sagt y = 0 voraus Unterschied ist nur das ein bisschen positive, ähnlich springt es weit nach oben und sagt y = 1 voraus.

Ich habe die anfängliche Lernrate von 100.0 auf 1.0 reduziert und stattdessen beschlossen, sie langsamer zu reduzieren. Anstatt es um den Faktor zehn zu reduzieren, wenn die Kostenfunktion steigt, habe ich es um den Faktor zwei reduziert.

Leider hat dies das Ergebnis für mich überhaupt nicht verändert. Selbst wenn ich die Anzahl der Schleifen des Gradientenabfalls von 100 auf 1000 erhöht hätte, hätte ich immer noch das falsche Ergebnis vorhergesagt.

Ich bin immer noch ziemlich Anfänger in der logistischen Regression (ich habe gerade den Kurs zum maschinellen Lernen auf Kurs beendet und ich versuche zum ersten Mal, einen der Algorithmen, die ich dort gelernt habe, zu implementieren), also habe ich ungefähr das Ausmaß erreicht meine Intuition. Wenn mir jemand helfen würde, herauszufinden, was hier falsch läuft, was ich falsch mache und wie ich es beheben kann, wäre ich sehr dankbar.

EDIT: Ich habe es auch auf einem anderen Datensatz versucht, der ungefähr 300 Datenpunkte hatte, und wieder einmal eine flache grüne Linie und eine normale blaue Linie bekommen. Der Algorithmus ist im Grunde genommen der gleiche für beide, nur einige unterschiedliche Ergebnisse für y, weil ich Multi-Class-Klassifikation mache.

BEARBEITEN: Da die Leute danach gefragt haben, sind hier J, Alpha und Theta für jede Iteration des Gradientenabfalls für die Linie, die flach ist:

Für denjenigen, der eine richtige Vorhersage erstellt:

EDIT: Ich habe festgestellt, dass bei der ersten Iteration die Hypothese immer 0.5 voraussagt, da das Theta alles 0 ist. Aber danach sagt es immer 1 oder 0 voraus (0.00001 oder 0.99999, um Logarithmen zu vermeiden, die in meinem Code nicht existieren). Das erscheint mir nicht richtig - viel zu selbstbewusst - und ist wahrscheinlich der Schlüssel, warum das nicht funktioniert.