Satzähnlichkeit mit keras

8

Ich versuche eine Satzähnlichkeitsarchitektur basierend auf dieser Arbeit mit dem STS-Datensatz zu implementieren. Labels sind normalisierte Ähnlichkeitswerte von 0 bis 1, daher wird angenommen, dass es sich um ein Regressionsmodell handelt.

Mein Problem ist, dass der Verlust ab der ersten Epoche direkt zu NaN geht. Was mache ich falsch?

Ich habe schon versucht, auf die neuesten Keras und Theano Versionen zu aktualisieren.

Der Code für mein Modell lautet:

%Vor%

Ich habe auch versucht, eine einfache Lambda anstelle der Merge Ebene zu verwenden, aber es hat das gleiche Ergebnis.

%Vor%     
lila 02.09.2016, 09:31
quelle

2 Antworten

1

Die Nanotechnologie ist ein häufiges Problem in der Deep Learning Regression. Da Sie ein siamesisches Netzwerk verwenden, können Sie Folgendes versuchen:

  1. Überprüfen Sie Ihre Daten: Müssen sie normalisiert werden?
  2. Versuchen Sie, eine dichte Schicht als letzte Schicht in Ihr Netzwerk aufzunehmen, aber seien Sie vorsichtig, wenn Sie eine Aktivierungsfunktion, z. ablehnen
  3. versuche, eine andere Verlustfunktion zu verwenden, z.B. kontrastiven_verlust
  4. kleiner Ihre Lernrate, z.B. 0,0001
  5. cos-Modus behandelt nicht sorgfältig mit Division durch Null, könnte die Ursache von NaN
    6. sein

Es ist nicht einfach, tiefes Lernen perfekt zu machen.

    
Kun 05.12.2016 14:10
quelle
0

Ich bin nicht auf das nan Problem gestoßen, aber mein Verlust würde sich nicht ändern. Ich habe diese Information gefunden überprüfen Sie dies

%Vor%     
JAB 04.06.2017 22:20
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset CSS-Steuerung, wann der Fokus-Selektor angewendet wird