Tensorflow: Hierarchische Softmax-Implementierung

10

Ich habe momentan Texteingaben, die durch Vektor dargestellt werden, und ich möchte ihre Kategorien klassifizieren. Da es sich um mehrstufige Kategorien handelt, wollte ich Hierarchical Softmax verwenden.

%Vor%

Ich weiß nicht, wie ich es in Tensorflow implementieren soll. Alle Beispiele, die ich getroffen habe, verwenden andere Frameworks.

Danke

    
Viet Phan 15.11.2017, 17:22
quelle

2 Antworten

1

Schließlich habe ich Pythech geändert. Es ist einfacher und direkter als Tensorflow.

  • Für alle, die sich für die Implementierung von HS interessieren, können Sie sich meine Beispielanweisungen ansehen: Ссылка

  • Für alle, die noch eine Tensorflow-Implementierung wünschen, ist diese für Sie: Ссылка . Aber es ist ein wenig chaotisch, und der Autor empfahl, Pytorch oder ein anderes dynamisches Graph-Framework zu verwenden

Viet Phan 16.12.2017, 10:37
quelle
6

Praktisch, wenn Ihre Gesamtzahl von Kategorien im Bereich von Hunderten bis Tausenden liegt (weniger als 50K), müssen Sie nicht die Verwendung von hierarchischem softmax in Betracht ziehen, das für eine schnellere Klassifizierung in Millionen von Kategorien (z Beispiel, die Anzahl der Wörter in einem Vokabular).

Nach meiner Erfahrung (mit naiven Bayesschen und neuronalen Netzen) verbessert die Verwendung der hierarchischen Struktur zur Trainingszeit nicht unbedingt Ihre Klassifikationsqualität.

Wenn Sie jedoch daran interessiert sind, Hierarchical Softmax zu implementieren, ist das eine andere Geschichte.

    
greeness 28.11.2017 00:01
quelle