tensorflow macht Gradienten auf sparse Variable

9

Ich versuche eine spärliche Variable im Tensorflow zu trainieren, soweit ich weiß, erlaubt der aktuelle Tensorflow keine spärliche Variable.

Ich habe zwei Threads gefunden, in denen ähnliche Themen diskutiert werden: using-sparsetensor-as-a-trainable -variable und Update-only-part -of-the-word-Einbettungsmatrix-in-tensorflow . Ich verstehe die Antwort nicht ganz, und es wäre gut, wenn es einen Beispielcode gäbe.

Eine Möglichkeit, die ich versucht habe, ist:

%Vor%

bei der Berechnung der Gradienten, nach der zweitens verlinken Sie mit tf.IndexedSlices

%Vor%

Der obige Code funktioniert natürlich nicht, und ich bin hier verwirrt. tf.IndexedSlices macht die Eingabe zur IndexedSlices-Instanz, wie wird sie verwendet, um die Gradienten der Indizes zu aktualisieren? Auch viele Leute erwähnten die Verwendung von tf.scatter_add / sub / update. Das offizielle Dokument enthält keinen Beispielcode zur Verwendung und zur Verwendung für das Farbverlaufsupdate. soll ich tf.IndexedSlices oder tf.scatter verwenden? Es wäre sehr hilfreich, wenn es einen Beispielcode gäbe. Danke!

    
Sufeng Niu 15.12.2016, 04:30
quelle

0 Antworten

Tags und Links