Ist es möglich, ein Syntaxnet-Modell (Parsey McPareface) zu exportieren, das mit TensorFlow Serving geliefert wird?

9

Ich habe die Demo.sh funktioniert gut und ich habe auf die Parser_eval.py geschaut und hat alles bis zu einem gewissen Grad groked. Ich sehe jedoch nicht, wie dieses Modell mit TensorFlow Serving bedient werden kann. Es gibt zwei Probleme, die ich oben sehen kann:

1) Es gibt kein exportiertes Modell für diese Graphen, das Diagramm wird bei jedem Aufruf mit einem Graph-Builder (zB structured_graph_builder.py), einem Kontextprotokoll-Puffer und einer ganzen Reihe anderer Dinge erstellt, die ich nicht vollständig verstehe an diesem Punkt (es scheint auch zusätzliche Syntaxnet.ops zu registrieren). Also ... ist es möglich, und wie würde ich diese Modelle in das "Bündel" -Formular exportieren, das von Serving und SessionBundleFactory benötigt wird? Ist dies nicht der Fall, müssen die Logik / Schritte für die Erstellung des Diagramms in C ++ neu implementiert werden, da das Serving nur im C ++ - Kontext ausgeführt wird.

2) demo.sh ist eigentlich zwei Modelle, die buchstäblich mit einer UNIX-Pipe verbunden sind, also müsste jeder Servable (wahrscheinlich) zwei Sitzungen erstellen und die Daten von einem zum anderen übertragen. Ist das ein richtiger Ansatz? Oder ist es möglich, ein "großes" Diagramm zu erstellen, in dem beide Modelle zusammen "gepatcht" sind und das stattdessen exportieren?

    
dmansfield 10.06.2016, 15:47
quelle

1 Antwort

6

Nachdem ich viel gelernt, geforscht habe usw., habe ich dann eine Pull-Anfrage für Tensorflow / Modelle und Syntaxnet zusammengestellt, die das Ziel erfüllt, Parsey McPareface von TF Serving zu bedienen.

Ссылка

Was NICHT hier ist, ist der eigentliche "Serving" -Code, aber das ist relativ trivial im Vergleich zu der Arbeit, um die Probleme in der obigen Frage zu lösen.

    
dmansfield 12.07.2016 13:55
quelle