Jetzt haben wir mit TensorFlow ein Modell trainiert und exportiert. Wir können den Inferenzservice mit diesem Modell genauso implementieren wie tensorflow/serving .
Ich habe eine Frage, ob das tf.Session -Objekt Thread-sicher ist oder nicht. Wenn es wahr ist, können wir das Objekt nach dem Start initialisieren und das Singleton-Objekt zur Verarbeitung der gleichzeitigen Anfragen verwenden.
Das Objekt tf.Session ist Thread-sicher für Session.run() Aufrufe von mehreren Threads.
Vor TensorFlow 0.10 war die Graphmodifikation nicht Thread-sicher. Dies wurde in der Version 0.10 behoben, sodass Sie Knoten gleichzeitig mit Session.run() -Aufrufen zum Diagramm hinzufügen können, obwohl dies aus Leistungsgründen nicht empfohlen wird. Stattdessen wird empfohlen, vor der Verwendung sess.graph.finalize() aufzurufen die Sitzung von mehreren Threads, um versehentliche Speicherlecks zu verhindern.
Tags und Links python multithreading tensorflow tensorflow-serving