Tensorflow Quantisierung

8

Ich möchte ein Diagramm mit dem Tensorflow-Werkzeug transform_graph optimieren. Ich habe versucht, den Graphen von MultiNet zu optimieren (und andere mit ähnlichen Encoder-Decoderarchitekturen). Allerdings ist das optimierte Diagramm bei Verwendung von quantis_weights tatsächlich langsamer und bei Verwendung von quantise_nodes sogar sehr viel langsamer. In der Tensorflow-Dokumentation gibt es möglicherweise keine Verbesserungen oder sogar eine langsamere Quantisierung. Irgendeine Idee, wenn das mit dem Diagramm / der Software / Hardware unten normal ist?

Hier finden Sie meine Systeminformationen als Referenz:

  • OS Plattform und Distribution: Linux Ubuntu 16.04
  • TensorFlow installiert von: Verwendung von TF-Quellcode (CPU) zur Graphkonvertierung, unter Verwendung von Binary-Python (GPU) für Inferenz
  • TensorFlow Version: beide mit r1.3
  • Python-Version: 2.7
  • Bazel-Version: 0.6.1
  • CUDA / cuDNN Version: 8.0 / 6.0 (nur Inferenz)
  • GPU-Modell und Speicher: GeForce GTX 1080 Ti

Ich kann alle erforderlichen Skripts posten, falls nötig.

    
YannickB 10.10.2017, 08:41
quelle

2 Antworten

1

Es scheint, als würde die Quantisierung in Tensorflow nur auf CPUs stattfinden. Siehe: Ссылка

    
Benjamin Tan Wei Hao 25.10.2017, 10:10
quelle
0

Ich habe das gleiche Problem in der PC-Umgebung. Mein Modell ist 9 mal langsamer als nicht quantisieren.

Aber wenn ich mein quantisiertes Modell in eine Android-Anwendung portiere, ist es in Ordnung, es zu beschleunigen.

Scheint wie aktuell nur auf CPU und nur ARM Basis-CPU wie Android-Handy zu arbeiten.

    
HappyBanana 09.02.2018 06:58
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Werden Benutzer von einem Paket umgeleitet, wenn es wegen der Abwesenheit von 'Setup.hs' nicht 'cabal check' für 'cabal' 1.22 'weiterleitet?