Ich habe ein Verzeichnis von Bildern und eine separate Datei, die Bilddateinamen mit Beschriftungen vergleicht. Das Verzeichnis der Bilder hat also Dateien wie 'train / 001.jpg' und die Beschriftungsdatei sieht so aus:
%Vor%Ich kann einfach Bilder aus dem Bildverzeichnis in Tensor Flow laden, indem ich einen Datei-Queue aus den Dateinamen erzeuge:
%Vor%Aber ich weiß nicht, wie ich diese Dateien mit den Etiketten aus der Beschriftungsdatei verbinden soll. Es scheint, dass ich bei jedem Schritt auf die Dateinamen in der Warteschlange zugreifen muss. Gibt es eine Möglichkeit, sie zu bekommen? Außerdem muss ich, sobald ich den Dateinamen habe, in der Lage sein, nach dem Label zu suchen, das mit dem Dateinamen versehen ist. Es scheint, als würde ein Standard-Python-Wörterbuch nicht funktionieren, da diese Berechnungen bei jedem Schritt im Graphen stattfinden müssen.
Da Ihre Daten nicht zu groß sind, um die Liste der Dateinamen als Python-Array zu liefern, würde ich nur die Vorverarbeitung in Python vorschlagen. Erstellen Sie zwei Listen (dieselbe Reihenfolge) der Dateinamen und der Beschriftungen, und fügen Sie diese entweder in eine zufällige Zufallsauswahl oder in eine Warteschlange ein und trennen Sie sie daraus. Wenn Sie das Verhalten "loops unendlich" von string_input_producer möchten, können Sie die 'Enqueue' am Anfang jeder Epoche erneut ausführen.
Ein sehr Spielzeug-Beispiel:
%Vor% Der Schlüssel ist, dass Sie Paare von Dateinamen / Labels effektiv in die Warteschlange stellen, wenn Sie enqueue ausführen, und diese Paare werden von dequeue zurückgegeben.
Hier ist, was ich konnte.
Ich habe zuerst die Dateinamen gemischt und die Bezeichnungen in Python mit ihnen abgeglichen:
%Vor%Dann wurde für die Dateinamen mit shuffle off ein string_input_producer und für Etiketten ein FIFO erstellt:
%Vor%Dann, um das Bild zu lesen, könnte ich einen WholeFileReader verwenden und um die Bezeichnung zu erhalten, könnte ich den FIFO herausnehmen:
%Vor%Und erzeugen Sie die Chargen wie folgt:
%Vor% Es gibt tf.py_func() , das Sie verwenden könnten, um ein Mapping vom Dateipfad zum Label zu implementieren.
Ein anderer Vorschlag besteht darin, Ihre Daten im Format TFRecord zu speichern. In diesem Fall können Sie alle Bilder und Beschriftungen in derselben Datei speichern. Für eine große Anzahl von Dateien gibt es eine Menge Vorteile:
Tags und Links python tensorflow