Fragen zur Struktur aus der Bewegungspipeline

Ich habe versucht, eine einfache SFM-Pipeline in OpenCV für ein Projekt zu implementieren, und ich habe ein paar Probleme.

Es ist für unkalibrierte Kameras, also habe ich keine Kameramatrix (Ja Ich weiß, dass es die Dinge viel komplizierter und mehrdeutig machen wird.
Ich weiß, dass ich viel mehr lesen sollte, bevor ich so etwas versuche, aber ich bin ziemlich schwer unter Zeitdruck und versuche, darüber zu lesen Dinge, wie ich auf sie stoße.

Hier ist meine aktuelle Pipeline, die ich aus einer Reihe von Artikeln, Codebeispielen und Büchern zusammengestellt habe. Ich habe Fragen zu bestimmten Schritten danach gestellt und möchte auch wissen, ob etwas fehlt, was mir fehlt oder etwas, das ich falsch mache?

Hier ist meine aktuelle Pipeline.

1. Extrahiere SIFT / SURF-Schlüsselpunkte aus den Bildern.
2. Paarweise Anpassung von Bildern.
   1. Beim Pairwise-Matching verwende ich den "Ratio Test", um die Anzahl der Keypoints zu reduzieren.
   2. (Ich bin mir nicht sicher) Ich lese, dass die Berechnung der Fundamental Matrix (RANSAC) und die Beseitigung der Ausreißer aus Matches weiter hilft.

        

      F) Muss ich das auch tun? Ist es zu viel Oder sollte ich etwas anderes wie Homographie machen, um den entarteten Fall des 8-Punktes zu vermeiden?

     
  

3. Als nächstes muss ich 2 Bilder auswählen, um mit der Rekonstruktion zu beginnen.   

   1. Ich finde die Anzahl der Homography Inlier zwischen den Bildpaaren. Ich durchläuft eine Liste von Bildpaaren in der Reihenfolge der meisten Anzahl von% Inlier.
     
   2. Ich berechne die Fundamental Matrix.
     
   3. Ich "rate" eine K-Matrix und berechne die Essential Matrix mit der Formel in Hartley's.
     
   4. Ich zerlege diese Essential Matrix mit SVD und überprüfe dann die 4 Lösungen.   
      • Ich habe die Logik aus dem Eintrag von Wikipedia und diesem Python verwendet, um meine Checks zu implementieren.

          

        Q) Ist das richtig? Oder sollte ich einfach die Punkte triangulieren und dann feststellen, ob sie vor der Kamera sind oder nicht, oder funktioniert es für dasselbe?

        
     
   5. Wenn ein Problem bei der Suche nach Essential Matrix aufgetreten ist, überspringen Sie es und überprüfen Sie das nächste Bildpaar
     

4. Setze P = [I | 0] und P1 = [R | T], führe eine Triangulation durch und speichere die 3D-Punkte in einer Datenstruktur. Speichern Sie auch die P-Matrizen.

5. Führen Sie einen Bündelanpassungsschritt mit einer großen Anzahl von Iterationen durch, um den Fehler zu minimieren.

     

   Es wird ein bisschen verschwommen von hier und ich bin mir ziemlich sicher, dass ich etwas vermasselt habe.

6. Wählen Sie das nächste hinzuzufügende Bild basierend auf der größten Anzahl der beobachteten 3D-Punkte.

7. Schätzen Sie die Pose dieses neuen Bildes anhand bereits bekannter 3D-Punkte mit PnPRasnac. Verwenden Sie die Werte von R & amp; t als projektive Matrix P1 = [R | t]

8. Triangulieren Sie dieses neue Bild mit allen (ich weiß, ich muss es nicht mit ALLEN tun) die Bilder, die bisher triangulierten, indem Sie ihre P-Matrizen als P = PMatrices [ImageAlreadyTriangulated] und P1 oben erhalten.

     

   Q) Ist es wirklich so einfach, nur den ursprünglichen Wert von P zu verwenden, den wir verwendet haben? Wird das alles in den gleichen Koordinatenraum bringen? Wie in, werden die triangulierten Punkte alle das selbe System sein wie die aus den Anfangswerten von P und P1 oder muss ich hier irgendeine Art von Transformation durchführen?

9. Fügen Sie aus den Punkten, die wir aus der Triangulation erhalten, nur jene 3D-Punkte hinzu, die wir noch nicht gespeichert haben.

10. Führen Sie nach einigen Bildern eine Bundle-Anpassung durch
11. Zurück zu Schritt 6, bis alle Bilder hinzugefügt sind.

Allgemeine Fragen:

• Sollte ich für die Punkte oder auch etwas ohne Verzerrung verwenden meine Kameramatrix K ist nur eine Vermutung?
• Für die Bündelanpassung gebe ich die Punkte in eine Datei im Bündelanpassung im Großformat (BAL). Sollte ich sie konvertieren? zum Weltkoordinatenraum von R = R '& amp; T = -RT oder lass sie einfach sein?

Ich weiß, dass das für eine lange Lese gemacht haben muss. Vielen Dank für Ihre Zeit:)