Audiolatenzprobleme

In der Anwendung, die ich erstellen möchte, stehe ich vor technischen Hindernissen. Ich habe zwei Musiktitel in der Anwendung. Ein Benutzer importiert beispielsweise den Musikhintergrund als erste Spur. Der zweite Pfad ist eine Stimme, die vom Benutzer im Rhythmus des ersten vom Lautsprechergerät (oder Kopfhörer) wiedergegebenen Titels aufgezeichnet wird. In diesem Moment sind wir mit Latenz konfrontiert. Nach der Aufnahme und Wiedergabe in der App hört der Benutzer den Verlust der Synchronisation zwischen den Titeln, der aufgrund der Mikrofon- und Lautsprecherlatenzen auftritt.

Zunächst versuche ich, die Verzögerung durch Filterung des Eingangssignals zu erkennen. Ich benutze Androids AudioRecord-Klasse und die Methode read() . Diese Methode füllt mein kurzes Array mit Audiodaten. Ich habe festgestellt, dass die Anfangswerte dieses Arrays Nullen sind, also habe ich beschlossen, sie auszufiltern, bevor ich anfangen werde, sie in den Ausgabestrom zu schreiben. Also halte ich diese Nullen für eine "Aufwärm" -Latenz des Mikrofons. Ist dieser Ansatz richtig? Diese Operation liefert zwar einige Ergebnisse, löst das Problem jedoch nicht, und in diesem Stadium bin ich weit davon entfernt.

Aber der schlimmste Fall ist die Verzögerung zwischen dem Starten der Lautsprecher und dem Abspielen der Musik. Diese Verzögerung kann ich nicht filtern oder erkennen. Ich habe versucht, eine Kalibrierungsfunktion zu erstellen, die die Verzögerung zählt. Ich gebe einen Piepton über die Lautsprecher ab, und wenn ich anfange, es zu spielen, beginne ich auch, die Zeit zu messen. Dann beginne ich mit der Aufnahme und höre auf diesen Ton, der vom Mikrofon erkannt wird. Wenn ich diesen Ton in der App erkenne, höre ich auf, die Zeit zu messen. Ich wiederhole diesen Vorgang mehrmals, und der Endwert ist der Durchschnitt aus diesen Ergebnissen. So versuche ich die Latenz des Gerätes zu messen. Jetzt, wenn ich diesen Wert habe, kann ich einfach den zweiten Track rückwärts verschieben, um die Synchronisation beider Aufnahmen zu erreichen (ich werde einige Millisekunden der Aufnahme verlieren, aber ich überspringe diesen Fall, für den Moment gibt es einige Möglichkeiten, ihn zu beheben) . Ich dachte, dass dieser Ansatz das Problem lösen würde, aber es stellte sich heraus, dass dies nicht so einfach ist, wie ich dachte. Ich habe hier zwei Probleme gefunden:     1. Verzögerung während der Wiedergabe von zwei Spuren gleichzeitig     2. Zufällige Geräteaudiolatenz.

Der erste: Ich spiele zwei Tracks mit der AudioTrack-Klasse und führe die Methode play() so aus:

Dieser Code verursacht Verzögerungen bei der Wiedergabe von Tracks. Jetzt muss ich nicht einmal über Latenz beim Aufnehmen nachdenken; Ich kann nicht zwei Tracks gleichzeitig ohne Verzögerungen spielen. Ich habe das mit einer externen Audiodatei getestet (nicht in meiner App aufgenommen) - ich starte dieselbe Audiodatei mit dem obigen Code und sehe eine Verzögerung. Ich habe es auch mit der MediaPlayer-Klasse ausprobiert, und ich habe die gleichen Ergebnisse. In diesem Fall versuche ich sogar Tracks abzuspielen, wenn der Callback OnPreparedListener aufruft:

Und es hilft nicht. Ich weiß, dass es eine weitere von Android angebotene Klasse namens SoundPool gibt. Laut der Dokumentation kann es besser sein, Tracks gleichzeitig abzuspielen, aber ich kann es nicht verwenden, weil es nur kleine Audiodateien unterstützt und das kann mich nicht einschränken. Wie kann ich dieses Problem lösen? Wie kann ich genau zwei Tracks gleichzeitig spielen?

Die zweite: Die Audio-Latenz ist nicht deterministisch - manchmal ist sie kleiner und manchmal ist sie riesig und liegt nicht in meiner Hand. Die Latenz des Messgeräts kann also wieder helfen - das Problem kann nicht gelöst werden.

Zusammenfassend: Gibt es eine Lösung, die mir genaue Latenz pro Gerät (oder App-Session?) oder andere Trigger, die tatsächliche Verzögerung erkennen, geben kann, um die beste Synchronisation bei gleichzeitiger Wiedergabe von zwei Tracks zu bieten?

Vielen Dank im Voraus!