Wie kann ich den mobilen Bildschirm vom Browser aus steuern?

Aktualisieren
Referenzen: perfecto mobile und Gerät überall

Ich arbeite an einer Cloud-basierten mobilen Testlösung, die sowohl iOS als auch Android unterstützen soll. Es erfordert die Verbindung von mobilen Geräten über den Browser.

Ich habe erfahren, dass ein mobiles Gerät ein Agent-Programm installiert hat (das erfordert, dass das Gerät gerootet wird), das

• streamt den mobilen Bildschirm zum Browser
• und injizieren Ereignisse

Gibt es einen anderen Ansatz, um dies zu erreichen, ohne das Gerät zu rooten / ins Gefängnis zu stürzen?

Diese Frage mag sehr weit aussehen, aber ich habe mich sehr bemüht, in die richtige Richtung zu gehen.

Für iOS nehme ich einen Hinweis von diese SOF-Frage .

Jeder Zeiger wird geschätzt.

Update 1:
Diese Frage ist nah an dem, was ich suche.

Update 2: Ich habe Android Screen Library für Android-Geräte gefunden und getestet Geräte. Es erfordert nicht, dass das Gerät gerootet wird, aber es erfordert einen Neustart des Dienstes von der Befehlszeile aus bei jedem Neustart des Geräts und es konnte nicht mit Lollipop funktionieren. .

Update 3: Während Android Screen Library hilft, den Bildschirm zu erfassen, ohne zu rooten, tut es aber nicht Hilfe bei der Injektion von Ereignissen. Selbst die Bildschirmaufnahme scheint fehlerhaft zu sein - manchmal fängt sie mit schwarzen Flecken und funktioniert nicht auf Lollipop!

Update 4: Referenzen: perfecto mobile und Gerät überall Es scheint, dass sie ADB verwenden, um viele Dinge wie die Installation / Deinstallation von Apps zu behandeln und Ereignisse über adb shell input tap x y zu senden. Kann jemand bitte etwas Licht werfen?

Update 5: Ich bin auf dieser SO Post von Adrian Taylor , einem ehemaligen RealVnC-Ingenieur. Dies ist die ausführlichste Erklärung. Android Lollipop hat zwar MediaProjection APIs, aber es scheint die Screenshots als MP4-Dateien zu speichern auf SD-Karte. Auch laut Google Dashboard - Aug 2015 Update Lollipop ist immer noch rund 15% der Android-Installationsbasis, So Kitkat muss für jede Lösung in Betracht gezogen werden.

Update 6: Ich habe libvncserver gefunden und mich gefragt, ob es den Job erledigt. Ich werde das Ergebnis testen und veröffentlichen.

Danke