So erfassen Sie den Datenverkehr in Python

9

Ich habe einen Webdriver, der Selenium verwendet, das einen Browser für mich öffnet, auf eine IP-Adresse zeigt, eine Menge Sachen macht und schließt.

Ich möchte alle URLs wissen, auf die während dieser Zeit zugegriffen wurde. Das heißt, alle Anzeigen, die geladen werden, alle CSS-Aufrufe, die an irgendeine URL ausgegeben wurden, und so weiter.

Hier ist der Code mit

%Vor%     
Cripto 17.07.2013, 21:44
quelle

2 Antworten

1

Ich habe es getan, indem ich die Firefox-Plugins Firebug und Netexport geladen habe. Der erste ist ein Werkzeug, mit dem Sie den gesamten Informationsaustausch sehen können, der zweite ermöglicht es, alles in eine Datei (Erweiterung .har) zu schreiben. Also im Grunde Selen muss die Plugins laden, die Website und warten Sie die Zeit, die Sie wollen, und wenn es schließt, erhalten Sie eine Datei mit dem Ergebnis.

    
chuse 08.08.2014 09:11
quelle
1

Es ist keine Python-Lösung. Aber Sie können fiddler plug in Firefox hinzufügen. Genau vor einem Jahr mussten wir genau dasselbe tun. Wir verwendeten Selen um den Browser und alle UI-Sachen zu öffnen und im Hintergrund erfasste Fiddler den gesamten Verkehr (http und https). Dies listet auch alle JS CSS src auf und Sie können später mit dem Inspektor debuggen sehen, welche Anfrage gesendet wird und welche Antwort erhalten wird. p>     

PxP 16.11.2014 04:09
quelle