Python http Download-Seitenquelle

8

hallo da Ich habe mich gefragt, ob es möglich war, eine Verbindung zu einem http-Host (zB google.com) herzustellen. und laden Sie die Quelle der Webseite herunter?

Vielen Dank im Voraus.

    
DonJuma 16.10.2010, 16:33
quelle

4 Antworten

13
  

Verwenden von urllib2 zum Herunterladen einer Seite.

Google blockiert diese Anfrage, da es versucht, alle Roboter zu blockieren. Fügen Sie der Anfrage user-agent hinzu.

%Vor%
  

Sie können auch pyCurl

verwenden
%Vor%     
pyfunc 16.10.2010, 16:36
quelle
7

Sie können das Modul urllib2 verwenden.

%Vor%

Weitere Informationen finden Sie im Dokument

    
ghostdog74 16.10.2010 16:35
quelle
2

Die Dokumentation von Ссылка (Low-Level) und urllib (High-Level) sollte Ihnen den Einstieg erleichtern. Wählen Sie diejenige, die besser zu Ihnen passt.

    
AndiDog 16.10.2010 16:36
quelle
0

Also hier ist ein weiterer Ansatz für dieses Problem mit Mechanize. Ich habe festgestellt, dass dies das Robot-Checking-System einer Website umgeht. Ich habe das set_all_readonly auskommentiert, weil es aus irgendeinem Grund nicht als ein Modul in mechanize erkannt wurde.

%Vor%     
tisaconundrum 15.05.2014 19:12
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Wie können Sie überprüfen, ob Ihr Dokument in einem IFrame geöffnet ist?