Nicht ganz sicher, was das Problem hier ist.
Ausführen von Python 2.7.3 und Scrapy 0.16.5
Ich habe einen sehr einfachen Scrapy-Spider erstellt, um die Verbindung zu meinem lokalen Polipro-Proxy zu testen, damit ich Anfragen über TOR senden kann. Grundlegende Code meiner Spinne ist wie folgt:
%Vor%Für meine Proxy-Middleware habe ich definiert:
%Vor% Mein HTTP_PROXY in meiner Einstellungsdatei ist als HTTP_PROXY = 'http://localhost:8123' definiert.
Nun, wenn ich meine Start-URL zu Ссылка ändere, funktioniert alles gut, keine Probleme.
Wenn ich versuche, gegen Ссылка zu laufen, erhalte ich jedes Mal einen 400 Bad Request-Fehler (ich habe auch verschiedene https ausprobiert: / / Websites, und alle von ihnen haben das gleiche Problem):
%Vor% Und um zu überprüfen, dass es mit meiner TOR / Polipo-Einrichtung nicht stimmt, kann ich den folgenden curl-Befehl in einem Terminal ausführen und eine Verbindung herstellen: curl --proxy localhost:8123 https://check.torproject.org/
Irgendwelche Vorschläge, was hier nicht stimmt?