Ich habe ein voll funktionsfähiges Scrapy-Skript, um Daten von einer Website zu extrahieren. Während des Setups hat die Zielwebsite mich aufgrund meiner USER_AGENT-Informationen gesperrt. Ich habe anschließend eine RotateUserAgentMiddleware hinzugefügt, um das USER_AGENT nach dem Zufallsprinzip zu drehen. Das funktioniert großartig.
Wenn ich jetzt versuche, die scrapy-Shell zu verwenden, um xpath- und css-Anfragen zu testen, erhalte ich einen 403-Fehler. Ich bin mir sicher, das liegt daran, dass der USER_AGENT der Scrapy-Shell auf einen Wert gesetzt ist, den die Ziel-Site auf die Blacklist gesetzt hat.
Frage: Ist es möglich, eine URL in der Scrapy-Shell mit einem anderen USER_AGENT als dem Standardnamen abzurufen?
fetch (' Ссылка ') [etwas hinzufügen ?? USER_AGENT ändern]
Thx
Innerhalb der Scrapy-Shell können Sie User-Agent in request header festlegen.