Wie wiederhole ich den 404-Link, der nicht in scrapy gefunden wurde?

8

Einige Websites geben vorübergehend 404 Fehler. Aber ich paste im Browser funktioniert es. Wie man scrapy erklärt, die 404 Statuscodeverbindungen für 5mal zu wiederholen.

    
nizam.sp 07.01.2012, 09:13
quelle

1 Antwort

14

Es gibt zwei Scrapy-Einstellungen, die für Ihre Anforderungen relevant sind:

Pablo Hoffman 07.01.2012, 12:03
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Puzzle - Verfügbarmachen eines öffentlichen Unterelements eines privaten Mitglieds mit einem benutzerdefinierten Typ