scrapy, Seitenzahl 2

Scrapy ist ein schnelles Open-Source-Scraping- und Web-Crawling-Framework auf hoher Ebene, das in Python geschrieben wurde und zum Crawlen von Websites und zum Extrahieren von strukturierten Daten auf ihren Seiten verwendet wird. Es kann für eine Vielzahl von Zwecken verwendet werden, vom Data Mining bis zum Monitoring und automatisierten Testen.

Antwort

Die benutzerdefinierte Downloader-Middleware kann in Scrapy nicht definiert werden

Ich versuche eine benutzerdefinierte Downloader-Middleware-Klasse in Scrapy einzurichten. Ich vermute, dass ich etwas offensichtlich übersehen habe, aber ich habe die Dokumente ein paar Mal gelesen und habe keine Lösungen gefunden. Ich bin ein b...

06.07.2012, 15:06

Antwort

Wie bekomme ich die originale start_url in scrapy (vor der Weiterleitung)

Ich benutze Scrapy, um einige Seiten zu crawlen. Ich hole die start_urls von einem Excel-Blatt und ich muss die URL in dem Element speichern. %Vor% Das Problem ist, dass die URL auf eine andere URL umgeleitet wird (und somit etwas anderes in...

30.05.2013, 18:07

Antwort

Scrapy Tutorial Ausnahmen

Ich befolge die Scrapy-Tutorial-Dokumentation in Ссылка und habe diese Elemente überprüft .py und dmoz_spider.py werden korrekt eingegeben (nicht ausgeschnitten und eingefügt). Der erste "hmmm ..." Teil für mich war diese Anweisung: D...

08.10.2012, 20:30

Antwort

Wie wiederhole ich den 404-Link, der nicht in scrapy gefunden wurde?

Einige Websites geben vorübergehend 404 Fehler. Aber ich paste im Browser funktioniert es. Wie man scrapy erklärt, die 404 Statuscodeverbindungen für 5mal zu wiederholen.

07.01.2012, 09:13

Antwort

Wie kann ich anfangen, Komponententest im Web Scrapy mit Python zu schreiben?

%Vor% Ich arbeite gerade an Scrapy, um die Website zu crawlen. Ich habe etwas über Unittest in Python. Aber, wie kann ich den unittest schreiben, um zu überprüfen, dass der Link funktioniert, und item['location'] , item['details'] geben de...

16.01.2015, 03:53

Antwort

PYTHON SCRAPY Kann keine Informationen an Formulare senden,

Ich denke, dass ich sehr großen Gefallen fragen werde, wenn ich mit diesem Problem mehrere Tage kämpfe. Ich habe alles versucht (in meinem besten Wissen) und immer noch kein Ergebnis. Ich mache etwas falsch, kann aber immer noch nicht herausfind...

01.07.2013, 11:38

Antworten

Folgende Links, Scrapy Web Crawler Framework

Nach mehreren Lesungen in Scrapy-Dokumenten merke ich immer noch nicht den Unterschied zwischen der Verwendung von CrawlSpider-Regeln und der Implementierung eines eigenen Link-Extraktionsmechanismus für die Callback-Methode. Ich bin dabei, e...

06.07.2011, 03:27

Antwort

Was ist der Unterschied zwischen der Scrapy-Spider-Middleware und der Downloader-Middleware? [geschlossen]

Beide Middleware kann Request und Response verarbeiten. Aber was ist der Unterschied?

26.07.2013, 04:10

Antwort

So senden Sie Postdaten in start_urls der Scrapy-Spinne

Ich möchte eine Website crawlen, die nur Postdaten unterstützt. Ich möchte die Abfrageparameter senden Post-Daten in allen Anfragen. Wie erreiche ich das?

12.07.2013, 22:36

Antworten

Scrapyd Jobid Wert innerhalb der Spinne

Framework Scrapy - Scrapyd Server. Ich habe ein Problem damit, Jobid-Wert in die Spinne zu bekommen. Nach dem Senden von Daten an Ссылка lautet die Antwort %Vor% Aber ich brauche diese Jobid in der aktuellen Spinne während des Prozes...

11.03.2012, 04:28