scrapy-spider

Spider sind Klassen, die definieren, wie eine bestimmte Site (oder eine Gruppe von Sites) gekratzt wird, einschließlich Crawlen (dh Links folgen) und wie man strukturierte Daten von ihren Seiten extrahiert (dh Scraping-Objekte).
1
Antwort

Wie kann ich anfangen, Komponententest im Web Scrapy mit Python zu schreiben?

%Vor% Ich arbeite gerade an Scrapy, um die Website zu crawlen. Ich habe etwas über Unittest in Python. Aber, wie kann ich den unittest schreiben, um zu überprüfen, dass der Link funktioniert, und item['location'] , item['details'] geben de...
16.01.2015, 03:53
1
Antwort

So senden Sie Postdaten in start_urls der Scrapy-Spinne

Ich möchte eine Website crawlen, die nur Postdaten unterstützt. Ich möchte die Abfrageparameter senden Post-Daten in allen Anfragen. Wie erreiche ich das?     
12.07.2013, 22:36