Scrapy - Wenn scrapy vom Skript aufgerufen wird, wird sofort ein Dictionary an den Prozess zurückgegeben, anstatt in die json-Datei exportiert zu werden

9

Das offizielle Tutorial gibt die Vorgehensweise zum Aufruf von scrapy im Python-Skript an

>

Durch Ändern der folgenden Einstellungsattribute:

%Vor%

Ich kann die Daten, die in einer JSON-Datei gespeichert sind, speichern.

Ich versuche jedoch, die Daten zu verarbeiten, die sofort innerhalb der von mir definierten Funktion gekratzt werden. Daher können andere Funktionen diese Wrapper-Funktion aufrufen, um einige Websites zu löschen.

Ich denke, da müssen einige Einstellungen sein, die ich mit FEED_URI spielen kann, aber ich bin mir nicht sicher. Jeder Rat wird sehr geschätzt werden!

    
user1819047 01.04.2015, 22:13
quelle

1 Antwort

2

Feed-Exporte sollen die Daten, die Sie scrapped haben, serialisieren (siehe Feed-Export-Dokumentation ). Was Sie versuchen zu tun, beinhaltet keine Serialisierung.

Was Sie stattdessen tun möchten, ist eine Pipeline . Scrapy wird scraped Items an die Pipeline übergeben. Sie sind Wörterbücher, und Sie können mit ihnen machen, was Sie wollen.

    
user513418 23.10.2015 01:42
quelle

Tags und Links