Scrapy: Speichern der Daten

8

Ich bin neu mit Python und Scrapy. Ich folge dem Scrapy-Tutorial, verstehe aber nicht die Logik des Speicherschritt .

%Vor%

Ich verstehe nicht die Bedeutung von:

  • -o
  • -t
  • - setze

Danke für Ihre Hilfe

    
Stephen 28.12.2012, 17:38
quelle

1 Antwort

22

Sie können eine Liste der verfügbaren Befehle anzeigen, indem Sie scrapy crawl -h in Ihr Projektverzeichnis eingeben.

%Vor%
  • -o gibt den Ausgabedateinamen für Dump-Elemente (items.json)
  • an
  • -t gibt das Format für Dumpingobjekte (json)
  • an

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

  • --set wird verwendet, um eine Einstellung zu setzen / zu überschreiben
  • Mit FEED_URI wird das Speicher-Backend für das Element Dumping festgelegt. In diesem Fall wird es auf "output.csv" gesetzt, welches das lokale Dateisystem verwendet, dh eine einfache Ausgabedatei (für das aktuelle Beispiel - output.csv)
  • FEED_FORMAT wird verwendet, um das Serialisierungsformat für den (Ausgabe-) Feed festzulegen, dh (für aktuelles Beispiel csv)

Referenzen (Scrapy-Dokumentation):

  1. Verfügbare Werkzeugbefehle (für die Befehlszeile)
  2. Feed-Exporte
Talvalin 28.12.2012, 19:08
quelle

Tags und Links