Ich möchte meine Spinne von einem Skript ausführen, anstatt von scrap crawl
Ich habe diese Seite gefunden
aber eigentlich sagt es nicht, wo dieses Skript hingehört.
bitte Hilfe?
Es ist so einfach und direkte Aktion!
Sehen Sie sich einfach die offizielle Dokumentation an. Ich würde da eine kleine Änderung machen, damit du die Spinne kontrollieren kannst, um nur zu laufen, wenn du python myscript.py machst und nicht jedes Mal, wenn du nur von ihr importierst. Fügen Sie einfach if __name__ == "__main__" :
Speichern Sie nun die Datei als myscript.py und führen Sie 'python myscript.py' aus.
Viel Spaß!
glücklicherweise scrapy Quelle ist offen, so können Sie den Weg Crawling-Befehl funktioniert und macht dasselbe in Ihrem Code:
%Vor% Sie können einfach ein normales Python-Skript erstellen und dann die Befehlszeilenoption von Scrapy verwenden runspider , mit dem Sie eine Spinne ausführen können, ohne ein Projekt erstellen zu müssen.
Sie können z. B. eine einzelne Datei stackoverflow_spider.py mit folgendem Inhalt erstellen:
Wenn Sie scrapy ordnungsgemäß installiert haben, können Sie es mit folgendem Befehl ausführen:
%Vor%Warum tust du das nicht einfach?
%Vor% Fügen Sie dieses Skript in den Pfad ein, in den Sie scrapy.cfg
Tags und Links python python-2.7 scrapy