Wie scrape ich mit Perl?

7

Ich muss einige Werte anzeigen, die auf einer Website gespeichert sind, dafür muss ich die Website abkratzen und den Inhalt aus der Tabelle holen. Irgendwelche Ideen?

    
Sakthivel 03.04.2009, 21:41
quelle

10 Antworten

6

Wenn Sie mit jQuery vertraut sind, können Sie pQuery ausprobieren. Das macht es sehr einfach:

%Vor%

Es gibt auch HTML :: DOM .

Was auch immer Sie tun, verwenden Sie dafür keine regulären Ausdrücke.

    
Paolo Bergantino 03.04.2009 13:13
quelle
4

Ich habe HTML Table Extract in der Vergangenheit verwendet. Ich persönlich finde es ein bisschen ungeschickt zu benutzen, aber vielleicht habe ich das Objektmodell nicht gut verstanden. Normalerweise benutze ich diesen Teil des Handbuchs, um die Daten zu untersuchen:

%Vor%     
weismat 03.04.2009 13:21
quelle
3

Obwohl ich das im Allgemeinen mit LWP / LWP :: Simple , das aktuelle "bevorzugte" Modul für jede Art von Webseiten-Scraping in Perl ist WWW :: Mechanize .

>     
Dave Sherohman 03.04.2009 15:11
quelle
2

Wenn Sie mit XPath vertraut sind, können Sie auch HTML :: TreeBuilder :: XPath verwenden . Und wenn du nicht ... naja, solltest du sein; -)

    
mirod 03.04.2009 20:34
quelle
2

Sie können auch dieses einfache Perl-Modul WEB :: Scraper verwenden, das ist einfach zu verstehen und macht das Leben für mich einfach. Befolgen Sie dieses Beispiel für weitere Informationen.

Ссылка

    
fanbondi 05.04.2011 09:22
quelle
2

Für ähnliche Stackoverflow-Fragen siehe ...

Ich mag es, pQuery für solche Dinge zu verwenden, aber Web::Scraper sieht interessant aus.

    
draegtun 23.05.2017 12:09
quelle
1

Ich will nicht einen toten Thread hochziehen, aber jeder, der über diesen Thread googelt, sollte auch checkout WWW::Scripter - "Zum Erstellen von Skripts für Websites mit Skripten"

Happy Remote-Datenaggregation;)

    
mr.szgz 10.12.2009 14:34
quelle
1

Sieh dir den magischen Web :: Scraper an, es ist THE Werkzeug zum Abschaben des Netzes.

    
bem33 10.12.2009 14:54
quelle
0

Ich benutze LWP :: UserAgent für die meisten meiner Screen Scraping braucht. Sie können das auch mit HTTP :: Cookies verbinden, wenn Sie es brauchen Cookies unterstützen.

Hier ist ein einfaches Beispiel, wie man die Quelle bekommt.

%Vor%     
J.J. 03.04.2009 14:47
quelle
0

Sehen Sie sich dieses kleine Beispiel des Web Scraping mit Perl an: Linktext

    
juFo 10.05.2010 13:18
quelle

Tags und Links