Ein gutes Web-Datenextraktions- / Screen-Scraper-Programm?
Ich muss regelmäßig Produktdaten von einer Website erfassen und frage mich, ob jemand von einem guten Softwareprogramm weiß? Ich habe Mozenda ausprobiert aber es ist ein monatliches Abonnement und auf lange Sicht teuer. Offensichtlich ist etwas, das frei ist, am besten, aber es macht mir auch nichts aus. Brauche einfach ein anständiges Programm, das zuverlässig ist und nicht viel Programmierkenntnisse erfordert.
16 Antworten
Ich habe mit Screen-Scraper experimentiert und fand es einfach zu benutzen. Die Anwendung wird in mehreren Versionen angeboten: Basic (kostenlos), Professional und Enterprise. Außerdem werden mehrere Plattformen unterstützt.
Ich mag iMacros . Sie können es mit der völlig kostenlosen Firefox-Erweiterung testen (es gibt auch IE-Versionen), aber es gibt auch mehr voll funktionsfähige Anwendung und "Server" -Versionen, die mehr Funktionen und Fähigkeiten haben, in zu tun eine unbeaufsichtigte Art und Weise.
Hier sind einige andere Alternativen zu beachten:
-
Lizenzieren Sie die Daten vom Anbieter. Ruf sie an und frage sie.
-
Verwende Amazon Mechanical Turk, um Menschen dazu zu bringen, sie zu kopieren, einzufügen und für dich zu formatieren. Sie sind billig.
-
Für die Automatisierung hängt es davon ab, wie kompliziert das HTML ist und wie oft es sich ändert. Sie können den Web Data Import von Excel verwenden, wenn es wirklich einfach ist.
Sie können UiPath Studio ausprobieren, um all Ihre Probleme mit dem Scraping zu beheben. Das Produkt basiert auf einem sehr leistungsstarken SDK , das speziell für das Scraping und die Automatisierung von Benutzeroberflächen entwickelt wurde. Es kommt mit einem Web Scraping-Assistenten , der perfekt zum Extrahieren von strukturierten Daten von Webseiten geeignet ist. Wenn die Daten, die Sie scrappen müssen, nicht strukturiert sind, empfehle ich Ihnen, den Screen Scraping-Assistenten zu verwenden. Diese Extraktion kann sogar im Hintergrund oder in einem versteckten IE-Browser durchgeführt werden. Sie können problemlos Workflows in der IDE entwickeln und anschließend separat ausführen oder in Ihre Anwendung integrieren.
Sie können meine Software FMiner ausprobieren, ich habe sie über 5 Jahre entwickelt, sie kann Makros aufzeichnen und menschliche Aktionen simulieren (klicken Sie auf , fill ...) auf Seiten, hier sind einige Tutorial-Videos , um zu zeigen, wie man es benutzt. Willkommen, bewerten Sie es!
Visual Web Ripper ist eines der besten Scraping-Tool, AM mit diesem Tool für die letzten 5 Jahre zu verschrotten Online-Daten
Ich würde definitiv vorschlagen, YQL von Yahoo ( Ссылка )
zu betrachtenEs verwendet Markup, um die Struktur der Webseite zu definieren, dann können Sie Abfragen ausführen, um Daten zu extrahieren. Es ist eine ziemlich nette Idee, mit vielen aktiv gepflegten Markup-Strukturen für das Scraping beliebter Seiten.
scrape.ly lässt Sie Webseiten durch einfaches Schreiben einer URL scrappen.
um zum Beispiel alle Fragen aus stackoverflow zu scrappen, schreiben Sie folgendes in Ihre Browser-Adressleiste.
%Vor%Was die URL macht:
- Gehen Sie zu stackoverflow.com
- Holen Sie sich alle Links wie im Beispiel ("Drucken der Daten ...")
- Extrahieren Sie den Fragetext in die Spalte "Ask" und den Benutzernamen des Askers in "username"
- Laden Sie die extrahierte .csv-Datei von Ссылка herunter
Haben Sie Kimono Labs ausprobiert? Es ist kostenlos und ziemlich schnell mit einer intuitiven Benutzeroberfläche einzurichten. Mit Kimono können Sie Websites im Grunde durch das Trainieren einer API mit CSS-Selektoren, die über eine Point-and-Click-Schnittstelle erstellt wurden, scrappen. Es ermöglicht Batch-URL-Crawling, Paginierung, Attributauswahl, geplante Crawls usw. und verfügt über eine Reihe integrierter Integrationen.
Versuchen Sie Data Scraping Studio - Freeware-Tool.
Sie können mithilfe einer Scraping-Agent erstellen und auf die Scraper Chrome-Erweiterung klicken und dann exportieren Diese Agenten in einer Datei (*. Scraping) in Multi-Thread-Desktop-App für Batch-Crawler und erweiterte Funktionen.
Ссылка ist ein Web-basierter Web-Scrapper, derzeit hat er nur begrenzte Funktionen, aber es ist gut, eine Liste von Daten zu verwerfen. (Beispiel: Verschrott die Liste der Fragen und ihre Autoren von stackoverflow.com)
Ich möchte Funktionen wie Seitenumbruch, Scheuler, Regex-Unterstützung, Schrott mit HTML-Klasse, ID hinzufügen ...
Tags und Links data-mining screen-scraping