Ein gutes Web-Datenextraktions- / Screen-Scraper-Programm?

8

Ich muss regelmäßig Produktdaten von einer Website erfassen und frage mich, ob jemand von einem guten Softwareprogramm weiß? Ich habe Mozenda ausprobiert aber es ist ein monatliches Abonnement und auf lange Sicht teuer. Offensichtlich ist etwas, das frei ist, am besten, aber es macht mir auch nichts aus. Brauche einfach ein anständiges Programm, das zuverlässig ist und nicht viel Programmierkenntnisse erfordert.

    
Taylor 25.02.2010, 13:13
quelle

16 Antworten

4

Sie können ScraperWiki.com ausprobieren, wenn Sie Python kennen.

    
memespring 25.02.2010 15:36
quelle
2

Ich habe mit Screen-Scraper experimentiert und fand es einfach zu benutzen. Die Anwendung wird in mehreren Versionen angeboten: Basic (kostenlos), Professional und Enterprise. Außerdem werden mehrere Plattformen unterstützt.

    
Dave M 25.02.2010 13:44
quelle
1

Ich mag iMacros . Sie können es mit der völlig kostenlosen Firefox-Erweiterung testen (es gibt auch IE-Versionen), aber es gibt auch mehr voll funktionsfähige Anwendung und "Server" -Versionen, die mehr Funktionen und Fähigkeiten haben, in zu tun eine unbeaufsichtigte Art und Weise.

    
Tony Miller 25.02.2010 13:26
quelle
1

Hier sind einige andere Alternativen zu beachten:

  1. Lizenzieren Sie die Daten vom Anbieter. Ruf sie an und frage sie.

  2. Verwende Amazon Mechanical Turk, um Menschen dazu zu bringen, sie zu kopieren, einzufügen und für dich zu formatieren. Sie sind billig.

  3. Für die Automatisierung hängt es davon ab, wie kompliziert das HTML ist und wie oft es sich ändert. Sie können den Web Data Import von Excel verwenden, wenn es wirklich einfach ist.

Neil McGuigan 10.04.2010 21:56
quelle
1

Sie können irobot von IRobotSoft verwenden, das völlig kostenlos ist und mehr Funktionalität bietet als andere kostenpflichtige Software. Sehen Sie sich Demos hier Ссылка an, wie einfach das ist.

Fragen zu ihrem Forum wurden sehr schnell beantwortet.

    
seagulf 16.05.2010 03:49
quelle
1

Stellen Sie einen Programmierer ein, um es so zu machen, dass es nur einen einmaligen Preis gibt. Ich sehe oft ähnliche Projekte auf freiberuflichen Websites wie Elance und oDesk .

    
hoju 26.02.2010 10:51
quelle
1

Scrape.it ist kostenlos und Open Source, verfügbar auf github.

    
KJW 04.04.2013 23:36
quelle
1

Sie können UiPath Studio ausprobieren, um all Ihre Probleme mit dem Scraping zu beheben. Das Produkt basiert auf einem sehr leistungsstarken SDK , das speziell für das Scraping und die Automatisierung von Benutzeroberflächen entwickelt wurde. Es kommt mit einem Web Scraping-Assistenten , der perfekt zum Extrahieren von strukturierten Daten von Webseiten geeignet ist. Wenn die Daten, die Sie scrappen müssen, nicht strukturiert sind, empfehle ich Ihnen, den Screen Scraping-Assistenten zu verwenden. Diese Extraktion kann sogar im Hintergrund oder in einem versteckten IE-Browser durchgeführt werden. Sie können problemlos Workflows in der IDE entwickeln und anschließend separat ausführen oder in Ihre Anwendung integrieren.

    
Andra Ciorici 18.02.2015 10:23
quelle
1

Sie können meine Software FMiner ausprobieren, ich habe sie über 5 Jahre entwickelt, sie kann Makros aufzeichnen und menschliche Aktionen simulieren (klicken Sie auf , fill ...) auf Seiten, hier sind einige Tutorial-Videos , um zu zeigen, wie man es benutzt. Willkommen, bewerten Sie es!

    
user2647646 14.06.2015 11:02
quelle
1

Visual Web Ripper ist eines der besten Scraping-Tool, AM mit diesem Tool für die letzten 5 Jahre zu verschrotten Online-Daten

    
Dhamodharan 15.06.2015 10:41
quelle
0

Ich würde definitiv vorschlagen, YQL von Yahoo ( Ссылка )

zu betrachten

Es verwendet Markup, um die Struktur der Webseite zu definieren, dann können Sie Abfragen ausführen, um Daten zu extrahieren. Es ist eine ziemlich nette Idee, mit vielen aktiv gepflegten Markup-Strukturen für das Scraping beliebter Seiten.

    
steve cook 15.10.2013 08:14
quelle
0

scrape.ly lässt Sie Webseiten durch einfaches Schreiben einer URL scrappen.

um zum Beispiel alle Fragen aus stackoverflow zu scrappen, schreiben Sie folgendes in Ihre Browser-Adressleiste.

%Vor%

Was die URL macht:

  1. Gehen Sie zu stackoverflow.com
  2. Holen Sie sich alle Links wie im Beispiel ("Drucken der Daten ...")
  3. Extrahieren Sie den Fragetext in die Spalte "Ask" und den Benutzernamen des Askers in "username"
  4. Laden Sie die extrahierte .csv-Datei von Ссылка herunter
KJW 06.12.2013 04:40
quelle
0

Sehen Sie sich Visual Web Ripper an. Es kostet dich etwas Geld, aber ich denke es ist es wert. Ссылка

    
rxlky 04.04.2014 04:10
quelle
0

Haben Sie Kimono Labs ausprobiert? Es ist kostenlos und ziemlich schnell mit einer intuitiven Benutzeroberfläche einzurichten. Mit Kimono können Sie Websites im Grunde durch das Trainieren einer API mit CSS-Selektoren, die über eine Point-and-Click-Schnittstelle erstellt wurden, scrappen. Es ermöglicht Batch-URL-Crawling, Paginierung, Attributauswahl, geplante Crawls usw. und verfügt über eine Reihe integrierter Integrationen.

    
trip41 06.04.2015 21:36
quelle
0

Versuchen Sie Data Scraping Studio - Freeware-Tool.

Sie können mithilfe einer Scraping-Agent erstellen und auf die Scraper Chrome-Erweiterung klicken und dann exportieren Diese Agenten in einer Datei (*. Scraping) in Multi-Thread-Desktop-App für Batch-Crawler und erweiterte Funktionen.

    
Priyanka Rathee 06.04.2016 04:21
quelle
-1

Ссылка ist ein Web-basierter Web-Scrapper, derzeit hat er nur begrenzte Funktionen, aber es ist gut, eine Liste von Daten zu verwerfen. (Beispiel: Verschrott die Liste der Fragen und ihre Autoren von stackoverflow.com)

Ich möchte Funktionen wie Seitenumbruch, Scheuler, Regex-Unterstützung, Schrott mit HTML-Klasse, ID hinzufügen ...

    
limovala 01.11.2013 09:30
quelle

Tags und Links