screen-scraping, Seitenzahl 2

Screen-Scraping, auch bekannt als Web-Scraping oder Data-Scraping, ist eine Softwaretechnik, die zum Sammeln und Analysieren von Informationen von Benutzerschnittstellen verwendet wird. Wenn es sich bei Ihrer Frage speziell um Scraping von Websites oder Web-APIs handelt, verwenden Sie stattdessen das [web-scraping] -Tag.

Antworten

Ein gutes Web-Datenextraktions- / Screen-Scraper-Programm?

Ich muss regelmäßig Produktdaten von einer Website erfassen und frage mich, ob jemand von einem guten Softwareprogramm weiß? Ich habe Mozenda ausprobiert aber es ist ein monatliches Abonnement und auf lange Sicht teuer. Offensichtlich ist etwa...

25.02.2010, 13:13

Antwort

Probleme beim Abschaben von Webseiten mit zombie.js

Ich muss ein bisschen kratzen. Nachdem ich mit verschiedenen Web-Testrahmen experimentiert habe, von denen die meisten entweder zu langsam (Selenium) oder zu fehlerhaft für meine Bedürfnisse (env.js) waren, entschied ich, dass zombie.js sieht...

07.09.2011, 15:50

Antworten

Scraping von Javascript-generierten Daten mit Python

Ich möchte einige Daten der folgenden URL mit Python abkratzen. Ссылка Es geht um eine Zusammenfassung von Unternehmensinformationen. Was ich kratzen möchte, wird auf der ersten Seite nicht angezeigt. Durch Klicken auf die Registerkarte...

07.04.2012, 06:56

Antworten

Intelligentes Screen Scraping mit verschiedenen Proxies und User-Agenten nach dem Zufallsprinzip?

Ich möchte einige HTML-Seiten von Ссылка herunterladen Die ID stammt von einem Array von verschiedenen Zahlen. Ich wäre daran interessiert, mehrere Instanzen dieser URL zu besuchen und die Datei unter Verwendung verschiedener Proxy-IP / -...

10.05.2010, 15:08

Antworten

Unit-Tests für Screen-Scraping?

Ich bin neu im Komponententest, also würde ich gerne die Meinung von einigen einholen, die ein wenig mehr eingeweiht sind. Ich muss in Kürze einen Screen-Scraping-Code schreiben. Das Zielsystem ist ein Web-UI, in dem umfangreiche HTML-Parsing...

08.12.2009, 16:48

Antworten

Scraping-Sites, die eine Anmeldung mit Python erfordern

Ich verwende mehrere Werbenetzwerke für meine Websites und um zu sehen, wie viel Geld ich verdient habe, muss ich mich jeden Tag anmelden, um die Werte zu addieren. Ich dachte daran, ein Python-Skript zu erstellen, das das für mich machen würde,...

25.06.2010, 21:44

Antworten

Welche Datenbank für Crawler / Scraper?

Ich recherchiere gerade, welche Datenbank ich für ein Projekt verwende, an dem ich gerade arbeite. Hoffentlich könnt ihr mir ein paar Tipps geben. Das Projekt ist ein automatisierter Webcrawler, der Websites gemäß einer Benutzeranforderung üb...

12.08.2012, 07:35

Antworten

Gibt es eine Python-Entsprechung für das Perl-Modul Term :: VT102?

In Perl gibt es ein sehr praktisches Modul, Term :: VT102, mit dem Sie einen Bildschirm im Speicher erstellen können. Dies ist sehr nützlich für Scraping-Zwecke, da Sie alle Änderungen an Teilen des Bildschirms verfolgen können und den Bildschir...

25.02.2010, 16:56

Antwort

Abrufen von statischen HTML-Dateien aus dem XML-Dump von Wikipedia

Ich würde gerne in der Lage sein, relativ aktuelle statische HTML-Dateien aus der enormen (auch komprimierten) englischen Wikipedia-XML-Dump-Datei zu erhalten enwiki-neueste-seiten-artikel.xml.bz2 Ich habe von der WikiMedia-Dump-Seite . Es sc...

23.05.2012, 04:12

Antworten

Scraping-Bibliothek für PHP - phpQuery?

Ich bin auf der Suche nach einer PHP-Bibliothek, die es mir ermöglicht, Webseiten zu verschrotten und kümmert sich um alle Cookies und das Vorfüllen der Formulare mit den Standardwerten, das ärgert mich am meisten. Ich bin es leid, jedes einz...

29.10.2009, 15:46