screen-scraping

Fragen
Screen-Scraping, auch bekannt als Web-Scraping oder Data-Scraping, ist eine Softwaretechnik, die zum Sammeln und Analysieren von Informationen von Benutzerschnittstellen verwendet wird. Wenn es sich bei Ihrer Frage speziell um Scraping von Websites oder Web-APIs handelt, verwenden Sie stattdessen das [web-scraping] -Tag.
2
Antworten

Laden Sie alle Dateien eines bestimmten Typs von einer Website mit wget herunter

Das Folgende hat nicht funktioniert. Ich weiß nicht, warum es nur in der Start-URL aufhört, gehe nicht in die Links hinein, um nach dem angegebenen Dateityp zu suchen.    wget -r -A.pdf home_page_url Jede andere Möglichkeit zum rekursiven...
16.08.2013, 13:33
4
Antworten

schwer iTunes Connect Scraping

Ich schaue mir verschiedene Optionen an, um die Verkaufsberichte und andere Daten von der iTunes Connect-Website zu erhalten. Da Apple keine API bereitstellt, basieren alle gefundenen Lösungen auf dem Scraping der Seite. Da ich die Informatio...
02.10.2010, 00:44
2
Antworten

Ist es möglich, einen Bot zu benutzen, um einen Browser zu öffnen, die Seite manuell zu manipulieren und dann einen Bot zu benutzen?

Ich verwende Ruby, Selenium WebDriver und Nokogiri, um Daten von Webseiten abzurufen. Sobald das richtige HTML geladen ist, drucke ich den Inhalt einer bestimmten Klasse. Zum Beispiel %Vor% Ich habe festgestellt, dass bei weitem der schwi...
10.09.2016, 05:10
2
Antworten

Gibt es ein gutes Tutorial, um herauszufinden, was eine Website macht, damit Ihr Programm dasselbe tun kann? [geschlossen]

Gibt es eine gute Anleitung oder ein Tutorial für Leute, die programmatisch mit dynamischen Webseiten interagieren müssen? In letzter Zeit gab es eine Unmenge von Perl-Fragen, und ich habe keine gute Quelle gefunden, um Leute darauf hinzuweisen....
02.05.2010, 19:52
10
Antworten

Diesen rohen Text interpretieren - eine Strategie?

Ich habe diesen rohen Text: %Vor% Ich muss es in ein Objekt mit den offensichtlichen Feldern Position, Car, Driver usw. parsen. Das Problem ist, dass ich keine Ahnung habe, welche Art von Strategie zu verwenden ist. Wenn ich es auf Leerzeich...
28.05.2012, 23:06
4
Antworten

scrapy wie man die Referer URL setzt

Ich muss die URL des Referrers setzen, bevor ich eine Site scrape, verwendet die Site URL-basierte Authentifizierung, so dass ich mich nicht einloggen kann, wenn der Referer ungültig ist. Kann jemand sagen, wie man das in Scrapy macht?     
25.10.2012, 13:36
4
Antworten

Python-Web-Scraping mit HTML-Tags mit Attributen

Ich versuche, einen Web-Scraper zu erstellen, der eine Webseite mit Publikationen analysiert und die Autoren extrahiert. Die Skelettstruktur der Webseite ist die folgende: %Vor% Ich habe bisher versucht, BeautifulSoup und lxml zu benutzen, u...
08.09.2009, 02:23
10
Antworten

Wie scrape ich mit Perl?

Ich muss einige Werte anzeigen, die auf einer Website gespeichert sind, dafür muss ich die Website abkratzen und den Inhalt aus der Tabelle holen. Irgendwelche Ideen?     
03.04.2009, 21:41