screen-scraping, Seitenzahl 1

Screen-Scraping, auch bekannt als Web-Scraping oder Data-Scraping, ist eine Softwaretechnik, die zum Sammeln und Analysieren von Informationen von Benutzerschnittstellen verwendet wird. Wenn es sich bei Ihrer Frage speziell um Scraping von Websites oder Web-APIs handelt, verwenden Sie stattdessen das [web-scraping] -Tag.

Antworten

Wie konvertiert man HTML-Seite in Klartext in node.js?

Ich weiß, dass dies schon einmal gefragt wurde, aber ich finde keine gute Antwort für node.js Ich brauche die Serverseite, um den einfachen Text (keine Tags, Skripte usw.) von einer HTML-Seite zu extrahieren, die abgerufen wird. Ich weiß,...

14.11.2013, 18:39

Antwort

Mit rvest ist es möglich, auf einen Tab zu klicken, der ein div aktiviert und neuen Inhalt zum scraping anzeigt

Ich bin neu bei rvest und ich versuche herauszufinden, ob es möglich ist, rvest zu verwenden, um auf einen Tab zu klicken, der ein div aktiviert, so dass Daten gekratzt werden können. Ich habe die rvest Dokumentation auf Cran gelesen und habe...

14.07.2016, 01:18

Antworten

Programmgesteuertes Erkennen von "wichtigstem Inhalt" auf einer Seite

Was wurde getan, um die wichtigsten Daten in einem HTML-Dokument automatisch zu ermitteln? Als Beispiel, denken Sie an Ihre Standard-Nachrichten / Blog / Magazin-Stil Website, enthält Navigation (mit Submenu möglicherweise), Anzeigen, Kommentare...

16.06.2009, 20:16

Antwort

Wie setze ich den Wert der versteckten Form in Mechanize / Python?

Ich kratze eine Seite, die eine versteckte Form verwendet, als Gegenmaßnahme gegen genau das, was ich versuche zu tun. Dieses Formular: %Vor% ist der Schuldige. Das Formular erwartet, dass der Wert dieses Inputs durch JavaScript, das später...

08.04.2011, 07:50

Antworten

Wie kann ich den Inhalt einer Webseite in R lesen und analysieren?

Ich würde gerne den Inhalt einer URL (eq, Ссылка ) in R lesen. Ich frage mich, wie ich das machen kann es

04.12.2009, 04:18

Antworten

Übergeben Sie den User-Agent über den Webdriver in Selenium

Ich arbeite an einem Website-Scraping-Projekt mit Selenium in Python. Wenn ich die Homepage über einen Browser öffne, wird sie ordnungsgemäß geöffnet. Aber wenn ich versuche, die Webseite über webdriver() in Selenium zu öffnen, öffnet sich...

27.11.2011, 14:06

Antworten

Screen Scraping über SSL mit .NET

Welche Lösungen gibt es für das Scraping einer Site über SSL für die Verwendung mit .NET? Mein Anwendungsfall ist, dass ich mich auf einer Partnerwebsite (https) anmelden, durch eine dynamische Hierarchie navigieren und eine komprimierte Beri...

04.06.2009, 15:17

Antworten

Mehrere URLs gleichzeitig abrufen / parallel [duplizieren]

Ich habe ein Python-Skript, das die Webseite herunterlädt, analysiert und einen Wert von der Seite zurückgibt. Ich brauche ein paar solcher Seiten, um das Endergebnis zu erhalten. Jeder Seitenabruf dauert lange (5-10s) und ich würde lieber p...

20.08.2010, 12:50

Antworten

Was ist der beste Ansatz zum Parsen von XML / Screen Scraping in iOS? UIWebview oder NSXMLParser?

Ich erstelle eine iOS-App, die einige Daten von einer Webseite abrufen muss. Meine erste war jedoch, NSXMLParser initWithContentsOfURL: zu verwenden und den HTML-Code mit dem NSXMLParser -Delegaten zu analysieren. Dieser Ansatz scheint jed...

22.08.2010, 13:22

Antworten

Scrape und konvertieren Sie die Website in HTML?

Ich habe das in 3 oder 4 Jahren nicht gemacht, aber ein Kunde möchte seine dynamische Website in statisches HTML herunterstufen. Gibt es irgendwelche kostenlosen Tools, um eine Domain zu crawlen und funktionierende HTML-Dateien zu erzeugen, u...

12.08.2010, 15:30