Ich verwende Ruby, Selenium WebDriver und Nokogiri, um Daten von Webseiten abzurufen. Sobald das richtige HTML geladen ist, drucke ich den Inhalt einer bestimmten Klasse.
Zum Beispiel
%Vor%Ich habe festgestellt, dass bei weitem der schwierigste Teil darin besteht, das richtige HTML korrekt zu laden. Zum Beispiel kann der Inhalt, den ich möchte, durch Javascript versteckt sein oder sich auf einer anderen Seite befinden.
Ist es möglich, Selenium zu benutzen, um die Seite zu laden, dann die Seite manuell zu manipulieren, so dass das korrekte HTML angezeigt wird, und dann dem Bot erlaubt, den Inhalt zu beenden und auszudrucken?
Sie können Selenium verwenden, um mit der Webseite zu interagieren - füllen Sie Formularfelder aus, klicken Sie auf Schaltflächen usw. Sie können sogar Ihren eigenen JavaScript-Code ausführen.
Bearbeiten:
Verwenden Sie die Funktion "py", um die Ausführung des Codes zu stoppen, damit Sie die Webseite manuell bearbeiten können.
%Vor%Das geht ganz einfach. Ich bin mit Ruby nicht vertraut, aber ich werde den Prozess skizzieren.
1) Starten Sie den Treiber 2) Geh auf deine Seite 3) frage dann nach Benutzereingaben (in Python 2 zB: continue = raw_input (gib etwas ein und drücke Enter hier in der Konsole um fortzufahren '))
4) dann machen Sie alle anderen Dinge, die Sie tun möchten.
Wenn Sie dieses Skript ausführen, wird es bei der Frage stoppen. Dann können Sie den Browser manuell manipulieren und wenn Sie fertig sind, gehen Sie in das Konsole / cmd-Fenster und geben Sie "go" ein und drücken Enter. Dann wird es fortgesetzt, wo Sie den Browser manuell verlassen haben.
Tags und Links ruby selenium screen-scraping webdriver nokogiri