Scrapping von Daten aus Highcharts mit Selen

8

Ich versuche Daten von Highchart zu kratzen. Ich habe mir ähnliche Fragen angeschaut, aber nicht verstanden, wie script_execute funktioniert oder wie ich js mit meinem Browser erkennen konnte. Hier ist mein aktueller Code:

%Vor%

Ich möchte die "Download" -Daten von der Grafik abkratzen (nicht nur für diese Seite für viele Seiten). Und wenn ich die benutzerdefinierte Suchoption verwende, wird die CSV-Datei, die automatisch von der Website generiert wird, nicht aktualisiert. Es ist also nur möglich, die Daten aus dem Diagramm zu entfernen. Wie könnte ich es tun?

    
edyvedy13 20.10.2017, 15:38
quelle

2 Antworten

4

Ich habe eine Sache bemerkt.

Scheint wahr zu sein:

  

"Wenn ich benutzerdefinierte Suchoption verwende, CSV-Datei, die automatisch   generiert von der Website wird nicht aktualisiert ".

Aber ist eigentlich nicht wahr. Wird aktualisiert, aber der maximale "benutzerdefinierte Datenbereich" scheint 1 Jahr zu sein.

Wenn Sie beispielsweise von 2013-09-23 auf 2017-10-23 setzen, hat die .csv (.json) generierte max die Daten von 1 Jahr (in diesem Beispiel von 22/10/2016 bis 21/10/2017 ).

Das kannst du besser merken, wenn du mit den "Extremen" spielst.

Zum Beispiel mit:

%Vor%
  • erstes Element: {"date": "2014-10-23", "count": 212730, "end": "2014-10-23"}
  • letztes Element: {"date": "2013-10-24", "count": 163094, "end": "2013-10-24"}

wenn Sie ändern mit:

%Vor%
  • erstes Element: {"date": "2014-10-24", "count": 215105, "end": "2014-10-24"}
  • letztes Element: {"date": "2013-10-25", "count": 168018, "end": "2013-10-25"}

Oder mit:

%Vor%

wird wieder sein:

  • erstes Element: {"date": "2014-10-23", "count": 212730, "end": "2014-10-23"}
  • letztes Element: {"date": "2013-10-24", "count": 163094, "end": "2013-10-24"}

Um also die Daten der letzten 5 Jahre zu erhalten, könntest du folgendes machen:

%Vor%     
Davide Patti 23.10.2017, 16:06
quelle
4

Mozilla bietet eine einfache REST-API, um die Statistiken zu erhalten, so dass Sie Selenium nicht verwenden müssen.

Mit dem Modul requests :

%Vor%

Um den Bereich auszuwählen, aktualisieren Sie einfach die Daten in der URL.

Aber wenn Sie immer noch bereit sind, das Diagramm mit Selen zu verwerfen:

%Vor%     
Florent B. 23.10.2017 13:32
quelle

Tags und Links