Ich habe ursprünglich diese Frage gestellt über die Durchführung dieser Aufgabe mit dem httr -Paket, aber ich denke nicht, dass es möglich ist, httr zu verwenden. Also habe ich meinen Code neu geschrieben, um stattdessen RCurl zu verwenden - aber ich stolpere immer noch über etwas, das wahrscheinlich mit writefunction zusammenhängt .. aber ich verstehe wirklich nicht warum.
Sie sollten in der Lage sein, meine Arbeit mit der 32-Bit-Version von R zu reproduzieren, so dass Sie Speichergrenzen erreichen, wenn Sie etwas in den Arbeitsspeicher lesen. Ich brauche eine Lösung, die direkt auf die Festplatte herunterlädt.
um zu starten, funktioniert dieser Code zu funktioniert - die gezippte Datei wird entsprechend auf dem Datenträger gespeichert.
%Vor% Jetzt ist hier ein RCurl Code, der nicht funktioniert. wie in die vorherige Frage , dies genau reproduzieren erfordert einen Auszug auf ipums .
und jetzt, wo ich eingeloggt bin, versuche dieselben Befehle wie oben, aber mit dem Objekt curl , um die Cookies zu behalten.
diese Zeile bricht -
%Vor%Die Antwort zu meinem vorherigen Post verweist mich auf diese c-level Writefunktion Antwort, aber ich habe keine Ahnung, wie man das curl_writer C Programm (unter Windows?) Neu erstellt.
%Vor% .. oder warum es sogar notwendig ist, wenn man bedenkt, dass die fünf Codezeilen oben in dieser Frage ohne etwas Verrücktes wie getNativeSymbolInfo funktionieren. Ich verstehe nur nicht, warum das extra curl -Objekt übergeben wird, das die Authentifizierung / Cookies speichert und sagt, dass es SSL nicht verifizieren würde, Code verursachen würde, der sonst funktioniert .. um zu brechen?
Von dieser Link erstellen Sie eine Datei namens curl_writer.c und speichern Sie diese in C:\<folder where you save your R files>
Öffnen Sie ein Befehlsfenster, gehen Sie zu dem Ordner, in dem Sie curl_writer.c gespeichert haben, und führen Sie den R-Compiler
Öffne R und führe dein Skript aus
%Vor%Tags und Links r web-scraping rcurl httr