Wir versuchen zu experimentieren, indem wir das gbm-Paket in einem ziemlich großen Dataset verwenden (~ 140 Millionen Zeilen) und wir sind auf ein Problem mit den Speicheranforderungen von R gestoßen.
Wir haben versucht, die Pakete "gbm" und "bigmemory" ohne Erfolg zu kombinieren und unser nächster Gedanke war, den C ++ - Quellcode so zu modifizieren, dass Daten aus einer lokalen Datenbank stammen, in der wir unseren Datensatz gespeichert haben.
Also haben wir uns gefragt, ob es eine geeignetere oder wohlbekannte Übung gibt, um die Zuweisung innerhalb des C ++ - Codes von gbm zu ändern. Hat jemand etwas Ähnliches versucht?
Ich bin nicht mit dem gbm-Paket vertraut, aber wenn es auf Datenrahmen oder Vektoren irgendeiner Art funktioniert, könntest du das ff Paket .
Quote: Das ff-Paket stellt Datenstrukturen zur Verfügung, die auf der Festplatte gespeichert sind, sich aber (fast) so verhalten, als wären sie im RAM, indem sie transparent nur einen Abschnitt (Seitengröße) im Hauptspeicher abbilden ...
Auf CRAN können Sie eine unkompilierte Version jedes Pakets erhalten, in der sich der C-Code noch in Textdateien befindet. Hier ist der Link zur Paketquelle von gbm: Ссылка . Entpacken Sie das Paket, ändern Sie den C-Code und kompilieren Sie es selbst mit dem Befehl R CMD INSTALL, dann können Sie das Paket mit Ihrem geänderten Code in R laden.
Tags und Links r c++ memory-management