Speichergrenzen in der Datentabelle: Negative Längenvektoren sind nicht erlaubt

9

Ich habe eine Datentabelle mit mehreren Social-Media-Nutzern und deren Followern. Die ursprüngliche Datentabelle hat das folgende Format:

%Vor%

Jede Zeile enthält also einen Benutzer mit seiner ID und einem Vektor von Anhängern (getrennt durch ein Komma). Insgesamt habe ich 24.000 eindeutige Benutzer-IDs zusammen mit 160.000.000 eindeutigen Followern. Ich möchte meine ursprüngliche Tabelle in folgendem Format konvertieren:

%Vor%

Um diese Datentabelle zu erhalten, habe ich die folgende Codezeile verwendet (angenommen, dass meine ursprüngliche Datentabelle dt heißt):

%Vor%

Wenn ich diesen Code für das gesamte Dataset ausführe, erhalte ich den folgenden Fehler:

negative Längenvektoren sind nicht erlaubt

Laut diesem Post auf Stack-Überlauf ( Negative Anzahl von Zeilen in data.table nach falscher Verwendung von set ), es scheint, dass ich stoßen in den Speicher Grenzen der Spalte in data.table. Als Problemumgehung habe ich den Code in kleineren Blöcken (pro 10.000) ausgeführt, und das schien zu funktionieren.

Meine Frage ist: Wenn ich meinen Code ändere, kann ich verhindern, dass dieser Fehler auftritt oder stoße ich an die Grenzen von R?

PS. Ich habe eine Maschine mit 140 GB RAM zur Verfügung, daher sollte der physische Speicherplatz nicht das Problem sein.

%Vor%     
Matthias Bogaert 25.04.2016, 13:38
quelle

0 Antworten

Tags und Links