large-data

Große Daten sind Daten, die schwer zu verarbeiten und zu verwalten sind, da ihre Größe normalerweise die Grenzen der Software überschreitet, die für die Analyse verwendet wird.
1
Antwort

R - Warum das Hinzufügen von 1 Spalte zur Datentabelle fast verdoppelt Spitzenspeicher verwendet?

Nachdem hilfe von 2 netten herren, ich habe es geschafft, auf datentabellen von datenframe + plyr umzuschalten. Die Situation und meine Fragen Als ich daran arbeitete, bemerkte ich, dass die Speicherspitzenbelegung von 3,5 GB auf 6,8...
05.02.2015, 15:04
3
Antworten

Welche Datenstruktur sollte ich für die Geocodierung verwenden?

Ich versuche ein Python-Skript zu erstellen, das eine Adresse als Eingabe nimmt und seinen Breiten- und Längengrad oder Breiten- und Längengrade im Falle mehrerer Übereinstimmungen ähnlich wie Nominatatim . Also könnten die möglichen Ein- und...
12.04.2012, 12:56
6
Antworten

Generieren großer Excel-Dateien aus MySQL-Daten mit PHP aus Unternehmensanwendungen

Wir entwickeln und warten einige Systeme, die Berichte im Excel-Format an den Endbenutzer exportieren müssen. Die Berichte werden aus einer MySQL-Datenbank mit etwas trivialer Verarbeitung gesammelt und ergeben in der Regel ~ 40000 Datenzeilen m...
18.05.2012, 08:15
1
Antwort

numpy speichert / lädt ein Array korrumpieren

Ich versuche ein großes numpy Array zu speichern und neu zu laden. Mit numpy.save und numpy.load sind die Array-Werte beschädigt / ändern. Die Form und der Datentyp des Arrays, das vor dem Speichern und nach dem Laden gespeichert wird, sin...
03.10.2012, 17:13
4
Antworten

sukzessive vier / n Zahlen in einer großen Matrix in R addieren

Ich habe einen sehr großen Datensatz mit der Dimension 60K x 4 K . Ich versuche, alle vier Werte nacheinander in jeder Reihe spaltenweise hinzuzufügen. Das Folgende ist ein kleineres Beispiel-Dataset. %Vor% Hier ist, was ich versuche auszu...
27.08.2014, 18:45
2
Antworten

Wie kann man die Leistung einer massiven Baumansicht verbessern?

Zunächst beantworte ich meine Frage Q / A-Stil, also brauche ich nicht unbedingt jemanden, der das beantwortet. Es ist etwas, was ich gelernt habe und viele können davon Gebrauch machen. Ich habe eine Baumansicht, die aus vielen verschiedenen...
13.11.2013, 01:26