large-data

Fragen
Große Daten sind Daten, die schwer zu verarbeiten und zu verwalten sind, da ihre Größe normalerweise die Grenzen der Software überschreitet, die für die Analyse verwendet wird.
1
Antwort

liest große (450000 + Zeichen) Strings aus der Datei

Ich habe es also mit der Integration eines Altsystems zu tun. Es erzeugt eine große Textdatei, die Anweisungen in einer großen Zeichenfolge ausgibt. Wirklich große Saite. Wir sprechen 450 000 Zeichen oder mehr. Ich muss das in Zeilen aufteile...
17.04.2015, 13:20
1
Antwort

Python plot Große Matrix mit Matplotlib

Ich versuche, eine Matrix mit 2000 Spalten und 200000 Zeilen zu plotten. Ich kann das Diagramm testen und die Matrix figure export exportieren, wenn die Matrix klein ist mit %Vor% Wenn jedoch mehr Zeilen zu my_matrix hinzugefügt werden, wird...
03.07.2015, 23:09
0
Antworten

Erstellen einer MySQL-Tabelle mit 1.000 Millionen Zeilen [geschlossen]

wurde auf Serverfault neu gepootst Fragen Frage 1: Wenn die Größe der Datenbanktabelle größer wird, wie kann ich MySQL anpassen, um die Geschwindigkeit des LOAD DATA INFILE-Aufrufs zu erhöhen? Frage 2: Verwenden Sie einen Cluster von...
02.10.2011, 09:35
3
Antworten

SELECT COUNT () vs mysql_num_rows ();

Ich habe eine große Tabelle (60+) Millionen von Datensätzen. Ich benutze PHP-Skript, um durch diese Tabelle zu navigieren. PHP-Skript (mit Paginierung) lädt sehr schnell, weil: Die Tabellen-Engine ist InnoDB, also SELECT COUNT() ist...
12.10.2012, 17:54
1
Antwort

Warum nimmt MongoDB so viel Platz ein?

Ich versuche, Datensätze mit einer Menge von Doppel- und Ints (etwa 15-20) in mongoDB zu speichern. Die Aufzeichnungen haben meistens (99,99%) die gleiche Struktur. Wenn ich die Daten in einem root speichern kann, was ein sehr strukturierte...
20.11.2013, 05:11
7
Antworten

Was sind Best Practices zum Sammeln, Verwalten und Sicherstellen der Genauigkeit eines großen Datensatzes?

Ich stelle diese Frage auf der Suche nach praktischen Ratschlägen für die Gestaltung eines Systems. Seiten wie amazon.com und pandora haben und unterhalten riesige Datenmengen, um ihr Kerngeschäft zu betreiben. Zum Beispiel Amazon (und jede a...
22.12.2010, 01:38
3
Antworten

Fehler aufgrund der Abhängigkeit von vowpal wabbit von der Boost-Bibliothek

Ich versuche wirklich, Vowpal Wobbit zu installieren, und es schlägt fehl, wenn ich die make-Datei ausführe, indem ich: %Vor% Ich habe dann die Links zur boost-Bibliothek hinzugefügt, indem ich -L / usr / local / lib angegeben habe Jetzt...
11.07.2012, 16:31
2
Antworten

Wie aktualisiert man eine Tabelle von einer anderen ohne Angabe von Spaltennamen?

Ich habe zwei Tabellen mit identischer Struktur und sehr großer Anzahl von Feldern (etwa 1000). Ich muss 2 Operationen durchführen 1) Fügen Sie aus der zweiten Tabelle alle Zeilen in die Faust ein. Beispiel: %Vor% 2) Aktualisieren Sie die er...
08.10.2010, 14:56
1
Antwort

PHP-Verbindung beim Upload großer Dateien unabhängig von der korrekten Einstellung zurückgesetzt

Ich habe ein sehr häufiges Problem, bei dem anscheinend alle verfügbaren Lösungen nicht funktionieren. Wir haben einen LAMP-Server, der viel Verkehr empfängt. Mit diesem Server führen wir einen regelmäßigen Datei-Upload-Upload durch. Bei klei...
27.09.2011, 18:55
1
Antwort

Verwendung des Index für die innere Join-Tabelle in MySQL

Ich habe Tabelle Foo mit 200 Millionen Datensätzen und Tabelle Bar mit 1000 Datensätzen, sie sind viele-zu-eins verbunden. Es gibt Indizes für die Spalten Foo.someTime und Bar.someField. Auch in Bar 900 haben Datensätze einenField von 1, 100 ein...
13.06.2013, 09:18