bigdata

Ich verarbeite eine große Datei von Datensätzen mit 2,000,000 rows. Jede Zeile enthält Funktionen zu E-Mails und ein binäres Label [0,1] für Nicht-Spam bzw. Spam. Ich möchte alle Features wie email_type , die Werte von [1,10] anneh...

Bezieht sich auf Spark - Verbinden von 2 PairRDD-Elementen Wenn Sie einen regulären Join in einem Schwein ausführen, wird die letzte Tabelle im Join nicht in den Speicher geladen, sondern stattdessen durchgestreamt. Wenn A also eine kleine...

Wir versuchen, ein BI-System zu erstellen, das sehr große Datenmengen sammelt, die von anderen Komponenten verarbeitet werden sollen. Wir haben uns entschieden, dass es eine gute Idee ist, eine Zwischenschicht zum Sammeln, Speichern & Amp; vert...

Ich evaluiere mehrere Big-Data-Tools. Einer von ihnen ist natürlich Impala. Ich möchte Impala Cluster starten, indem ich Prozesse auf den Clusterknoten manuell starte. Wie ich gerade für Spark, H2O, Presto und Dask mache, möchte ich Binärdateie...

Bei meiner Arbeit sollte ich eine Lösung für das folgende Problem entwickeln und implementieren: Gegeben ein Datensatz von 30M Datensätze Tupel (Schlüssel, Wert) Tupel aus dem bestimmten Datensatzfeld, gruppieren sie nach Schlüssel und Wert s...

Ich versuche, mich gegen eine große Matrix zu vermehren, die im Parkettformat gespeichert ist. Ich achte also darauf, die RDD nicht im Speicher zu speichern, sondern bekomme vom Parkettleser einen OOM-Fehler: %Vor% Insbesondere ist die Matri...